METEOR

METEOR[9]は，再現率$R$と適合率$P$に基づく$F$値に対して単語の非連続性に対するペナルティ関数$Pen$を利用した評価基準である．以下に計算式を示す．

$$F = \frac{P \times R}{\alpha \times P + \left(1 - \alpha \right) \times R}$$ (2.11)

$$Pen = \gamma \times (c/m)^{\beta}$$ (2.12)

$${\mathrm {METEOR}} = F \times (1 - Pen)$$ (2.13)

式2.12のペナルティ関数$Pen$にある$m$は機械翻訳の出力文と正解文との間で一致した単語数であり，$c$は一致した各単語を対象として語順が同じものを1つのまとまりとして統合した場合のまとまりの数である．したがって，機械翻訳の出力文と正解文が完全一致の場合には$c=1$となり，語順が全て逆の場合には$c=m$となる．$\alpha$，$\beta$，$\gamma$の値はパラメータである．METEORは，0から1の値をスコアとして出力し，スコアが高いほど評価が良い．