METEOR

METEOR[9]は，再現率$R$ と適合率$P$ に基づく$F$ 値に対して単語の非連続性に対するペナルティ関数$Pen$ を利用した評価基準である．以下に計算式を示す．

$$F = \frac{P \times R}{\alpha \times P + \left(1 - \alpha \right) \times R}$$ (3.4)

$$Pen = \gamma \times (c/m)^{\beta}$$ (3.5)

$${\mathrm {METEOR}} = F \times (1 - Pen)$$ (3.6)

式3.5のペナルティ関数$Pen$ にある$m$ は機械翻訳の出力文と正解文との間で一致した単語数であり，$c$ は一致した各単語を対象として語順が同じものを1つのまとまりとして統合した場合のまとまりの数である．したがって，機械翻訳の出力文と正解文が完全一致の場合には$c=1$ となり，語順が全て逆の場合には$c=m$ となる．$\alpha$ ，$\beta$ ，$\gamma$ の値はパラメータである．METEORは，0から1の値をスコアとして出力し，スコアが高いほど評価が良い．