METEOR

METEORは適合率Pと再現率RからF値を求めた後に，単語の非連続生に基づいてF値を修正して評価を行う自動評価法である．F値と修正に用いるペナルティ関数は以下の式で計算される．

$$F = \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$$ (3.38)

$$METEOR = F \times (1-Pen)$$ (3.39)

$$Pen = \gamma \times (\frac{c}{m})^{\beta}$$ (3.40)

METEORの値域は0〜1であり，高いほど翻訳精度が高い．(3.40)式において，は翻訳文と正解文の一致率であり，は単語を対象として，翻訳文と一致するものを1つに統合したときの数である．，，はパラメータである．一致率を計算するときの類義語などのマッチングには一般にWordNetを用いる．このマッチングでは，意味や概念が近い類義語のマッチング，単語の語形変化を同一のものとして処理することが可能であり，人手評価に近い評価結果を得ることができる．