next up previous contents
次へ: 翻訳システムの自動作成 上へ: 評価方法 戻る: NIST   目次

METEOR

METEORは適合率Pと再現率RからF値を求めた後に,単語の非連続生に基づいてF値を修正して評価を行う自動評価法である.F値と修正に用いるペナルティ関数\(Pen\)は以下の式で計算される.


$\displaystyle F$ $\textstyle =$ $\displaystyle \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$ (3.38)
$\displaystyle METEOR$ $\textstyle =$ $\displaystyle F \times (1-Pen)$ (3.39)
$\displaystyle Pen$ $\textstyle =$ $\displaystyle \gamma \times (\frac{c}{m})^{\beta}$ (3.40)

METEORの値域は0〜1であり,高いほど翻訳精度が高い.(3.40)式において,\(m\)は翻訳文と正解文の一致率であり,\(c\)は単語を対象として,翻訳文と一致するものを1つに統合したときの数である.\(\alpha\)\(\beta\)\(\gamma\)はパラメータである.一致率\(c\)を計算するときの類義語などのマッチングには一般にWordNetを用いる.このマッチングでは,意味や概念が近い類義語のマッチング,単語の語形変化を同一のものとして処理することが可能であり,人手評価に近い評価結果を得ることができる.



平成24年3月23日