next up previous contents
次へ: 人手評価法 上へ: 評価方法 戻る: RIBES   目次

METEOR

METEORは単語属性(3人称単数など)が正しい場合に高いスコアを出す. METEORは以下の式で計算される.
$\displaystyle METEOR_{score}$ $\textstyle =$ $\displaystyle F_{mean} \times (1-Pen)$ (2.17)
$\displaystyle F_{mean}$ $\textstyle =$ $\displaystyle \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$ (2.18)
$\displaystyle Pen$ $\textstyle =$ $\displaystyle \gamma \times (\frac{c}{m})^\beta$ (2.19)

METEORはまず再現率$R$と適合率$P$に基づくF値を求め,次に,単語の非連続性に対するペナルティとして関数$Pen$を与える. ペナルティ関数$Pen$において,$m$は出力文と正解文の単語の一致率を表す. そして,$c$は一致した単語を対象に,正解文と語順が同じものを1つのまとまりとして統合した場合の,まとまりの数を表す. そのため,出力文と正解文が同じ文であるとき$c$=1となる. また,一致率の計算において,WordNetによる類義語を用いて,似た意味を持つ単語は同一であると判断される. $\alpha$$\beta$$\gamma$の値はパラメータである.

BLEUとMETEORとRIBESでは0から1までの間で評価され,NISTでは0から∞までの間で評価される. いずれの評価方法でも,評価方法が高いほど翻訳精度が高いことを表す. なお,本研究では入力文1文に対して正解文1文を用いて評価を行う.



平成25年2月12日