next up previous contents
次へ: RIBES 上へ: 自動評価 戻る: NIST   目次

METEOR

METEORは,適合率と再現率の両方を考慮した評価方法である.実験では$uni$-gramを用いる. 0から1のスコアで評価し,1に近いほど機械翻訳の評価が高いことを示す.METEORの計算式を以下に示す.
$\displaystyle METEOR$ $\textstyle =$ $\displaystyle F\times (1-Pen)$ (3.6)
$\displaystyle F値$ $\textstyle =$ $\displaystyle \frac{P\times R}{\alpha\times P+(1-\alpha)\times R}$ (3.7)
$\displaystyle Pen$ $\textstyle =$ $\displaystyle \gamma\times (\frac{c}{m})^\beta$ (3.8)

METEORは,適合率Pと再現率Rの調和平均であるF値と,単語の非連続性に対するペナルティ関数$Pen$を用いて計算される. (5.6)式において,$m$は参照文と出力文の単語の一致率であり, $c$は,一致した単語の列が参照文の単語の列と一致する数を表す. 上式(5.5)において,$\alpha$$\beta$$\gamma$の値はパラメータである.

また,一致率を計算する際,WordNetの類義語を参照するため,似た意味を持つ単語は同一であると判断される. さらに,単語の語形変化を無視して処理することが可能である. そのため,METEORは単語属性で評価が可能である. なお,WordNet[12]は英語の概念辞書であり,英単語の品詞や単語の持つ意味概念の定義を管理するデータベースである.



平成26年3月7日