METEOR

METEORは，適合率と再現率の両方を考慮した評価方法である．実験では$uni$-gramを用いる． 0から1のスコアで評価し，1に近いほど機械翻訳の評価が高いことを示す．METEORの計算式を以下に示す．

$$METEOR = F\times (1-Pen)$$ (3.4)

$$F値 = \frac{P\times R}{\alpha\times P+(1-\alpha)\times R}$$ (3.5)

$$Pen = \gamma\times (\frac{c}{m})^\beta$$ (3.6)

METEORは，適合率Pと再現率Rの調和平均であるF値と，単語の非連続性に対するペナルティ関数$Pen$を用いて計算される． (5.6)式において，$m$は参照文と出力文の単語の一致率であり， $c$は，一致した単語の列が参照文の単語の列と一致する数を表す． 上式(5.5)において，$\alpha$，$\beta$，$\gamma$の値はパラメータである． 本研究では，$\alpha=0.8$，$\beta=2.5$，$\gamma=0.4$とする．

また，一致率を計算する際，WordNetの類義語を参照するため，似た意味を持つ単語は同一であると判断される． さらに，単語の語形変化を無視して処理することが可能である． そのため，METEORは単語属性で評価が可能である． なお，WordNet[12]は英語の概念辞書であり，英単語の品詞や単語の持つ意味概念の定義を管理するデータベースである．