METEOR

METEORは単語属性(3人称単数など)が正しい場合に高いスコアを出す． METEORは以下の式で計算される．

$$METEOR_{score} = F_{mean} \times (1-Pen)$$ (2.17)

$$F_{mean} = \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$$ (2.18)

$$Pen = \gamma \times (\frac{c}{m})^\beta$$ (2.19)

METEORはまず再現率$R$と適合率$P$に基づくF値を求め，次に，単語の非連続性に対するペナルティとして関数$Pen$を与える． ペナルティ関数$Pen$において，$m$は出力文と正解文の単語の一致率を表す． そして，$c$は一致した単語を対象に，正解文と語順が同じものを1つのまとまりとして統合した場合の，まとまりの数を表す． そのため，出力文と正解文が同じ文であるとき$c$=1となる． また，一致率の計算において，WordNetによる類義語を用いて，似た意味を持つ単語は同一であると判断される． $\alpha$，$\beta$，$\gamma$の値はパラメータである．

BLEUとMETEORとRIBESでは0から1までの間で評価され，NISTでは0から∞までの間で評価される． いずれの評価方法でも，評価方法が高いほど翻訳精度が高いことを表す． なお，本研究では入力文1文に対して正解文1文を用いて評価を行う．