METEOR

METEORは再現率$R$と適合率$P$に基づくF値に対して，単語の非連続性に対するペナルティ関数$Pen$を利用した評価基準である． METEORは以下の式で計算される．

$$METEOR_{score} = F_{mean} \times (1-Pen)$$ (3.6)

$$F_{mean} = \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$$ (3.7)

$$Pen = \gamma \times (\frac{c}{m})^\beta$$ (3.8)

ペナルティ関数$Pen$において，$m$は出力文と正解文の単語の一致率を表す． そして，$c$は一致した単語を対象に，正解文と語順が同じものを1つのまとまりとして統合した場合の，まとまりの数を表す． そのため，出力文と正解文が同じ文であるとき$c=1$となる． また，一致率の計算において，WordNetによる類義語を用いて，似た意味を持つ単語は同一であると判断される． METEORは単語属性(3人称単数など)が正しい場合に，高いスコアを出す特性を持つ．$\alpha$，$\beta$，$\gamma$の値はパラメータである． METEORは0から1の値をスコアとして出力し，スコアの値が高いほど翻訳精度が高いことを示す．METEORは日本語辞書が存在しないため，本研究では出力文が日本語文の英日翻訳では使用しない．