2)METEOR

METEOR(Metric for Evaluation of Translation with Explicit ORdering)は，正解文と比較し，3人称単数や時制などの単語属性が正しい場合に高いスコアを出力し，0から1までの値で評価を行う．METEORは以下の式で計算される．

$$\mathrm{METEOR}_{score} = F_{mean} \times (1-Pen)$$ (2.9)

$$F_{mean} = \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$$ (2.10)

$$Pen = \gamma \times (\frac{c}{m})^\beta$$ (2.11)

METEORはF値(再現率$R$ と適合率$P$ の調和平均)と，単語の非連続性に対するペナルティ関数$Pen$ を用い計算される．ペナルティ関数$Pen$ において，$m$ は出力文と正解文の単語の一致率を表す．そして，$c$ は一致した単語を対象に，正解文と語順が同じものを1つのまとまりとして統合した場合の，まとまりの数を表す．そのため，出力文と正解文が同じ文であるとき$c$ =1となる．また，一致率の計算において，WordNetによる類義語を用いて，似た意味を持つ単語は同一であると判断される．$\alpha$ ，$\beta$ ，$\gamma$ の値はパラメータである．本研究では， $\alpha = 0.9$ ， $\beta = 3.0$ ， $\gamma = 0.5$ を用いる．