METEOR

METEOR[4]は，単語属性が正しい場合に高いスコアを出す．実験ではuni-gramを用いる． METEORは0から1までのスコアを出力し，スコアの大きい方が評価が良い評価である．計算式を以下に示す．

41#41 9#9 42#42 (3.8)

43#43 9#9 44#44 (3.9)

45#45 9#9 46#46 (3.10)

METEORはF値，ペナルティ関数47#47を用いて計算される． F値は適合率Pと再現率Rの調和平均で求められる． そしてペナルティ関数47#47において，mは参照文と出力文の間で一致した単語数を示す． また48#48は，一致した単語を対象として，参照文と一致する単語列を１つのまとまりに 統合した際のまとまりの数を示す． したがって，参照文と出力文が同一文である場合は48#48=1となる． なお49#49，50#50，51#51の値はパラメータである． 具体的な計算例を以下に示す．

[

c]例 日本語文：お先 に 失礼 し ます 。
参照文：Excuse me , I must be going now .
出力文：Excuse me , but I mest be going now .

計算方法
参照文Bと出力文A，AとBの重複部分Cとする．またパラメータ 52#52とする.

53#53 9#9 54#54 (3.11)

55#55 9#9 56#56 (3.12)

41#41 9#9 57#57 (3.13)

58#58 9#9 59#59 (3.14)

60#60 9#9 61#61 (3.15)

9#9 62#62 (3.16)

9#9 63#63 (3.17)