METEORは,単語属性が正しい場合に高いスコアを出す.実験では2-gramを用いる.
METEORは0から1までのスコアを出力し,スコアが1に近いほど良い評価となる.
計算式を式3.8に示す.
111#111 | (3.6) | ||
112#112 | (3.7) | ||
113#113 | (3.8) |
METEORはF値,ペナルティ関数Penを用いて計算される.F値は適合率Pと再現率Rの調和平均で求められる. そしてペナルティ関数Penにおいて,mは参照文と出力文の間で一致した単語数を示す. またcは,一致した単語を対象として,参照文と一致する単語列を1つのまとまりの数を示す. したがって,参照文と出力文が同一文である場合はc=1となる.尚, 114#114 の値はパラメータである.