next up previous contents
次へ: IMPACT 上へ: 自動評価 戻る: NIST   目次

METEOR

METEORは,単語属性が正しい場合に高いスコアを出す.実験では2-gramを用いる. METEORは0から1までのスコアを出力し,スコアが1に近いほど良い評価となる. 計算式を式3.8に示す.

111#111     (3.6)
112#112     (3.7)
113#113     (3.8)

METEORはF値,ペナルティ関数Penを用いて計算される.F値は適合率Pと再現率Rの調和平均で求められる. そしてペナルティ関数Penにおいて,mは参照文と出力文の間で一致した単語数を示す. またcは,一致した単語を対象として,参照文と一致する単語列を1つのまとまりの数を示す. したがって,参照文と出力文が同一文である場合はc=1となる.尚, 114#114 の値はパラメータである.



root 平成24年3月22日