next up previous contents
次へ: 人手評価 上へ: 自動評価 戻る: NIST   目次

METEOR

METEOR(Metric for Evalation of Translation with Explicit ORdering)は予め用意された参照文と比較して,単語属性が正しい場合に高いスコアを出す.METEORは5.3式で計算される.
140#140 3#3 141#141 (5.7)
142#142 3#3 143#143 (5.8)
144#144 3#3 145#145 (5.9)

METEORはまず再現率Rと適合率Pに基づくF値を求め,次に単語の非連続性に対するペナルティとして関数 146#146 を与える.ペナルティ関数 146#146 において,mは出力文と参照文の一致率を表す.そして,cは一致した単語を対象に,参照文と語順が同じものを1つのまとまりとして統合した場合の,まとまりの数を表す.そのため,出力文と参照文が同じ文であるとき,c=1となる.また,一致率の計算において,WordNetによる類義語を用いて,似た意味を持つ単語は同一であると判断される.91#91 ,92#92 ,147#147 の値はパラメータである.本研究では,91#91 =0.9,92#92 =3.0,147#147 =0.5の値を用いる.

両評価とも0から1の間で評価され,出力文と参照文が同じ文であるとき1となり,最も良い評価である.



平成24年3月23日