next up previous contents
次へ: RIBES 上へ: 自動評価 戻る: NIST   目次

METEOR

METEORは再現率$R$と適合率$P$に基づくF値に対して,単語の非連続性に対するペナルティ関数$Pen$を利用した評価基準である. METEORは以下の式で計算される.
$\displaystyle METEOR_{score}$ $\textstyle =$ $\displaystyle F_{mean} \times (1-Pen)$ (3.6)
$\displaystyle F_{mean}$ $\textstyle =$ $\displaystyle \frac{P \times R}{\alpha \times P + (1-\alpha) \times R}$ (3.7)
$\displaystyle Pen$ $\textstyle =$ $\displaystyle \gamma \times (\frac{c}{m})^\beta$ (3.8)

ペナルティ関数$Pen$において,$m$は出力文と正解文の単語の一致率を表す. そして,$c$は一致した単語を対象に,正解文と語順が同じものを1つのまとまりとして統合した場合の,まとまりの数を表す. そのため,出力文と正解文が同じ文であるとき$c=1$となる. また,一致率の計算において,WordNetによる類義語を用いて,似た意味を持つ単語は同一であると判断される. METEORは単語属性(3人称単数など)が正しい場合に,高いスコアを出す特性を持つ.$\alpha$$\beta$$\gamma$の値はパラメータである. METEORは0から1の値をスコアとして出力し,スコアの値が高いほど翻訳精度が高いことを示す.METEORは日本語辞書が存在しないため,本研究では出力文が日本語文の英日翻訳では使用しない.



s102025 平成27年3月9日