next up previous contents
次へ: NIST 上へ: 自動評価法 戻る: 自動評価法   目次

BLEU

BLEUは語順(4-gram)が正しい場合に高いスコアを出す. BLEUは以下の式で計算される.
$\displaystyle BLEU_{score}$ $\textstyle =$ $\displaystyle BP \times exp \left( \sum_{n=1}^N \frac{1}{N} \log p_n \right)$ (2.8)
$\displaystyle p_n$ $\textstyle =$ $\displaystyle \frac{ \displaystyle\sum_{i} \mbox{出力文{\it i}と正解文{\it i}で...
...\it N}-gramの数}}
{\displaystyle\sum_{i}\mbox{出力文{\it i}の{\it N}-gramの数}}$ (2.9)

ここで,$P_{n}$は出力文と正解文のN-gramの一致率を表している. BLEUはこの一致率を1-gramから4-gramまで計算し,その幾何平均をとる. また,出力文が正解文より短い場合,`` $\displaystyle\sum_{i}$出力文iN-gramの数''が小さくなり,不当にスコアが高くなる可能性がある. そこで,正解文より短い文に対するペナルティとして,$BP$を用いる. $BP$は出力文が正解文より長い場合は1となり,出力文が正解文より短い場合は1未満の値となる.



平成26年3月29日