BLEU

BLEUは語順(4-gram)が正しい場合に高いスコアを出す． BLEUは以下の式で計算される．

$$BLEU_{score} = BP \times exp \left( \sum_{n=1}^N \frac{1}{N} \log p_n \right)$$ (2.8)

$$p_n = \frac{ \displaystyle\sum_{i} \mbox{出力文{\it i}と正解文{\it i}で... ...\it N}-gramの数}} {\displaystyle\sum_{i}\mbox{出力文{\it i}の{\it N}-gramの数}}$$ (2.9)

ここで，$P_{n}$は出力文と正解文のN-gramの一致率を表している． BLEUはこの一致率を1-gramから4-gramまで計算し，その幾何平均をとる． また，出力文が正解文より短い場合，`` $$\sum_{i}$$出力文iのN-gramの数''が小さくなり，不当にスコアが高くなる可能性がある． そこで，正解文より短い文に対するペナルティとして，$BP$を用いる． $BP$は出力文が正解文より長い場合は1となり，出力文が正解文より短い場合は1未満の値となる．