BLEU

BLEUは語順(4-gram)が正しい場合に高いスコアを出す． BLEUは以下の式で計算される．

$$BLEU_{score} = BP \times exp \left( \sum_{n=1}^N w_n \log p_n \right)$$ (2.10)

$$w_n = \frac{1}{N}$$ (2.11)

$$p_n = \frac{ \displaystyle\sum_{i} 出力文iと正解文iで一致したN-gramの数} {\sum_{i}出力文iのN-gramの数}$$ (2.12)

ここで，$P_{n}$は出力文と正解文のN-gramの一致率を表している． BLEUはこの一致率を1-gramから4-gramまで計算し，その幾何平均をとる． また，出力文が正解文より短い場合，`` $\sum_{i}出力文iのN-gramの数$''が小さくなり，不当にスコアが高くなる可能性がある． そこで，正解文より短い文に対するペナルティとして，$BP$を用いる． $BP$は出力文が正解文より長い場合は1となり，出力文が正解文より短い場合は1未満の値となる．