BLEU

BLEUは, 機械翻訳システムの自動評価において, 現在主流となっている評価法である. $N$-gram適合率を用いて, 語順の正確さで評価を行う．実験では$4$-gramを用いる. 0から1のスコアで評価し, 語順が正解文に近いとき高いスコアを出力する. BP(Brevity Penaty)は, 短い翻訳文が高いスコアになることを防ぐためのペナルティである. BLEUの計算式を以下に示す.

$$BLEU = BP \times \exp \left\{\frac{1}{N} \sum\limits_{n = 1}^N {\log_e{P_{n}}} \right\}$$ (3.1)

$$P_{n} = \frac{出力文と参照文で一致したn{\rm -gram数} }{出力文のn{\rm -gram}数 }$$ (3.2)

$$BP = \min \left(1,\exp \left(1- \frac{参照文の語数}{出力文の語数} \right) \right)$$ (3.3)