BLEU

BLEU[8]は，機械翻訳の分野において，最も一般的な自動評価基準である．BLEUは，n-gramマッチ率に基づく手法を用いている．以下に計算式を示す．

$${\mathrm {BLEU}} = {\mathrm {BP_{BLEU}}} * exp(\frac{1}{N} \sum^N_{n=1} \log{p_n})$$ (2.8)

出力される値の領域は0〜1であり，高いほど翻訳文が正解文に近いことを示す．式2.8のNには，一般的にが用いられる． ${\mathrm {BP_{BLEU}}}$は翻訳文が正解文と比較して短い場合に用いるペナルティ係数である．このペナルティは，翻訳文が正解文よりも短い場合に適合率が高くなる問題を回避するために用いられる． ${\mathrm {BP_{BLEU}}}$は翻訳文の単語数を，正解文の単語数をとし，以下の式で計算される．

$${\mathrm {BP_{BLEU}}} = \left \{ \begin{array}{l} 1 \ \ \ \ ... ... > r)\\ e^{1-\frac{r}{c}} \ \ \ (c \leq r) \end{array}\right.$$ (2.9)

翻訳文の文字数が正解文よりも長い場合には， ${\mathrm {BP_{BLEU}}} = 1$となり，影響を及ぼさない．翻訳文の文字数が正解文よりも短い場合には，その短さに応じて， ${\mathrm {BP_{BLEU}}}$が小さくなり，結果としてBLEU値が小さくなる．なお，単語数とを算出するときの対象文は1文ではないため，各文の長さの自由度は残されている．また，式2.8の指数関数は以下の式で計算される．

$$p_n = \frac{\sum_{\mbox{全翻訳文}} \sum_{\mbox{正解文}} \m... ...\mbox{全翻訳文}} \sum_{\mbox{正解文}} \mbox{全 {\it N}-gram\mbox{数}}}$$ (2.10)

は正解文と一致するN-gram数をカウントするとき，正解文の要素を重複して数えることを回避するための処理である．また，正解文に対して，翻訳文の方が長い場合には，の値は小さくなるため，BLEU値も小さくなる．