next up previous contents
次へ: METEOR 上へ: 自動評価 戻る: BLEU   目次

NIST

NISTは，BLEUと同様に$N$-gramマッチ率を用いた手法である. しかし, 式に示す情報量の計算式で得られる情報量によって重み付けしている点が異なる. また, ペナルティ関数もBLEUのペナルティ関数と異なっており, NISTの方が文長を考慮するようにペナルティがつけられる. NISTは, 0から∞の値を出力し，スコアが大きいほど評価が良い. NISTの計算式を以下に示す.
$\displaystyle NIST$ $\textstyle =$ $\displaystyle BP \sum\limits_{n = 1}^N \frac{\sum\limits_i\left(\sum\limits_{出... ... … \omega_i\right)\right)}{\sum\limits_i 出力文iと正解文iで一致したN-gramの数}$ (3.4)
$\displaystyle Info_i\left(\omega_1 … \omega_i\right)$ $\textstyle =$ $\displaystyle \log_2\frac{評価コーパス中\left(\omega_1 … \omega_{n-1}\right)の数}{評価コーパス中\left(\omega_1 … \omega_{n}\right)の数}$ (3.5)


平成26年3月7日