next up previous contents
次へ: METEOR 上へ: 自動評価 戻る: BLEU   目次

NIST

NIST[3]は,BLEUと同様にN-gram適合率で評価を行う.情報量で重み付けしている点が異なる. また,実験では5-gramを用いる.NISTは0から∞のスコアを出力し,スコアが大きい方が良い評価である. NISTの計算式を以下に示す.
$\displaystyle NIST=\sum\limits_{n = 1}^N \frac{\sum\limits_{i}
\left(\sum\limi...
...ΑΑ_{n}\right)}\right)}{\sum\limits_{i} {スミホマハクi、ホテ讀ホチエ\textit{N}-gramソ}}$     (3.8)
$\displaystyle Info\left(w_{i}・・・w_{n}\right)=\log _2 \frac{評価コーパス中のw_{1}・・・w_{n-1}数}
{評価コーパス中のw_{1}・・・w_{n}数}$     (3.9)



平成25年2月12日