next up previous contents
次へ: 4)RIBES 上へ: 翻訳の評価方法 戻る: 2)METEOR   目次

3)NIST

NIST(National Institute of Standards and Technology)は語順(5-gram)と文長(単語数)が正しい場合に高いスコアを出力し,0から∞までの値で評価を行う.NISTは,BLEUをベースとし,BLEUに改良を加えられている.以下にNISTの計算式を示す.


$\displaystyle \mathrm{NIST}_{score} = BP \times \sum_{N=1}^N \frac{\displaystyl...
...playstyle\sum_i \mbox{出力文{\it i}と正解文{\it i}で一致した{\it N}-gramの数} }$     (2.12)
$\displaystyle Info_i \left( w_1 ... w_n \right) = \log_2 \frac{評価コーパス中 \...
...w_1 ... w_{n-1} \right)の数}{評価コーパス中の \left( w_1 ... w_n \right) の数 }$     (2.13)



平成25年2月13日