評価方法

機械翻訳システムの翻訳精度を自動的に評価する手法として，あらかじめ用意し た正解文と，翻訳システムが出力した文とを比較する手法が一般的である．自動 評価法には多くの方法がある．本研究では，BLEU[10]とNIST[11] とMETEOR[12]を用いる． BLEUは語順(4-gram)が正しい場合に高いスコアを出す．NISTではBLEUと同様に語 順の正しさで比較を行うが，5-gramを用いる．METEORは単語属性(3人称単数など) が正しい場合に高いスコアを出す．BLEUとMETEORでは0から1までの間で評価され， NISTでは0から∞までの間で評価される．いずれの評価方法でも，評価方法が高 いほど翻訳精度が高いことを表す．尚，本研究では入力文1文に対して正解文1文 を用いて評価を行う．