next up previous contents
次へ: プログラム作成したフレーズテーブルへの翻訳対の追加 上へ: 実験環境 戻る: デコーダのパラメータ   目次

評価方法

機械翻訳システムの翻訳精度を自動評価する手法としては,あらかじめ実験者が 用意した正解文と,翻訳システムが出力した文とを比較する手法が一般的である. そのような自動評価法には多くの方法がある.本研究では,BLEU[8]とMETEOR[9]を用いる. BLEUは予め用意された正解文と翻訳結果の文を比較して,語順が正しい場合に高 いスコアを出す.METEORは単語属性が正しい場合に高いスコアを出す. 共に0から1の間の値で評価され,1が最も良い評価である.

尚,本研究では,入力文1文に対して正解文1文を用いて評価を行う. また,METEORは英日翻訳の評価には使用できないため,日英翻訳の評価にのみ用いる.



平成21年3月17日