評価方法

機械翻訳システムの翻訳精度を自動評価する手法としては，あらかじめ実験者が 用意した正解文と，翻訳システムが出力した文とを比較する手法が一般的である． そのような自動評価法には多くの方法がある．本研究では，BLEU[8]とMETEOR[9]を用いる． BLEUは予め用意された正解文と翻訳結果の文を比較して，語順が正しい場合に高 いスコアを出す．METEORは単語属性が正しい場合に高いスコアを出す． 共に0から1の間の値で評価され，1が最も良い評価である．

尚，本研究では，入力文1文に対して正解文1文を用いて評価を行う． また，METEORは英日翻訳の評価には使用できないため，日英翻訳の評価にのみ用いる．