評価方法

機械翻訳システムの翻訳結果を自動的に評価する手法として，あらかじめ，実験 者が用意した正解文と，翻訳システムが出力した文とを比較する手法が一般的で ある．そのような，自動評価法には，多くの手法がある．本研究では，自動評価 法``BLEU[10]''と``METEOR[11]''を用いる．BLEUは，あらかじ め用意していた正解文と，翻訳システムが出力した文の語順が正しい場合に，評 価値が高い値を出す．一方，METEORは単語属性が正しい場合に，評価値が高い値 を出す．BLEU,METEORともに，評価値は0〜1の間であり，1が最良値である． なお，入力文1文に対して正解文1文を用いて評価する．また，人手による対比較実験を行う．対比較実験に関しては6章で述べる．