実験結果　翻訳精度の評価

1. 自動評価

   日英翻訳のテストデータには，単文1,000文と重複文1,000文を用いる．ベー スラインと提案手法の翻訳精度の自動評価の結果を表に示す．

   
   

   =1cm

   表: 実験結果(テストデータ1,000文)

   テスト文	評価法	ベースライン	提案手法
   単文	BLEU	0.125	0.130
   	METEOR	0.389	0.404
   重複文	BLEU	0.077	0.080
   	METEOR	0.296	0.303

   
   

   結果から，単文，重複文のいずれの翻訳においても提案手法の翻訳精度が向 上していることが分かる．

2. 人間による対比較実験

   表の日英翻訳結果からラン ダムに抽出した100文に対して，人間による対比較実験を行う． 対比較実験において， ベースラインの翻 訳結果の方が，優れていると評価した文を，``提案手法$×$ ''とする．提案手法 の翻訳結果が，ベースラインの翻訳結果より優れていると評価した文を，``提案 手法○''とする．また，ベースラインと提案手法で翻訳結果が変化しなかった文 を``変化無し''とする． 対比較実験の結果を表に示す．

   
   

   =0.6cm

   表: 対比較実験の結果

   テストデータ	提案手法$×$	提案手法○	変化無し
   単文	3	21	76
   重複文	5	15	80

   
   

   結果から，全ての翻訳において，提案手法が優れている割合が高くなっている ことが分かる．