対訳句の精度と翻訳精度

6章の実験結果から,対訳句の学習で翻訳精度が向上すると推察される.そこで,対訳句の精度が低下した場合の考察する.

本研究で用いた対訳句の精度は,95%である.この精度が低下したときの, 翻訳精度の変化を調査した.本実験の対訳句の正答率を100%と仮定して, 正答率を50%,75%,90%に設定した.表7.1.1に自動評価の結果を示す.


Table 7.1.1: 正答率変更後の自動評価結果
手法 BLEU METEOR RIBES TER  
ベースライン 0.1856 0.4564 0.7656 0.6215  
90% 0.1986 0.4686 0.7719 0.6076  
75% 0.1855 0.4470 0.7558 0.6266  
50% 0.1743 0.4357 0.7468 0.6345  

表7.1.1より対訳句の正答率を下げた場合, 75%まで下げたとき翻訳精度がベースラインより低下している.