6章の実験結果から,対訳句の学習で翻訳精度が向上すると推察される.そこで,対訳句の精度が低下した場合の考察する.
本研究で用いた対訳句の精度は,95%である.この精度が低下したときの,
翻訳精度の変化を調査した.本実験の対訳句の正答率を100%と仮定して,
正答率を50%,75%,90%に設定した.表7.1.1に自動評価の結果を示す.
Table 7.1.1:
正答率変更後の自動評価結果
手法 |
BLEU |
METEOR |
RIBES |
TER |
|
ベースライン |
0.1856 |
0.4564 |
0.7656 |
0.6215 |
|
90% |
0.1986 |
0.4686 |
0.7719 |
0.6076 |
|
75% |
0.1855 |
0.4470 |
0.7558 |
0.6266 |
|
50% |
0.1743 |
0.4357 |
0.7468 |
0.6345 |
|
表7.1.1より対訳句の正答率を下げた場合,
75%まで下げたとき翻訳精度がベースラインより低下している.