単文および重複文の翻訳実験において,手作業で作成した翻訳対の翻訳確率の 重みを2倍,4倍,8倍に変化させたときの,BLEUスコアとMETEORの変化を調査す る.結果を表12に示す.
テストデータ | 評価法 | ベースライン | 1倍 | 2倍 | 4倍 | 8倍 |
単文 | BLEU | 0.125 | 0.130 | 0.134 | 0.130 | 0.128 |
METEOR | 0.389 | 0.404 | 0.404 | 0.401 | 0.402 | |
重複文 | BLEU | 0.077 | 0.080 | 0.081 | 0.085 | 0.085 |
METEOR | 0.296 | 0.303 | 0.303 | 0.308 | 0.309 |
日英の翻訳において,単文の翻訳時には翻訳確率の重みを2倍,重複文の翻訳 時には8倍にした時に翻訳精度がもっとも良かった.最適な翻訳確率の重みを用い たときの提案手法の翻訳精度と,ベースラインの翻訳精度の差を比較した場合, BLEUでは,単文で0.9%,重複文で0.8%向上していることがわかる.