テスト文 | 評価法 | ベースライン | 提案手法 |
単文 | BLEU | 0.125 | 0.130 |
METEOR | 0.389 | 0.404 | |
重文複文 | BLEU | 0.077 | 0.080 |
METEOR | 0.296 | 0.303 |
結果から,単文,重文複文のいずれの翻訳においても提案手法の翻訳精度が向上
していることが分かる.
単文の翻訳結果の例を表5.4(提案手法により良くなった例),表5.5(翻訳結果が
変化しなかった例),表5.6(提案手法により悪くなった例)に示す.
提案手法により良くなった例1 |
入力文:子供 達 は 窓 ガラス を 割っ た 。 |
正解文:the children broke the window panes . |
ベースライン:the children fell below the windows . |
提案手法:the children broke the window . |
提案手法により良くなった例2 |
入力文:彼 は 4月 1 日 付け の 新聞 を 探し た 。 |
正解文:he was looking for the april 1 newspaper . |
ベースライン:he is in the newspaper for april 1 . |
提案手法:he is looking for a newspaper in april 1 . |
提案手法により良くなった例3 |
入力文:そんな はず は ない 。 |
正解文:it's impossible . |
ベースライン:it is not impossible . |
提案手法:it can not be . |
例1は提案手法の翻訳の方が``窓を割った''という部分が伝わりやすくなっ ている.例2は``探した''が``looking for''と翻訳されたことにより提案手法の 翻訳結果の方が適切である.例3はベースラインの翻訳結果が入力文と反対の意 味であるのに対して,提案手法の翻訳結果は入力文と同じ意味になっていること が分かる.
ベースラインの翻訳結果と,提案手法の翻訳結果の間に変化がないことが分 かる.
例1はベースラインでは翻訳されていた``好きな時に''の情報が提案手法では無 くなっていることが分かる.例2は提案手法も間違ってはいないが,ベースライ ンの方がより正確な意味となっている.例3は提案手法では何を言い渡したのか の情報が無くなっていることが分かる.
重文複文の翻訳結果の例を表5.7(提案手法により良くなった例),表5.8(翻訳結 果が変化しなかった例),表5.9(提案手法により悪くなった例)に示す.
例1はベースラインでは``ノックの音が聞こえない''と間違った翻訳であるのに 対して,提案手法の翻訳では入力文の意味とほぼ同じ内容になっていることが分 かる.例2は``会社を休んだ''の翻訳が提案手法の方が意味が通りやすくなって いることが分かる.例3も同様に提案手法の方が意味が通りやすくなっている.
ベースラインの翻訳結果と,提案手法の翻訳結果の間に変化がないことが分 かる.
例1は提案手法の翻訳では入力文の意味が通らなくなってしまっていることが分 かる.例2はベースラインよりも分かりにくい翻訳になっている.例3は ``the strong wind''が主語となり,入力文の翻訳として不適切になっているこ とが分かる.