next up previous contents
次へ: 対比較実験 上へ: 翻訳実験 戻る: フレーズテーブル   目次

日英翻訳精度の評価

5.4と表5.5に日英翻訳精度の評価結果を示す.なお,表9の値はBLEU値であり,表10の値はMETEOR値である.

表 5.4: 翻訳精度の評価(BLEU値)
テスト文
ベースライン
提案手法
単文
0.118
0.121
重文複文
0.082
0.084



表 5.5: 翻訳精度の評価(METEOR値)
テスト文
ベースライン
提案手法
単文
0.360
0.368
重文複文
0.323
0.329


5.4と表5.5の結果から単文と重文複文ともに,提案手 法はベースラインよりも,BLEU値とMETEOR値が向上していることがわかる.

ベースラインより,提案手法が良くなった単文の翻訳結果の例を表5.6に 示し,ベースラインと提案手法が同一出力だった例を表5.7に示し, ベースラインより,提案手法が悪くなった例を表5.8に示す.


表 5.6: 単文において,ベースラインより提案手法が良くなった例
ベースラインより提案手法が良くなった例1
入力文:生徒 は 八 時 まで に 登校 する 。
正解文:Students report to school by eight o'clock .
ベースライン:The students will be to school by eight o'clock .
提案手法:The students go to school by eight o'clock .
ベースラインより提案手法が良くなった例2
入力文:映画館 へ 映画 を 見 に 行く 。
正解文:To go to a movie theater to see a movie .
ベースライン:movie theater to go to the movies .
提案手法:I go to see a movie theater .
ベースラインより提案手法が良くなった例3
入力文:その 知らせ を 間接 的 に 知っ た 。
正解文:She had the news at second hand .
ベースライン: The news of the indirectly informed .
提案手法:The news informed the indirectly .


例1では,提案手法がベースラインに比べ,意味がとおる文になっている.例2で は,ベースラインでは単語``go''が含まれていないが,提案手法では単語``go'' が含まれているため,意味がとおる文になっている.例3では,ベースラインに おいて,誤っていた語順が提案手法において,正しい語順になっている.


表 5.7: 単文において,ベースラインと提案手法が同一出力だった例
ベースラインと提案手法が同一出力だった例1
入力文:彼 は 健康 を 損なっ た 。
正解文:He ruined his health .
ベースライン:He ruined his health .
提案手法:He ruined his health .
ベースラインと提案手法が同一出力だった例2
入力文:星 が 光っ て いる 。
正解文: The stars are twinkling .
ベースライン:The stars are shining .
提案手法: The stars are shining .
ベースラインと提案手法が同一出力だった例3
入力文:市況 は しっかり し て いる 。
正解文:The market is steady .
ベースライン:The market is firm .
提案手法:The market is firm .


例1,例2,例3ともに,ベースラインと提案手法が同一出力である.


表 5.8: 単文において,ベースラインより提案手法が悪くなった例
ベースラインより提案手法が悪くなった例1
入力文:平気 で うそ を つく 。
正解文:She doesn't scruple to tell a lie .
ベースライン:平気 in tells lies .
提案手法:tells lies without batting an eyelid .
ベースラインより提案手法が悪くなった例2
入力文:スーパーコンピュータ は 新しい 可能 性 の 世界 を 開く
正解文:Supercomputers open up new worlds of possibility .
ベースライン:The new スーパーコンピュータ will hold the possibility of the world .
提案手法:The new possibilities will hold the supercomputer of the world .
ベースラインより提案手法が悪くなった例3
入力文:ぼく は 純粋 な 動機 から そう 言っ て いる の だ 。
正解文:I am speaking from a disinterested motive .
ベースライン:I always neat from a motive say that is the time .
提案手法:I say that is is out of pure motives .

例1では,提案手法では``瞬きをせずに'',``without batting an eyelid''となっ ており,入力文と意味が違うため,ベースラインより提案手法が悪くなっている.例2では,提案手法では, ``possibilities''と``supercomputer''の語順が誤っているため,ベースライン より提案手法が悪くなっている.例3では,提案手法において,動詞``is''が2つ 存在するため,提案手法がベースラインより悪くなっている.

ベースラインより,提案手法が良くなった重文複文の翻訳結果の例を表5.9に 示し,ベースラインと提案手法が同一出力だった例を表5.10に示し, ベースラインより,提案手法が悪くなった例を表5.11に示す.


表 5.9: 重文複文において,ベースラインより提案手法が良くなった例
ベースラインより提案手法が良くなった例1
入力文:彼 の 声 は 次第に 小さく なり ささやき声 に なっ た 。
正解文:His voice trailed off to a whisper .
ベースライン:His voice is too small for me to be ささやき声 gradually became .
提案手法:His voice is too small for me to be gradually rose to a whisper .
ベースラインより提案手法が良くなった例2
入力文:ノーベル 賞 は 世界 最高 の 学問 的 栄誉 だ と 考え られ て いる 。
正解文: The Nobel Prize is considered to be the highest academic distinction in the world .
ベースライン:He is the best ノーベル prize is thought of honor .
提案手法:It is considered to be a Nobel prize the best of honor .
ベースラインより提案手法が良くなった例3
入力文:彼 は 職務 に 勤勉 で 我々 に 好い 模範 を 示し た 。
正解文:He set us a good example by his diligence in-attending to his duties .
ベースライン: He is hard for us to take a 模範 showed .
提案手法:He showed a model for us to take hard work .


例1では,ベースラインにおける未知語``ささやき声''が提案手法では ``whisper''と翻訳されているため,ベースラインより提案手法が良くなってい る.例2では,例1と同様に,,ベースラインにおける未知語``ノーベル''が提案手法では ``Nobel''と翻訳されているため,ベースラインより提案手法が良くなってい る.例3では,例1,例2と同様にベースラインにおける未知語``模範''が提案手法では ``model''と翻訳されており,かつ語順が正しくなっているため,ベースライン より提案手法が良くなっている.


表 5.10: 重文複文において,ベースラインと提案手法が同一出力だった例
ベースラインと提案手法が同一出力だった例1
入力文:彼女 は 優秀 な 学生 だ 。
正解文:She is an excellent student .
ベースライン:She is an excellent students .
提案手法:She is an excellent students .
ベースラインと提案手法が同一出力だった例2
入力文:彼 は 言う ばかり で 行動 が 伴わ ない 。
正解文:He is all talk and no action .
ベースライン:He is just the execution does not say action .
提案手法:He is just the execution does not say action .
ベースラインと提案手法が同一出力だった例3
入力文:彼女 が 大学 に 進学 する の は 不可能 だ 。
正解文:There is no question of her going to college .
ベースライン:It is impossible to her to go to college .
提案手法:It is impossible to her to go to college .


例1,例2,例3ともに,ベースラインと提案手法が同一出力である.


表 5.11: 重文複文において,ベースラインより提案手法が悪くなった例
ベースラインより提案手法が悪くなった例1
入力文:サッカー で は ボール に 手 を 触れ て は なら ない という 規則 が ある 。
正解文:There is a rule in soccer that one must not touch the ball with one's hands .
ベースライン:Soccer is that there would be no ball touched the rules .
提案手法:He is that there would be no soccer touched the rules .
ベースラインより提案手法が悪くなった例2
入力文:船 が 嵐 に 逢っ て 難破 し た 。
正解文:The ship was wrecked in a gale .
ベースライン:The ship in a storm , and 難破 down .
提案手法:The storm , and had to the shipwreck .
ベースラインより提案手法が悪くなった例3
入力文:その 件 に 触れる と 彼女 の 顔 は 一瞬 曇っ た 。
正解文:Her face clouded over momentarily when I referred to it .
ベースライン:Her face was cloudy touch the matter .
提案手法:The matter touch her face clouded for a moment .


例1では,提案手法の主語が誤っているため,ベースラインより提案手法が悪く なっている.例2では,単語``船''が提案手法には表れておらず,意味がとおり にくくなっているため,ベースラインより提案手法が悪くなっている.例3では 提案手法より,ベースラインの方が意味がとおる文になっているため,ベースラ インより提案手法が悪くなっている.


next up previous contents
次へ: 対比較実験 上へ: 翻訳実験 戻る: フレーズテーブル   目次
平成22年2月13日