next up previous contents
次へ: 考察 上へ: 単文・重文複文の学習データとしての効果 戻る: 学習データと異なる構造の文の翻訳   目次

人手評価

表9,10の実験について,人手による4段階評価を行なう.評価基準と評価例を以下に示す. なお,未知語についてはローマ字変換されているものと見なす.

評価A
出力文は入力文の訳文として問題がない.

評価Aの例1
入力文 川 の 水 は 澄ん で い た 。
正解文 The water in the river was clear .
出力文 The water of the river was clear .

評価Aの例2
入力文 ぼく は きのう 神戸 で 由美子 と デート し た 。
正解文 I dated Yumiko in Kobe yesterday .
出力文 Yesterday I had a date with 由美子 at Kobe .

評価Aの例3
入力文 努力 の 甲斐 も なく その 患者 は 死亡 し た 。
正解文 The patient passed away in spite of all the care we had taken for him .
出力文 The patient passed away in spite of all the care we had taken for him .

評価B
出力文は文法的に間違っていたり,情報が欠けていたりと,不自然 さを伴うが,原文で伝えたい情報が容易に理解できる.

評価Bの例1
入力文 それ 自身 の 光 で 輝い て いる 。
正解文 It shines with its own light .
出力文 It is shining on the light of myself .

評価Bの例2
入力文 彼 は そんな こと を する 人 で は ない 。
正解文 He is above such conduct .
出力文 He is not the man to do such a thing .

評価Bの例3
入力文 彼 を 措い て ほか に 適任 者 は い ない 。
正解文 No one other than him is suitable .
出力文 There is nobody who do it except for him .

評価C
出力文は多くの情報が抜けているが重要な情報は含まれており,文脈 や断片的な情報から原文で伝えたい情報が理解できる.

評価Cの例1
入力文 ゼロ から やり直そ う 。
正解文 Let's make a fresh start .
出力文 Let's try it from zero .

評価Cの例2
入力文 彼 が 生まれ た の は 第 2 次 大戦 たけなわ の 頃 の こと だっ た 。
正解文 It was at the height of World War II that he was born .
出力文 He was born in World War II たけなわ when it was .

評価Cの例3
入力文 銀行 に 1 万 ドル 預け て あり ます 。
正解文 I bought a French made handbag quite inexpensively .
出力文 I have entrusted to ten thousand dollars .

評価D
出力文では伝えたい情報が理解できない.または,異なって理解さ れる.

評価Dの例1
入力文 彼 は この ところ 歯医者 に かかっ て いる 。
正解文 He has been having dental treatment recently .
出力文 He is a dentist these days .

評価Dの例2
入力文 学 に 励む 。
正解文 To pursue one's studies with diligence .
出力文 励む in science .

評価Dの例3
入力文 彼ら は 人 の 力 を 借り ず に やら なけれ ば なら なかっ た 。
正解文 They had to work things out for themselves .
出力文 They have to do なけれ I had a ず in the power of people .

評価結果を表11に示す.評価結果の詳細は,巻末の付録に示す.





表 11: 人手評価
入力文 単文の翻訳 重文複文の翻 訳
学習データ 単文 重文複文 単文 重文複文
評価A 12/100 7/100 4/100 3/100
評価B 22/100 21/100 9/100 9/100
評価C 10/100 21/100 18/100 14/100
評価D 56/100 51/100 69/100 74/100

結果から,以下のことがわかる.

1
重文複文の翻訳では,学習データに単文を用いた場合のほうが,意味が理 解できる訳出が多い.
2
単文の翻訳では,学習データに単文を用いた場合,重文複文を用いた場合 と比較して,意味が理解できる(A,B,C)訳出は少ないが評価Aが多い.
3
自動評価手法は人手評価と相関性があった.


next up previous contents
次へ: 考察 上へ: 単文・重文複文の学習データとしての効果 戻る: 学習データと異なる構造の文の翻訳   目次
平成20年3月25日