next up previous contents
次へ: 誤り分析 上へ: 出力英文の意味的な正しさ 戻る: 評価方法   目次

結果

人による評価の平均値と内訳を表21に示す.なお,表21の内訳の その他は,入力日本語文と日本語パターンの照合で適合する日本語パターンが ない場合である.平均値の計算は,その他は含んでいない.また,参考として, 3種類の一般の翻訳システムを用い,同じ入力文,評価基準にて人による評価を 行った.一般の翻訳システムの評価を表22に示す.

クローズドテストでは,英文の表現生成には,入力日本語文から作成された英 語パター ンを用いているので,単語の誤訳,パターン自体の間違いにのみ左右される. 表21では,評価値4が約50%を占め,評価値3が約40%を占めた.

クロスバリデーションテストおよびオープンテストは,現状では良い英訳を生 成できなかった.更に,適合する日本語パターンがない場合が多い.

表 21: 人による評価の平均値と内訳
テスト 平均値 内訳
    評価値4 評価値3 評価値2 評価値1 その他
入力1 3.5 54.4% 42.8% 2.8% 0.0% -
(クローズド)   (136/250) (107/250) (7/250) (0/250)  
入力1 2.2 8.8% 11.2% 27.2% 14.8% 38.0%
(クロスバリ   (22/250) (28/250) (68/250) (37/250) (95/250)
デーション)            
入力2 1.6 1.0% 1.5% 16.5% 16.5% 64.5%
(オープン)   (2/200) (3/200) (33/200) (33/200) (129/200)


表 22: 一般の翻訳システムの評価
システム 入力文 平均値 内訳
      評価値4 評価値3 評価値2 評価値1
システム1 入力文1 2.7 25.2% 32.4% 33.2% 9.2%
      (63/250) (81/250) (83/250) (23/250)
  入力文2 2.6 16.0% 37.0% 36.5% 10.5%
      (32/200) (74/200) (73/200) (21/200)
システム2 入力文1 3.2 46.8% 31.6% 19.2% 2.4%
      (117/250) (79/250) (48/250) (6/250)
  入力文2 3.0 36.5% 31.0% 29.0% 3.5%
      (73/200) (62/200) (58/200) (7/200)
システム3 入力文1 3.4 58.0% 24.4% 15.6% 2.0%
      (145/250) (61/250) (39/250) (5/250)
  入力文2 3.3 53.5% 26.0% 19.5% 1.0%
      (107/200) (52/200) (39/200) (2/200)

評価の例を以下に示す.
評価値4となった事例
(例1)
入力文:欠点はあるがそれでも彼が好きだ。
英語原文:I like him in spite of his faults .
日パターン:$N1$ はあるが(それ|其)でも<$N2$は > $N3$$AJV4$
英パターン:<I|$N2$> $V4$ $N3$^$obj$ in spite of $N3$^$poss$ $N1$.
バインド値:$N1$=欠点,$N3$=彼,$AJV4$=好きだ
出力:I like him in spite of his faults .

出力が理想解と同じになった.誤訳を含んでいないため評価値は4となった.
(例2)
入力文:足音が遠くて聞こえなくなった。
英語原文:His footsteps died away in the distance .
日パターン:$N1$$AJ2$(て|で)聞こえなくなった。
英パターン:$N1$ died away in $N2$.
バインド値:$N1$=足音,$AJ2$=遠く
出力:Footsteps died away in a long way .

出力が理想解と同じではないが,SVOCの関係が正しく構成されており,誤訳を 含んでいないため評価値は4となった.
評価値3となった事例
(例1)
入力文:子どもは厳しく育てろというのが彼の持論だ。
英語原文:His theory is that children need strict discipline.
日パターン:$1^{$N1$ は} $ADV2$ $1 ($V3$^$meirei$|$V3.meireigo$) (という|と言う) のが $N4$
    $N5.\char93 da$
英パターン:$N4$^$poss$ $N5$ be that $N1$ need $AJ2$ $N3$.
バインド値:$N1$=子ども,$ADV2$=厳しく,$V3$=育てろ,$N4$=彼, $N5$=持論
出力:His theory be that children need strict nurture .

出力は,be動詞が原形で書かれている.そのため,誤訳と判断し評価値 は3となった.
(例2)
入力文:僕らは監事局へ呼び出されて調べられた。
英語原文:We were summoned and examined before the inspector.
日パターン:$1^{$N1$ は} $N2$ 局へ $1 $V3.reru$ (て|で) $1 $V4.rareru.kako$
英パターン:$N1$ $V3$^$past$^$passive$ and $V4$^$ed$ before $N2$.
バインド値:$N1$=僕ら,$N2$=監事,$V3$=呼び出さ,$V4$=調べ
出力:I was called and examined before inspector .

出力は,``I was $\ldots$''となっており単数形である.入力は,``僕ら''で あり複数形のため,誤訳と判断し,評価値は3となった.
評価値2となった事例
(例1)
入力文:愛情を持続させることは難しい。
英語原文:It is hard to keep love alive.
日パターン:$N1$ を ($V2.sase$^$rentai$|$V2$^$sase$^$rentai$) ことは $AJ3$ #4($.genzai$|$.kako$) 。
英パターン:It @be#1(^$present$|^$past$) $AJ3$ to $V2$^$base$.
バインド値:$N1$=愛情,$V2$=持続さ,$AJ3$=難しい
出力:It is difficult to stay .

出力は,目的語である``愛情を''の訳出が消失している.SVOCの関係が部分的 に構成されているので,評価値は2となった.しかし,原因は英語パターンであ る.日本語パターンで目的語を表す$N1$は重要な情報であるが,英語パターンは 対応する変数の記述がない.
(例2)
入力文:どろぼうはお金だけ盗んで何の証拠も残さずに逃げた。
英語原文:The thief stole only money and made off without leaving the slightest evidence
    behind.
日パターン:$1^{$N1$ は} $N2$ だけ $V3$ (て|で) $1 何の $N4$$V5.hitei$$V6.kako$
英パターン:$N1$ $V3$^$past$ only $N2$ and $V6$^$past$ without $V5$^$ing$.
バインド値:$N1$=どろぼう,$N2$=お金,$V3$=盗ん,$N4$=証拠,$V5$=残さ,$V6$=逃げ
出力:Thieves stole only costs and ran without leaving .

出力は,入力の``何の証拠も''の訳出が消失している.SVOCの関係が部分的 に構成されているので,評価値は2となった.しかし,原因は英語パターンであ る.$N4$のバインド値は存在し,``証拠''は重要な情報であるが,英語パター ンに対応する変数の記述がない.


next up previous contents
次へ: 誤り分析 上へ: 出力英文の意味的な正しさ 戻る: 評価方法   目次
平成19年3月16日