next up previous contents
Next: 本手法と市販ソフトとの精度比較実験 Up: 評価実験 Previous: 評価実験

   
本手法の翻訳精度調査実験

(1) 対訳コーパス(アンカー和英辞典)から,ル形・タ形それぞれ200文,ル+ダロウ形・テイル(テイ タ)形それぞれ100文をランダムに取り出し,英訳の時間表現と比較し正解率を求め た.取り出した文はすべて単文である.

ル形については, 複数の候補が得られる場合があるため,評価を次の3つに分類する.

○. 候補が一つで,それが正解の場合
△. 複数の候補の中に正解が含まれる場合
×. 候補の中に正解が含まれない場合

以下の表9に結果を示す.括弧内は該当する度数を意味する.

   
Table 9: 翻訳結果(各語尾形式ごとの精度)
  ×
タ形(200) 92.5%(185)   7.5%(15)
ル形(200) 51.5%(103) 41.5%(83) 7.0%(14)
テイル(タ)形(100) 65.0%(65)   35.0%(35)
ル+ダロウ形(100) 86.0%(86)   14.0%(14)
平均(600) 73.2%(439) 13.8%(83) 13.0%(78)


9の実験結果から正しい英語時間表現が,タ形については,92.5%,ル+ダロウ 形では, 86.0%求まるという結果を得た.また,候補が一つに決定できない場合があるル形 については,一意正解率が51.5%であったが,候補の中に正解が含まれる割合は, 93.0%となった.テイル(テイタ)形については,一意正解率が65.0%にとどまっ た.

(2)対訳コーパス(外国人のための日本語例文・問題シリーズ15 テンス・アスペ クト[8],アンカー和英辞典)から,引用節を含む日本語文200文を取 り出し英訳の時間表現と比較し正解率を求めた.結果を以下の表10に示す.

   
Table 10: 翻訳結果(引用節を含む文)
正解 不正解 一意決定不可能
79.5%(159) 20.0%(40) 0.5%(1)

なお,一意決定不可能の一文は,8.2節の例文28で述べた引用節の示す時間が,発話時以後か以前か判断できない文である.



2002-03-07