Next: 本手法と市販ソフトとの精度比較実験
Up: 評価実験
Previous: 評価実験
本手法の翻訳精度調査実験
(1) 対訳コーパス(アンカー和英辞典)から,ル形・タ形それぞれ200文,ル+ダロウ形・テイル(テイ
タ)形それぞれ100文をランダムに取り出し,英訳の時間表現と比較し正解率を求め
た.取り出した文はすべて単文である.
ル形については,
複数の候補が得られる場合があるため,評価を次の3つに分類する.
○. 候補が一つで,それが正解の場合
△. 複数の候補の中に正解が含まれる場合
×. 候補の中に正解が含まれない場合
以下の表9に結果を示す.括弧内は該当する度数を意味する.
Table 9:
翻訳結果(各語尾形式ごとの精度)
|
○ |
△ |
× |
タ形(200) |
92.5%(185) |
|
7.5%(15) |
ル形(200) |
51.5%(103) |
41.5%(83) |
7.0%(14) |
テイル(タ)形(100) |
65.0%(65) |
|
35.0%(35) |
ル+ダロウ形(100) |
86.0%(86) |
|
14.0%(14) |
平均(600) |
73.2%(439) |
13.8%(83) |
13.0%(78) |
表9の実験結果から正しい英語時間表現が,タ形については,92.5%,ル+ダロウ
形では,
86.0%求まるという結果を得た.また,候補が一つに決定できない場合があるル形
については,一意正解率が51.5%であったが,候補の中に正解が含まれる割合は,
93.0%となった.テイル(テイタ)形については,一意正解率が65.0%にとどまっ
た.
(2)対訳コーパス(外国人のための日本語例文・問題シリーズ15 テンス・アスペ
クト[8],アンカー和英辞典)から,引用節を含む日本語文200文を取
り出し英訳の時間表現と比較し正解率を求めた.結果を以下の表10に示す.
Table 10:
翻訳結果(引用節を含む文)
正解 |
不正解 |
一意決定不可能 |
79.5%(159) |
20.0%(40) |
0.5%(1) |
なお,一意決定不可能の一文は,8.2節の例文28で述べた引用節の示す時間が,発話時以後か以前か判断できない文である.
2002-03-07