next up previous
次へ: 考察 上へ: hpaper 戻る: 変化動詞+テイル形に関する制約条件

評価実験

本稿で提案した翻訳方法の精度を対訳コーパスを用いて評価する.コーパスに は,アンカー和英辞典を用い,ル形・タ形それぞれ200文,ル+ダロウ形・テイル(テイ タ)形それぞれ100文をランダムに取り出し人手で実験を行った.取り出した文は すべて単文である.

ル形については, 複数の候補が得られる場合があるため,評価を次の3つに分類する.


. 候補が一つで,それが正解の場合
. 複数の候補の中に正解が含まれる場合
×. 候補の中に正解が含まれない場合

以下の表6に結果を示す.括弧内は該当する度数である.なお実験で用いたデー タは,規則の作成には無関係なた めテストはオープンテストである.

表6: 翻訳結果(和英辞典 600文)
×
タ形(200) 92.5%(185) 7.5%(15)
ル形(200) 51.5%(103) 41.5%(83) 7.0%(14)
テイル(タ)形(100) 65.0%(65) 35.0%(35)
ル+ダロウ形(100) 86.0%(86) 14.0%(14)
平均(600) 73.2%(439) 13.8%(83) 13.0%(78)


表6の実験結果から正しい英語時間表現が,タ形については,92.5%,ル+ダロウ 形では, 86.0%求まるという結果を得た.また,候補が一つに決定できない場合があるル形 については,一意正解率が51.5%であったが,候補の中に正解が含まれる割合は, 93.0%となった.テイル(テイタ)形については,一意正解率が65.0%にとどまった.


平成13年11月22日