next up previous
Next: 6. 成功と失敗の例 Up: 複文における底の名詞と修 飾部の 内と外の関係の判断規則 Previous: 4.6 本手法の判定方法

5. 評価

本手法で提案した判断規則の有効性を,「アンカー和英辞典」(約46000文)より抽 出した複文200文を用いてクローズドテストを行った.次に「アンカー和英辞 典」より複文400文を抽出してオープンテストを行った.結果を表3に 示す.評価は,内と外の関係が一意に決まる場合を◎,底の名詞の意味属性が複 数存在し,候補の中に正解を含む場合を○,不正解の場合を×とした.さらに, 評価が○の場合を,正解となる場合(*)と不正解となる場合(△)の2通りで評価 した.



Table 3: 評価結果
クローズドテスト(200文) オープンテスト(400文)
70.5% 68.9%
36.7% 54.7%
21.5% 63.7% 16.6% 45.3%
× 8.0% 14.5%

その結果,クローズドテストにおいては78.1%,オープンテストにおいては78.0%の正解率を得た.

次に,クローズドテストとオープンテストにおける「内の関係」と「外の関係」 の正解率を各々表4・表5に示す.



Table 4: 評価結果(クローズドテスト 200文)
内の関係(140文)
69.1%(97文)
53.5%
24.5%(35 文) 46.5%
× 6.4%(9文)
外の関係(60文)
73.4%(44文)
75.0%
13.3%(8文) 25.0%
× 13.3%(8文)


Table 5: 評価結果(オープンテスト)
オープンテスト(400文)
内の関係 外の関係
72.6% 65.0%
59.2% 61.2%
20.7% 40.8% 10.0% 38.8%
× 6.7% 25.0%


next up previous
Next: 6. 成功と失敗の例 Up: 複文における底の名詞と修 飾部の 内と外の関係の判断規則 Previous: 4.6 本手法の判定方法
Fujimoto 2002-05-06