next up previous
次へ: 適合文型正解含有率() 上へ: 評価結果 戻る: 評価結果

適合文型意味正解率($P1$

「適合文型意味正解率」の評価結果を表15に示す.表中,「完全一致」,「部分一致」の欄は,入力文に「完全一致」又は「部分一致」した文型パターンの中で,それぞれのランクに適合した文型パターンの割合を表す.また,「全体」の欄は,入力文に「完全一致」もしくは「部分一致」した文型パターン全体が対象で,それぞれのランクに相当する文型パターンの数の割合,すなわち「適合文型意味正解率$P1$」を示す.


1.5
表 15: 適合文型意味正解率$P1$
評価のレベル 完全一致 部分一致 全体(適合文型意味正解率$P1$
ランク1 77.3% 11.8% 18.4%
ランク2 41.1%  5.4%  9.1%

この表から,「完全一致」した文型パターンに比べて,「部分一致」した文型パターンの品質は極端に悪いことが分かる.4章の結果では,単語レベルの文型パターンの場合,「完全一致」する文型パターンに比べて「部分一致」する文型パターンは大変多い.多数の文型パターンの中からきわめて少数の意味的に正しい文型パターンを選択することは難しいと予想される.しかし,「意味的正解率」が小さいとは言え,多数の「部分一致」の文型パターンの中にはそれなりに正しい文型パターンが含まれることになるから,「部分一致」した文型パターンを無視して良いかどうか微妙である.いずれにしても不正解な「部分一致」文型パターンが多数適合することが問題である.この問題の最大の原因は,5.1節で述べたように,「原文任意要素」を指定する「離散記号」の使用基準にあると思われる.



平成16年11月17日