next up previous
Next: 基底数削減に関する実験 Up: 従来法との比較実験 Previous: (3)実験方法

検索精度に関する実験

意味属性2,710種すべてを使用した意味ベクトル空間法について検索実験を行い、検索精度を単語ベクトル空間法(基底数2,710)と比較した。 文書検索では、類似度がある一定値以上を持つ記事を検索の対象とするが、その選び方によって、適合率、再現率は変化する。 そこで、検索精度の評価では、総合的なF値が最大となるように類似度を設定する。

類似度がある一定値以上を抽出した場合の類似度と適合率、再現率の関係を図3に示す。 なお、類似度0.7以上の場合は、抽出される文書が高々1件程度となるため、グラフから削除した。

F値が最大となるように類似度を設定した場合の検索精度を表1に示す。


 
Table: 基底数2,710の時の検索精度
基底数 再現率 適合率 F
本手法 0.55 0.50 0.45
従来法 0.52 0.56 0.45


 
Figure: 類似度と適合率・再現率の関係

以上の図3の結果から、本方式は表記の揺らぎに強く再現率は高いが、その反面、検索ゴミを拾いやすく適合率は低いことが分かる。 また、表1の結果から総合的な検索精度(F値)はほとんど変わらないことがわかる。




2000-05-30