検索精度に関する実験

意味属性2,710種すべてを使用した意味ベクトル空間法について検索実験を行い、検索精度を単語ベクトル空間法(基底数2,710)と比較した。 文書検索では、類似度がある一定値以上を持つ記事を検索の対象とするが、その選び方によって、適合率、再現率は変化する。 そこで、検索精度の評価では、総合的なF値が最大となるように類似度を設定する。

類似度がある一定値以上を抽出した場合の類似度と適合率、再現率の関係を図3に示す。 なお、類似度0.7以上の場合は、抽出される文書が高々1件程度となるため、グラフから削除した。

F値が最大となるように類似度を設定した場合の検索精度を表1に示す。

 

Table: 基底数2,710の時の検索精度

基底数	再現率	適合率	F値
本手法	0.55	0.50	0.45
従来法	0.52	0.56	0.45

 

Figure: 類似度と適合率・再現率の関係

以上の図3の結果から、本方式は表記の揺らぎに強く再現率は高いが、その反面、検索ゴミを拾いやすく適合率は低いことが分かる。 また、表1の結果から総合的な検索精度(F値)はほとんど変わらないことがわかる。