意味属性の汎化方法

意味属性の汎化とは、下位の意味属性をその上位の意味属性へ縮退させ、上位属性で代表することである。 汎化の対象となる意味属性の選択方法としては、意味属性の粒度に注目して、意味の粒度が細かい、最下位の意味属性から順次、選択する方法がある。 また、検索にあまり寄与しないと思われる意味属性を選択する方法が考えられる。

文書DB内に収録された文書が検索対象となる確率はすべて等しいとし、文書DB内、すべての文書を対象に求めた特性ベクトルの和をV_t(式5)とする。 V_tの要素n_iの値が小さい意味属性は検索精度に与える影響が少なくなるから、少ない基底数で高い検索精度を得るには、各n_iの値が均等していることが必要である。 つまり、各n_iの値が均等になるように意味属性を選択し、汎化すれば、検索に寄与しない意味属性を順次削減することが期待できる。

$$\vec{V_t}=(n_1,n_2,...,n_i,...,n_m)$$ (5) n_iは意味属性iの文書DB内の出現頻度

ここで、各n_iの均等さをn_iの平均値$\bar{n}$(式6)との変動で評価し、評価関数H(式5)を定義する。

$$H=\sum_{i=1}^m (\bar{n}-n_i)^2$$ (6)

$$\bar{n}=\displaystyle\sum_{i=1}^m n_i / m$$ (7)

Hの値が減少するように意味属性S_iを直属の上位属性S_jに汎化した場合のHをH'とすると、以下の式が成立する。

$$(\bar{n}-n_i)^2-(\bar{n}-n_j)^2+$$ H-H' = (8)

$$(\bar{n}-n_i-n_j)^2 >0$$

$$n_i\cdot n_j < \frac{\bar{n^2}}{2}$$ (9)

以上から、汎化すべき意味属性は(式9)を満たす意味属性を選択すれば良いことがわかる。 以下に、具体的な汎化手順を示す。

1.

上下関係にある意味属性の $n_i\cdot n_j$の値が最小の意味属性を汎化する。

2.

検索実験を行い、検索精度の低下が、ある値以上であれば、汎化を停止する。

3.

1へ戻る