next up previous contents
次へ: 実験の様子 上へ: 汎化・無効化の効果の実験 戻る: 実験の目的   目次

実験の方法

実験には,実際に文を入力して,パターンの被覆率を求める. テスト用の入力文は形態素解析結果123,016文(=$I$)を使用する. 入力文と文型パターン辞書を文型パターンパーサ[5]を用いて照合を 行い,照合結果から,以下の項目(i)〜(v i) を調べる.
(i)
アンマッチ:文法・単語レベル123,016文中どのパターンにもマッチしなかった文数
(i i)
自己パターンにのみマッチ:テスト文から作成された文型パターンにのみマッチした文数
(i i i)
他パターンにのみマッチ:テスト文から作成された文型パターン以外の文型パターンにのみマッチした文数
(i v)
自己パターン他パターン共にマッチ:テスト文から作成された文型パターンとテスト文から作成された文型パターン以外の文型パターンが共にマッチした文数
(v)
完全一致適合パターン数$P_{N1}$:入力文のすべての要素が文型パターンの要素と適合する文型パターンの総数
(v i)
部分一致適合パターン数$P_{N2}$:入力文の一部の要素が文型パターンに定義されない要素となる文型パターンの総数

「自己文型パターン」以外の適合文型パターンが1つ以上存在し た入力文の数$M$は(i i i)と(i v)を足したもので,適合文型パターン数$P$は(v)と(v i)を足したものである.文型再現率$R1$と平均適合パターン数$N$の実測値は,それぞれ(1) 式,(5)式にテスト用入力文の数$I$$M$$P$の実測値を代入して求める.

[2]より,基準パターン辞書の被覆率のパラメータ$R1$および$N$の近似 式の係数は,以下のようになる.

$\displaystyle \lambda_{1} = 0.005038$     (9)
$\displaystyle \lambda_{2} = 0.4171$     (10)
$\displaystyle \lambda_{3} = 13.4085/122,619.0$     (11)

したがって,$R1$および$N$の実測値と近似式の係数を(7)式,(8) 式に代入し,$p_{R1}$および$p_{N}$を求め, $p_{R1}$および$p_{N}$$X$とし,(6)式より${\eta}_{R1}$${\eta}_{N}$を求める.

平成17年3月22日