クローズドテスト

クローズドテストは，今田の例文（33文，正解データ33件），および，2014年 11月4日時点のWikipediaの「自動車」ページの名詞述語文（8文，正解データ11 件）の2種類のデータ両方をクローズドテストを行った（表6.4）． 結果は，「意味属性を利用」の方法は，57件採用し，43件一致した， 「機械学習を利用」の方法は，38件採用し，27件一致した． 「機械学習を利用」の方法は，採用数は抑えることができているが，一致数が 「意味属性を利用」の方法よりも減少している． 再現率$R$ ，適合率$P$ ，および，$F値$ 全てで「意味属性を利用」の方法が上回った．

表 6.4: 今田の例文および「自動車」文の意味解析の性能（クローズド）

手法	$T$	再現率$R$	適合率$P$	$F値$
意味属性を利用	132	0.98 (43/44)	0.75 (43/ 57)	0.85
機械学習を利用	132	0.61 (27/44)	0.71 (27/ 38)	0.66
フィルタなし	132	1.00 (44/44)	0.33 (44/132)	0.50