オープンテスト

オープンテストは，2014年11月4日時点のWikipediaの「潜水艦」ページの名詞述 語文（26文，正解データ27件）のオープンテストを行った．機械学習に用いる学習 データは，クローズドテストで使用したデータの照合結果132件である（表6.6）． 結果は，「意味属性を利用」の方法は，29件採用し，16件一致した， 「機械学習を利用」の方法は，25件採用し，15件一致した． 「機械学習を利用」の方法は，「意味属性を利用」の方法と比較し，採用数を4 件減少させ，一致数を1件減少にとどめた． 適合率$P$ ，および，$F値$ が，「機械学習を利用」の方法をわずかに上回った． 再現率$R$ は「意味属性を利用」の方法がわずかに上回った．

表 6.6: 「潜水艦」文の意味解析の性能（オープン）

手法	$T$	再現率$R$	適合率$P$	$F値$
意味属性を利用	127	0.59 (16/27)	0.55 (16/ 29)	0.57
機械学習を利用	127	0.56 (15/27)	0.60 (15/ 25)	0.58
フィルタなし	127	0.96 (26/27)	0.20 (26/127)	0.33