実験結果

2012年度の年次大会論文(305件)をテストデータとして実験を行った. 結果を表4.3から表4.6に示す.

表 4.3: 「比較」について文章作成支援の評価結果

手法	再現率		適合率			F値
ルールベース	0.58		(34/59)	0.60		(34/57)	0.59
機械学習	0.61		(36/59)	0.21		(36/174)	0.31

表 4.4: 「問題点」について文章作成支援の評価結果

手法	再現率		適合率			F値
ルールベース	0.61		(70/114)	0.81		(70/86)	0.70
機械学習	0.69		(79/114)	0.47		(79/169)	0.56

表 4.5: 「目的」について文章作成支援の評価結果

手法	再現率		適合率			F値
ルールベース	0.53		(50/94)	0.60		(50/84)	0.56
機械学習	0.44		(41/94)	0.32		(41/127)	0.37

表 4.6: 「例」について文章作成支援の評価結果

手法	再現率		適合率			F値
ルールベース	1.00		(9/9)	0.75		(9/12)	0.86
機械学習	0.33		(3/9)	0.02		(3/129)	0.04