実験２ 文章作成支援の性能評価

Wikipediaの城ページにおいて実際に情報が欠落していた項目を，情報抽出の実験で適切に空欄として検出できると，文章作成支援が適切に行えたと考える．この空欄箇所に基づく情報の欠落項目の検出性能を再現率，適合率，F値で評価した．その結果を表5.7に示す．固有表現抽出に基づく手法では0.53のF値であり．上位下位知識に基づく手法では0.85のF値であった．上位下位知識に基づく手法の性能の方が良かった．

表 5.7: 文章作成支援の結果の評価

手法	再現率	適合率	F値
固有表現抽出	0.50(10/20)	0.56(10/18)	0.53
上位下位知識	0.89(33/37)	0.83(33/40)	0.85