文章作成支援による評価実験

文章作成支援の実験において，上位下位知識とクラスタリングの結果の表の空欄の箇所についてF値を求める．F値の算出方法を以下に示す．

3#3 (5.1)

4#4 (5.2)

5#5 (5.3)

本研究において，適合率はシステムにより空欄になったものの中に，正しく空欄と検出した割合を表したものである．再現率はWikipedia内に正解の記載がなかったもののうち，正しく空欄を抽出できた割合である．F値は適合率と再現率の調和平均である．式5.2，5.3において「空欄のもの」というのは重要情報の抽出実験で作成した表において空欄の部分のことである．また「Wikipedia内に正解がないもの」というのは，Wikipedia内にもともとその項目に関する事柄の記載がなされていないもののことである．F値が大きいほど，Wikipediaでの記載の欠如をシステムがより正しく抽出できたことを意味する．