n位正解率を用いた評価方法

節の手法で作成した表について，表の頻度上位5つの出力のうち正解がどの順位に当てはまるかを利用して，n位正解率を用いて評価する． n位正解率とは，優先度の上位n個の候補において，1位からn位のいずれかに正解が含まれる場合，1の得点を与え，その合計を問題数で割った値のことである． 本研究では，1位正解率と5位正解率を用いる． また，固有表現抽出に基づく手法で決定した重要項目「地名」「人名」「組織名」の3つそれぞれに対して評価を行う． 同様に上位下位知識に基づく手法で決定した重要項目「県名」「時代」「地名」「元号」の4つそれぞれに対して評価を行う． クラスタリングに基づく手法で決定した重要項目「戦い状況」「城の造り」「交通関係」の3つそれぞれに対して評価を行う．

5位正解率で評価する理由として，表に出力した5個の単語をユーザに見せただけではどれが正解かわからないが，5個の単語を取り出した記事も見せることによってどれが正解かわかるようになり，ユーザも単語を5個見せられても困らないので文章の修正支援に役立つ． 5個の単語の中に正解があれば役に立つため，5位正解率によって評価を行った．また5位正解率ならば1位正解率で精度が低くても，1位正解率よりも高い精度を出すことができる．