MRRを用いた評価方法

n位正解率と同様に表の出力のうち正解がどの順位に当てはまるかを利用して，MRR(Mean Reciprocal Rank)で評価する．MRRとは，以下の式で表される評価値である．

6#6 (5.1)

Nは評価する対象の総数，7#7 は評価対象iがもつ最も高い正解の順位である． 今回は，Webから取得した記事50件の中で単語が出現した記事数が多い上位5つの単語を表に出力しているため， 8#8 となる. また，n位正解率と同様に，固有表現抽出に基づく手法と上位下位知識に基づく手法とクラスタリングに基づく手法の3手法それぞれの重要項目に対して評価を行う．