MRRを用いた評価方法

4段階評価を行った後，優先度の上位5つの出力のうち正解がどの順位に当てはまるかを利用して，MRR(Mean Reciprocal Rank)で評価する． MRRとは，以下の式で表される評価値である．

  $$\small \displaystyle MRR = \frac{\sum_{i=1}^N1/r_{i}}{N}$$ (5)

Nは評価する対象の総数，$r_i$は評価対象$i$がもつ最も高い正解の順位である．今回は，優先度の上位5つを出力としているため， $1\leq r_i\leq5$となる． 本研究では，○のみを正解とする基準，○と□を正解とする基準，○と□と△を正解とする基準の3パターンの基準で評価を行う．