MRRを用いた評価方法

4段階評価を行った後，優先度の上位5つの出力のうち正解がどの順位に当てはまるかを利用して，MRR(Mean Reciprocal Rank)で評価する． MRRとは，以下の式で表される評価値である．

17#17 (5.1)

Nは評価する対象の総数，r_iは評価対象iがもつ最も高い正解の順位である．今回は，優先度の上位5つを出力としているため，1&le#leq;r_i&le#leq;5となる． 本研究では，○のみを正解とする基準，○と□を正解とする基準，○と□と△を正解とする基準の3パターンの基準で評価を行う．