next up previous contents
Next: n位正解率を用いた評価方法 Up: 実験 Previous: 人手による4段階評価の方法   目次


MRRを用いた評価方法

4段階評価を行った後,優先度の上位5つの出力のうち正解がどの順位に当てはまるかを利用して,MRR(Mean Reciprocal Rank)で評価する. MRRとは,以下の式[*]で表される評価値である.

17#17 (5.1)

Nは評価する対象の総数,r_iは評価対象iがもつ最も高い正解の順位である.今回は,優先度の上位5つを出力としているため,1&le#leq;r_i&le#leq;5となる. 本研究では,○のみを正解とする基準,○と□を正解とする基準,○と□と△を正解とする基準の3パターンの基準で評価を行う.


2016-03-17