Next: 句読点での実験結果
Up: 実験
Previous: MRRを用いた評価方法
目次
n位正解率を用いた評価方法
4段階評価を行った後,優先度の上位5つの出力のうち正解がどの順位に当てはまるかを利用して,n位正解率を用いて評価する.
n位正解率とは,優先度の上位n個の候補において,1位からn位のいずれかに正解が含まれる場合,1の得点を与え,その合計を問題数で割った値のことである.
本研究では,1位正解率と5位正解率を用いる.
また,MRRと同様に,○のみを正解とする基準,○と□を正解とする基準,○と□と△を正解とする基準の3パターンの基準で評価を行う.
2016-03-17