上記のように、複数の候補のうちどれかが正解ならば、役立つという場合を考えれば,
第章で示した評価方法とは別のものが考えられる.
例えば,現在は1番最初に出たもののみを正解としているが,
上位いくつかを正解とする,またはMMRで評価をすれば正解率は上がると思われる.
MRRとは,
番目に正解を出力した場合に得点1/
をつける方法である.
例えば,1番目に正解を出力した場合に得点1を,
2番目に正解を出力した場合に得点1/2を,
3番目に正解を出力した場合に得点1/3を...というように得点を付与していく方法である.