上記のように、複数の候補のうちどれかが正解ならば、役立つという場合を考えれば, 第章で示した評価方法とは別のものが考えられる. 例えば,現在は1番最初に出たもののみを正解としているが, 上位いくつかを正解とする,またはMMRで評価をすれば正解率は上がると思われる. MRRとは, 番目に正解を出力した場合に得点1/ をつける方法である. 例えば,1番目に正解を出力した場合に得点1を, 2番目に正解を出力した場合に得点1/2を, 3番目に正解を出力した場合に得点1/3を...というように得点を付与していく方法である.