正例と負例の評価は被験者A(1名)が行った.被験者A(1名)の評価した正例20個と負例20個を,被験者Aとは別の被験者3名により,評価させた.
被験者3名の多数決の結果と被験者Aの判定結果を比較すると,カッパ係数0.58を得た.中程度の一致であった.