節の評価基準に適するものを正解とする.
システムの出力の1番目に正解を持つ場合に得点1を付け,
合計を出し,すべての件数で割る.
なお,正解と同じ点数を持つものがn個存在する場合,
得点1/n点をつける.
この例では,「増山繁」が正解である. a = 0.1,0.2の場合は一番目に正解を表示しているため,得点1をつける. しかし,a = 0の場合,正解と同じ得点をもつものが他に1個存在しているため, 得点は1/2点となる. パラメータ(aの値)ごとに得点を算出し,全体の件数で割る.
また,人名A(分野A)のルーツである人名(分野名)の どれもが人名A(分野A)と同時に出現している論文が2個以上ない場合, その人名A(分野A)は,ルーツを特定するにはデータが不足していると考え,実験には用いていない。 先に記述した,評価実験に用いる40件の人名Aと32件の分野名Aにはこのようなデータは含めていない.
より詳細に説明すれば,
章で述べた実験に用いる
データ(人名277件,分野94件)のうち,
ルーツが人名A(分野A)と同時に出現する論文が2個以上あったものが,
人名で40件で,分野で31件であった.
この40件の人名と31件の分野を評価実験に用いた.