next up previous contents
次へ: 提案手法の評価実験結果 上へ: 評価実験 戻る: 評価基準   目次


正解率算出方法

[*]節の評価基準に適するものを正解とする. システムの出力の1番目に正解を持つ場合に得点1を付け, 合計を出し,すべての件数で割る. なお,正解と同じ点数を持つものがn個存在する場合, 得点1/n点をつける.

[*]の例を用いて説明する.

図: 正解率算出方法の例
\begin{figure}\begin{center}
\begin{itembox}[c]{出力}
\begin{verbatim}人名:酒...
...
-----
  ・
  ・
  ・\end{verbatim}
\end{itembox}
\end{center}\end{figure}

この例では,「増山繁」が正解である. a = 0.1,0.2の場合は一番目に正解を表示しているため,得点1をつける. しかし,a = 0の場合,正解と同じ得点をもつものが他に1個存在しているため, 得点は1/2点となる. パラメータ(aの値)ごとに得点を算出し,全体の件数で割る.

また,人名A(分野A)のルーツである人名(分野名)の どれもが人名A(分野A)と同時に出現している論文が2個以上ない場合, その人名A(分野A)は,ルーツを特定するにはデータが不足していると考え,実験には用いていない。 先に記述した,評価実験に用いる40件の人名Aと32件の分野名Aにはこのようなデータは含めていない.

より詳細に説明すれば,[*]章で述べた実験に用いる データ(人名277件,分野94件)のうち, ルーツが人名A(分野A)と同時に出現する論文が2個以上あったものが, 人名で40件で,分野で31件であった. この40件の人名と31件の分野を評価実験に用いた.



平成25年10月13日