評価実験

人名Aとして40件，分野名Aとして31件を使用し，ルーツ特定の評価実験を行う． 出力のルーツが正解であるかの評価は，言語処理学会に精通している人物が行う．

評価をする際には以下のデータを利用した．

• 提案手法で結果として出力される人名B(または分野名B)
• 章で述べる先行研究の手法で結果として出力される人名B(または分野名B)
• それぞれの手法で出力される人名B(または分野名B) の候補すべて(ただし、人名A (または分野名A)より前に出現し ていない人名B (または分野名B)は除く。)

このデータをすべて混ぜ合わせてランダムな順番に表示し，その中より評価者が正解となる人名または分野名を選ぶ． その正解の情報により，評価を行う． また変遷情報の推定のために手法が使用した10 件の論文データ (論文の著者名とタイトルの情報を含むもの)も参考のため，評価者に見せ，評価者はこの情報も含めて正解の判定を行う．