ランク付け

人手による係り先付与を行うにあたり，付与精度の高いと思われる作業者の 絞り込みが必要となる． 作業者の絞り込みを行うために，14人の作業者に100件 の名詞句に正解の係り先付与を行ってもらった．係り先付与の基準は以下の通りである．

• 意味的に正しいと思われる方に係り先付与を行う
• 名詞句を含む一文全体を見て係り先付与を行って良い

係り先付与を行ってもらった100件から係り先が明白 であると思われる文を抽出し，その付与先を仮の正解とした時の各作業者 の間違い数を調べた．その手順を以下に示す．

1. 係り先を判定してもらった100文より，係り先が明白と思われる文を 抽出する．
2. 各作業者に対して間違っていると思われる判定数を数える．
3. 間違い数に応じてランクをつける．(本研究では，間違い数0でランク 1，間違い数1でランク2，間違い数2でランク3，間違い数3でランク4， 間違い数4でランク5，間違い数5でランク6とした)

抽出の結果，係り先が明白であると思われる文は25文であった．その25文に 対する各作業者の間違い数でランク付けを行った． 結果は以下の表にまとめる．

表 1: 間違い数とランク

作業者 D〜Q	D	E	F	G	H	I	J	K	L	M	N	O	P	Q
間違い数(25文中)	0	1	0	2	2	0	4	4	1	1	0	0	4	5
ランク	1	2	1	3	3	1	5	5	2	2	1	1	5	6

Qの作業者が間違い数5でランク6，J，K，Pの作業者が間違い数4でランク5 と付与精度の悪い結果となった．その他の作業者については間 違い数が2以下で，付与精度に問題はないように思われる．