各一致率以上の付与先を正解としたときの，各作業者の間違 い数

ランク付けを行い，付与精度が良いと思われる作業者を選んだ が，ランク付けのために抽出できた文が25文と少ないことから，これだけ では不十分であると考えた．そこで，判定してもらった100文の中から，14 人の作業者の付与先の一致率が，ある一定以上のものを抽出し，その付与 先を仮の正解としたときの各作業者の間違い数を調べた．その手順を以下に示す．

1. 14人の作業者に判定してもらった100文より，6割以上(作業者の9 人以上)の付与先が一致したものを抽出し，その係り先を仮の正解と する．
2. 仮の正解に対する各作業者の間違い数を数える．
3. 同様に，7割以上(10人以上)，8割以上(12人以上)，9割以上 (13人以上)についても調べる．

結果を以下の表にまとめる．

表 2: 各一致率以上の付与先を正解としたときの各判定者の間違い数

判定者 D〜Q	D	E	F	G	H	I	J	K	L	M	N	O	P	Q
６割以上(77文中)	5	7	3	8	11	8	12	14	8	4	5	3	22	17
７割以上(71文中)	3	4	3	6	8	5	11	13	6	5	4	2	20	17
８割以上(56文中)	2	1	1	2	3	1	3	5	2	3	3	0	11	9
９割以上(41文中)	0	1	1	1	2	0	1	2	0	2	1	0	4	4

ランク付けにおいて結果が良くなかった作業者は，J，K，P，Qの作業者で ある．表2の結果からもこれらの作業者の精度があまり良くないことが確認 出来る．そこで，J，K，P，Qの作業者を，判定文の作業者から外すことにする．