人手評価

再現率高・中・低から動詞・形容詞類義語対それぞれ2例ずつ(形容詞の「高」のみ1例」)類義語を選定し，人手評価を行った．人手評価には類義語を含む文をそれぞれ10文ずつランダムに抜き出し，どちらの類義語が正しいかを選び，正解率を求めた．回答者は3名である． 3名のそれぞれの結果を表7.25から表7.27に示す．また，3名の再現率の高さごとの正解率の平均を表7.28に示す．

表 7.25: 人手評価の結果(被験者A)

24#24

表 7.26: 人手評価の結果(被験者B)

25#25

表 7.27: 人手評価の結果(被験者C)

26#26

表 7.28: 再現率の高さごとの正解率の平均

27#27

表7.28を見ると，正解率の平均は高・中・低がそれぞれ，動詞では(0.75・0.83・0.45)となり，形容詞では(0.93・0.91・0.63)となっていることが分かる．人手評価では提案手法とは違い，動詞・形容詞とも「再現率中」の類義語対の正解率がかなり高くなっていた．表7.28より，特に動詞ではその傾向にあることがわかる．これは「見定める」と「突き止める」の正解率が高くなっていることから，おそらく概念識別子が1つのみの類義語対に絞らなっかたことが原因として挙げられる．例えば「見定める」では今後の状況を明らかにする場合に，「突き止める」は現在の状況を明らかにする場合に用いる．このことが，人手による判断を容易にさせたと考える．また，形容詞の「だるい」と「けだるい」なども同様である．それ以外にはそれほど提案手法の結果と比べて差異がなかったことより，今後は概念識別子にも着目する必要があると考える．