実験方法

獲得した対義語組について， 対義語の組ごとに対義語の使い分けの実験を行う． 入力文は，1991年から1995年，2011年から2015年の毎日新聞から獲得した，対義語の組のいずれかの語を含む文である． 評価は10分割のクロスバリデーションで行う． 再現率ごとに，高中低の3種類に分類する．高が90％以上，中が80％以上90％未満，低が80％未満である． 再現率が高のものは置き換えがしにくいもの，低のものは置き換えがしやすいもの，中のものはそれらの中間であるとする．

被験者実験についての説明をする．まず，対義語対の使い分けの実験を行う．機械学習で使用した文から対義語対ごとに10文ランダムに抽出し被験者に対義語の使い分けを行わせる．その際，被験者は対義語対のどちらかを選ぶのではなく対義語対のどちらかもしくは判断不可の3択の中から選ばせる．

次に，対義語対の置き換え可否の判断の実験を行う．被験者に使い分けの際，選ばなかった単語（対義語）を文章にあてはめさせる．その対義語に沿うように文を知識的な内容だけ逆に変更した時(直前直後の付属語，係り受け関係にある文中の格助詞は変更しない)， 対義語に置き換えれる場合，置き換え可(Y)を，置き換えできない場合は置き換え不可(N)を選択させる． また，使い分けの際，判断不可を選んだ場合は使い方の違いがないということなので置き換え可（Y）を選ばせる． また，使い分けの選択が間違っていた場合は間違えるほど使い方の違いがないということなので置き換えできると判断し，集計する際置き換え不可を選択していても置き換え可として集計する．実際の例文を表4.6に示す．左の()内が使い分けの実験の際に使う対義語対で，右の(Y-N)が対義語対の置き換え可否の実験に使うものである．

表: 被験者実験の例