多義性解消の結果

表5.3と表5.4の実験データを用いた実験の結果を表5.9と表5.10に示す．

表 5.9: semeval2の学習データのみの評価(ランダム)

30#30

「電話」は「手法1:SemEval2の学習データのみを利用する手法」と「手法3:言い換えによって増えた学習データのみを利用する手法」が一番良い正解率となった．「市場」と「前」は「手法1:SemEval2の学習データのみを利用する手法」が一番良い正解率となった．「子供」と「意味」と「はじめ」は「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」が一番良い正解率となった．

表 5.10: semeval2のテストデータのみの評価(ランダム)

30#30

「電話」と「前」は「手法1:SemEval2の学習データのみを利用する手法」一番良い正解率となった．「市場」と「子供」は「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」と「手法3:言い換えによって増えた学習データのみを利用する手法」が一番良い正解率となった．「意味」と「はじめ」は「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」が一番良い正解率となった．

表5.5と表5.6の実験データを用いた実験の結果を表5.11と表5.12に示す．

表 5.11: semeval2の学習データのみの評価(ランダムにして交換)

31#31

「電話」と「子供」と「前」は「手法1:SemEval2の学習データのみを利用する手法」が一番良い正解率となった．「市場」は「手法3:言い換えによって増えた学習データのみを利用する手法」が一番良い正解率となった．「意味」と「はじめ」は「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」が一番良い正解率となった．

表 5.12: semeval2のテストデータのみの評価(ランダムにして交換)

32#32

「電話」と「子供」は「手法1:SemEval2の学習データのみを利用する手法」が一番良い正解率となった．「市場」と「意味」は「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」が一番良い正解率となった．「はじめ」は「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」と「手法3:言い換えによって増えた学習データのみを利用する手法」が一番良い正解率となった．「前」は「手法1:SemEval2の学習データのみを利用する手法」と「手法2:SemEval2の学習データ＋言い換えによって増えた学習データを利用する手法」が一番良い正解率となった． 表5.9と表5.11の合計12回の実験結果をまとめた正解率の平均を表5.13に示す

表: semeval2の学習データのみの評価(名詞)

33#33

6単語全て，計12回の実験の正解率の平均では「手法1:SemEval2の学習データのみを利用する手法」が正解率0.725と最も良い正解率となった．

表5.10と表5.12の合計12回の実験結果をまとめた正解率の平均を表5.14に示す．

表: semeval2のテストデータのみの評価(名詞)

33#33

6単語全て，計12回の実験の正解率の平均では「手法1:SemEval2の学習データのみを利用する手法」が正解率0.738と最も良い正解率となった．

表5.14の結果をふまえ，SemEval2の学習データでの10分割クロスバリデーションによる手法選択(手法5)と4手法の結果を表5.15に示す．

表 5.15: semeval2のテストデータでの評価:6単語全て

34#34

表5.15より，「手法1:SemEval2の学習データのみを利用する手法」の正解率が0.733に対して，「手法5:クロスバリデーションによる手法選択」の正解率が0.757となっており，正解率が向上した．また，「手法5:クロスバリデーションによる手法選択」が最も良い正解率となった．