有意差検定

4種類の学習データを利用する手法と10分割クロスバリデーションを利用する手法の計5 種類の手法の性能の実験結果につい て，統計的に有意差があるかを調べた．6単語すべての計12回の実験での 600 事例を利用して，符号検定を行った． 表5.16に有意差検定の結果を示す．

表: 有意差検定結果

35#35

表5.16より，「手法5:クロスバリデーションによる手法選択」と「手法1:SemEval2の学習データのみを利用する手法」または「手法3:言い換えによって増えた学習データのみを利用する手法」または「手法4:SemEval2の学習データの最頻出語義を常に出力する手法」では，有意水準0.05 の符号検定（片側検定と両側検定の両方）で有意差があった．また，「手法1:SemEval2の学習データのみを利用する手法」と「手法2:SemEval2の学習データ+言い換えによって増えた学習データを利用する手法」，または「手法2:SemEval2の学習データ+言い換えによって増えた学習データを利用する手法」と「手法5:クロスバリデーションによる手法選択」では，有意水準0.05 の符号検定（片側検定）で有意差がなかった．しかし，「手法2:SemEval2の学習データ+言い換えによって増えた学習データを利用する手法」と「手法5:クロスバリデーションによる手法選択」では，有意水準0.05 の符号検定（両側検定）では，有意差があった．他の組み合わせは，有意水準0.05 の符号検定（片側検定）で有意差があった．