機械学習の正解率の高さごとに類義語の組を分類した割合を表4.4に示す． データ数を出現率に合わせた類義語の組ごとの提案手法，ベースライン手法，素性2のみの手法での正解率を表4.5に示す．また，類義語の組のうち出現頻度が最も多かった語を下線で示す． データ数を出現率に合わせた提案手法，ベースライン手法の類義語の組ごとの正解率を類義語11組で比較した結果を表4.6に示す． データ数を出現率に合わせた提案手法，素性2のみの手法の類義語の組ごとの正解率を類義語11組で比較した結果を表4.7に示す． 表4.6，表4.7における「差なし」とは，提案手法とベースライン手法，または素性2のみの手法の正解率の差が±0.01以内であった類義語の組の数を示す．「提案手法〇」は「差なし」以外であり，かつ提案手法の正解率の方が高かった類義語の組の数 「ベースライン手法〇」は「差なし」以外であり，かつベースライン手法の正解率の方が高かった類義語の組の数 「素性2のみの手法〇」は「差なし」以外であり，かつ素性2のみの手法の正解率の方が高かった類義語の組の数を示す．
| 正解率 | 類義語の組 |
| 9割以上 | 「おかげ」「せい」「ため」 |
| 「はっきり」「きっぱり」 | |
| 「おおよそ」「おおむね」 | |
| 8割以上9未満 | 「場合」「時」「際」 |
| 「発展」「発達」「進展」「進歩」 | |
| 「予想」「予測」 | |
| 「がっかり」「がっくり」 | |
| 「うっすら」「ぼんやり」 | |
| 7割以上8未満 | 「言う」「話す」 |
| 「作成」「作製」「制作」「製作」「製造」 | |
| 6割以上7未満 | 「うろうろ」「ぶらぶら」 |
データ数を出現率に合わせた実験における機械学習の結果，提案手法で正解し，素性2のみの手法では不正解だった文の数と提案手法で不正解であり，素性2のみの手法で正解した文の数を表4.8に示す．この結果を基に，この2つの手法の有意差を検定した．
表4.5のように正解率のマクロ平均は提案手法が0.84, ベースライン手法が0.65, 素性2のみの手法が0.82であった．提案手法の正解率はベースライン手法や素性2のみの手法の正解率より高かった．また，表4.6より，類義語11組全てで，ベースライン手法よりも正解率が高い結果であった．表4.7より類義語11組で提案手法と素性2のみの手法を比較すると，「提案手法○」が5組であり，「素性2のみの手法○」が2組であり，「差なし」が4組であった．表4.8より「提案手法○素性2のみの手法×」の合計数と「提案手法×素性2のみの手法○」の合計数を用い二項分布に基づく片側検定の符号検定により有意水準5%で有意差があった．これにより，提案手法および機械学習で使用した素性は類義語の判別に十分有用であるといえる．
今回設定したベースライン手法は類義語の組における，出現頻度が最も多い語を全て分類先とするものなので，データ数を出現率に合わせた実験では出現頻度に極端に差があるとベースライン手法での正解率が極端に良くなる．しかし，類義語の組内で出現頻度が極端に少ない語については機械学習による素性も少なくなってしまい，正解率も極端に低くなる．また，使い分けに役立つ素性も多く得られなかった．
