データ数を同数に揃えた実験

機械学習の正解率の高さごとに類義語の組を分類した割合を表4.9に示す． データ数を同数に揃えた類義語の組ごとの提案手法，ベースライン手法，素性2のみの手法での正解率の結果を表4.10に示す． データ数を同数に揃えた提案手法，ベースライン手法の類義語の組ごとの正解率を類義語11組で比較した結果を表4.11に示す． データ数を同数に揃えた提案手法，素性2のみの手法の類義語の組ごとの正解率を類義語11組で比較した結果を表4.12に示す． 表4.11，表4.12における「差なし」とは，提案手法とベースライン手法，または素性2のみの手法の正解率の差が±0.01以内であった類義語の組の数を示す．「提案手法〇」は「差なし」以外であり，かつ提案手法の正解率の方が高かった類義語の組の数 「ベースライン手法〇」は「差なし」以外であり，かつベースライン手法の正解率の方が高かった類義語の組の数 「素性2のみの手法〇」は「差なし」以外であり，かつ素性2のみの手法の正解率の方が高かった類義語の組の数を示す．

表 4.9: データ数を同数に揃えた正解率の高さごとに分類した類義語の組

正解率	類義語の組
9割以上	「おかげ」「せい」「ため」
	「はっきり」「きっぱり」
	「おおよそ」「おおむね」
8割以上9未満	「発展」「発達」「進展」「進歩」
	「予想」「予測」
	「がっかり」「がっくり」
	「うっすら」「ぼんやり」
7割以上8未満	「場合」「時」「際」
	「言う」「話す」
	「作成」「作製」「制作」「製作」「製造」
6割以上7未満	「うろうろ」「ぶらぶら」

表 4.10: データ数を同数に揃えた，提案手法，ベースライン手法，素性2のみの手法の正解率

表 4.11: データ数を同数に揃えた提案手法とベースライン手法の類義語の組ごとの正解率の比較結果

提案手法○	11
ベースライン手法○	0
差なし	0

表 4.12: データ数を同数に揃えた提案手法と素性2のみの手法の類義語の組ごとの正解率の比較結果

提案手法○	7
素性2のみの手法○	4
差なし	0

表 4.13: データ数を同数に揃えた，提案手法，素性2のみの手法の比較

データ数を同数に揃えた実験において機械学習の結果，提案手法で正解し，素性2のみの手法では不正解だった文の数と提案手法で不正解であり，素性2のみの手法で正解した文の数を表4.13に示す．この結果を基にこの2つの手法の有意差を検定した．

表4.10のように正解率のマクロ平均は提案手法が0.81, ベースライン手法が0.42, 素性2のみの手法が0.78であった．提案手法の正解率はベースライン手法，素性2のみの手法の正解率より高かった．また，表4.11より，類義語11組全てで，ベースライン手法よりも正解率が高い結果であった．表4.12より類義語11組で提案手法と素性2のみの手法を比較すると，「提案手法○」が7組であり，「素性2のみの手法○」が4組であった．表4.13より「提案手法○素性2のみの手法×」の合計数と「提案手法×素性2のみの手法○」の合計数を用い二項分布に基づく片側検定の符号検定により有意水準5%で有意差があった．これにより，提案手法および機械学習で使用した素性は類義語の判別に十分有用であるといえる．

データ数を同数にしているのでベースライン手法の正解率は低くなった．また，データ数を類義語の組内で同数にすると，提案手法では類義語ごとの正解率に極端に差はなかった．また，得られる素性も類義語の組内で同程度得られた．