使い分けの実験結果

機械学習の再現率の高さごとに対義語の組を分類したものを表4.7に示す． それぞれの対義語ごとの結果を名詞は表4.8と表4.9，動詞は表4.10と表4.11，形容詞は表4.12と表4.13，副詞は表4.14に示す．

Table 4.7: 対義語の分類結果

	高	中	低
名詞	15	16	19
動詞	14	22	14
形容詞	4	23	19
副詞	2	3	1

Table 4.8: 名詞の対義語対の結果1

29#29

Table 4.9: 名詞の対義語対の結果2

30#30

Table 4.10: 動詞の対義語対の結果1

31#31

Table 4.11: 動詞の対義語対の結果2

32#32

Table 4.12: 形容詞の対義語対の結果1

33#33

Table 4.13: 形容詞の対義語対の結果2

34#34

Table 4.14: 副詞の対義語対の結果

対義語	再現率	データ数
うっすら	95.70%	397
はっきり	92.96%	397
ちょっぴり	84.10%	101
どっさり	82.12%	101
ぼんやり	86.93%	567
はっきり	87.15%	567
ぐずぐず	80.00%	50
はきはき	97.50%	50
うっかり	80.21%	475
わざと	86.95%	475
もう	83.50%	1000
まだ	86.40%	1000
たくさん	95.50%	1000
少し	94.60%	1000
こってり	78.46%	65
あっさり	80.00%	65

使い分けの実験の結果，表4.7より，名詞は格が変化しないので，文法的な使われ方の差がないと考えられ低が多くなることが予想された．予想どおり低が多く高が少ないという結果になった．動詞は格が変わることがあるので高が多くなると予想されたが，高がもっとも少なく中と低に多く分布した．形容詞は文法的な使われ方の差がないと考えられ低が多くなることが予想された．予想通り，低が少なく続いて中が多いという結果となった．副詞は実験対象の対義語対も少なく，あまり傾向が把握できない．

BERTと最大エントロピー法の再現率の平均を表4.15に示す．表4.16に対義語対ごとに, BERTが最大エントロピー法の再現率をを上回った個数を示す.

Table 4.15: BERTと最大エントロピー法の再現率の平均

	名詞	動詞	形容詞	副詞
BERT	83.08%	86.24%	82.60%	86.79%
最大エントロピー法	80.82%	82.33%	78.69%	85.63%

Table 4.16: BERTが最大エントロピー法の再現率をを上回った個数

	名詞	動詞	形容詞	副詞
BERT	40	45	42	5
合計	50	50	46	8

表4.16の結果を用いて, 二項分布に基づく片側検定の符号検定(有意水準5%)をを行い, 有意差を求める. その結果を表4.17に示す. p値が0.05より小さければ有意差があると判断される.

Table 4.17: 有意差検定

	名詞	動詞	形容詞	副詞
p値	0.00001193	0.00000000	0.00000000	0.36328125

表4.17より, 名詞, 動詞, 形容詞はBERTに有意差があると判断される. 副詞は対義語対の数が8個と少ないので, 有意差が得られなかったと考えられる.