被験者実験

3人の被験者実験の結果を表4.18と表4.19と表4.20に示す．また, BERTと最大エントロピー法の使い分けの性能を比較するため, 佐々本[3]の被験者実験をやり直した. その結果を表4.21と表4.22と表4.23に示す. 表4.18, 表4.20, 表4.21, 表4.23中の数値は置き換え可であると判断された回数である．また，表4.18の実験した副詞の対義語対の数は高が2個, 低が1個なので, それぞれ数値を1.5倍と3倍している. 同じく, 表4.21の実験した形容詞の高と副詞の低が2個なので, 数値を1.5倍している. 表4.19は表4.18の結果を，表4.22は表4.21の結果を3(分類ごとに実験した対義語対の数)×10(1組の対義語対の問題数)×3(被験者の人数)の90で割り，割合にしたものである．

Table 4.18: BERTの被験者実験の結果1

	名詞	動詞	形容詞	副詞	合計
高	36	31	35	25.5	127.5
中	60	37	52	27	176
低	57	29	48	33	167

Table 4.19: BERTの被験者実験の結果2

	名詞	動詞	形容詞	副詞	合計
高	0.40	0.34	0.39	0.28	0.35
中	0.67	0.41	0.58	0.30	0.49
低	0.63	0.32	0.53	0.37	0.46

Table 4.20: BERTの被験者実験の結果3

品詞	対義語対	分類分け	置き換え可
<#3576#>	「迎撃」「出撃」	<#3578#>	12
			「変数」「定数」
			「解散」「結成」
<#3584#>	「尋ねる」「答える」
			「遅れる」「進む」
			「許す」「禁じる」
<#3591#>	「近い」「遠い」
			「難い」「やすい」
			「鋭い」「鈍い」
<#3598#>	「少し」「たくさん」
			「うっすら」「はっきり」
<#3603#>	「当番」「非番」		<#3605#>
		「アマ」「プロ」
		「公設」「私設」
<#3610#>	「温める」「冷やす」
		「閉まる」「開く」
		「貸す」「借りる」
<#3617#>	「暖かい」「冷たい」
		「浅い」「不快」
		「速い」「遅い」
<#3624#>	「ぐずぐず」「はきはき」
		「わざと」「うっかり」
	「ぼんやり」「はっきり」
<#3632#>	「立秋」「立春」	<#3634#>	15
			「男声」「女声」
			「勝訴」「敗訴」
<#3640#>	「増える」「減る」
			「伸ばす」「曲げる」
			「固まる」「溶ける」
<#3647#>	「黒い」「白い」
			「女らしい」「男らしい」
			「憎い」「いとしい」
<#3654#>	「あっさり」「こってり」

表4.18と表4.19より，被験者実験と機械学習の性能を比較した結果，全体としては高と低は概ね機械学習の性能と対義語対の置き換えの可否に逆の相関がある． また，名詞と副詞は高から低に近づくほど置き換え可の数値が上がり，機械学習の性能と対義語対の置き換え可否に逆の相関がある．しかし, 動詞と形容詞に関しては逆の相関があると言えるが, 中の値が高より高くなっていた.

Table 4.21: 最大エントロピー法の被験者実験の結果1

	名詞	動詞	形容詞	副詞	合計
高	31	11	25.5	24	91.5
中	42	31	28	32	133
低	70	33	49	24	176

Table 4.22: 最大エントロピー法の被験者実験の結果2

	名詞	動詞	形容詞	副詞	合計
高	0.34	0.12	0.28	0.27	0.25
中	0.47	0.34	0.31	0.36	0.37
低	0.78	0.37	0.54	0.27	0.49

Table 4.23: 最大エントロピー法の被験者実験の結果3

品詞	対義語対	分類分け	置き換え可
<#3720#>	「着衣」「脱衣」	<#3722#>	10
		「迎撃」「出撃」
		「是認」「否認」
<#3730#>	「問う」「答える」		1
		「送る」「迎える」
		「恥じる」「誇る」
<#3740#>	「鋭い」「鈍い」		8
		「難い」「やすい」
<#3747#>	「少し」「たくさん」		11
		「こってり」「あっさり」
		「うっすら」「はっきり」
<#3757#>	「入社」「退社」	<#3759#>	8
			「新参」「古参」
			「賛成」「反対」
<#3765#>	「締める」「緩める」
			「預ける」「返す」
			「閉まる」「開く」
<#3772#>	「悪い」「よい」
			「柔らかい」「固い」
			「濃い」「薄い」
<#3779#>	「ちょっぴり」「どっさり」
			「わざと」「うっかり」
			「ぼんやり」「はっきり」
<#3786#>	「後輩」「先輩」	<#3788#>	24
			「文語」「口語」
			「増産」「減産」
<#3794#>	「遅らせる」「早める」
			「増える」「減る」
			「固まる」「溶ける」
<#3801#>	「柔らかい」「硬い」
			「長い」「短い」
			「細い」「太い」
<#3808#>	「ぐずぐず」「はきはき」
			「もう」「まだ」

表4.21と表4.22より，被験者実験と機械学習の性能を比較した結果，全体としては高と低は概ね機械学習の性能と対義語対の置き換えの可否に逆の相関がある． また，名詞と副詞は高から低に近づくほど置き換え可の数値が上がり，機械学習の性能と対義語対の置き換え可否に逆の相関がある．しかし, 副詞に関しては逆の相関があると言えるが, 中の値が高より高くなっていた.