BERTと最大エントロピー法の被験者実験の考察

BERTと最大エントロピー法の再現率と, 被験者実験の置き換え可の値との相関係数を求めた. その結果を表5.23に示す.

Table 5.23: BERTと最大エントロピー法の相関係数

	名詞	動詞	形容詞	副詞	合計
最大エントロピー法	-0.8130	-0.6489	-0.5785	-0.0720	-0.5503
BERT	-0.5751	-0.3738	-0.5355	-0.1904	-0.5092

最大エントロピー法とBERTの合計には, 逆の相関があるように見える. しかし, 本当に再現率と被験者実験の置き換え可否との間に, 相関があるかわからない. そこで, 表5.23の結果を用いて, 無相関検定(有意水準5%)を行う. まず, 最大エントロピー法の合計の結果で無相関検定を行い, その結果を表5.24に示す. p値が0.05より小さければ有意差があると判断される.

Table 5.24: 最大エントロピー法の無相関検定の結果

相関係数	-0.55032
データ数	34
t値	3.728486
p値	0.000746

表5.24より, p値が0.05より小さいので, 有意差があると判断される. よって, 最大エントロピー法の再現率と被験者実験の置き換え可の値との間に, 有意な逆の相関があることが分かる. 次に, BERTの合計の結果で無相関検定を行い, その結果を表5.25に示す.

Table 5.25: BERTの無相関検定の結果

相関係数	-0.50915
データ数	33
t値	3.293689
p値	0.002478

表5.25より, p値が0.05より小さいので, 有意差があると判断される. よって, 最大エントロピー法の再現率と被験者実験の置き換え可の値との間に, 有意な逆の相関があることが分かる. さらに, 最大エントロピー法とBERTとの相関係数の間に有意差があるかを, 相関係数の差の検定(有意水準5%)で調べる. その結果を表5.26に示す.

Table 5.26: 相関係数の差の検定の結果

	最大エントロピー法	BERT
相関係数	-0.55032	-0.50915
データ数	34	33
z変換値	-0.61884	-0.56158
p値		0.223572

表5.26より, p値が0.05より大きいので, 最大エントロピー法とBERTの相関係数の間に有意差がないと判断される. したがって, BERTは最大エントロピー法と同様に, 逆の相関があることが確認できた.