人手による評価実験

筆者が人手による評価実験を行った．あらかじめ単語対から連想する語句を人手で30個用意する．その連想語句と最大エントロピー法と符号検定で得た単語対の素性の一致数を表5.2に示す． 次に最大エントロピー法と符号検定で収集した単語対の素性100個を先述した評価基準(表3.1)を基に評価した結果を表5.3に示す． 評価実験の比率を表5.4に示す． また，その単語対別の評価例を表5.5，表5.6，表5.7，表5.8，表5.9，表5.10，表5.11，表5.12に示す． 表5.2より人が連想した単語対の連想語句は最大エントロピー法で得た単語対の素性よりも符号検定で得た単語対の素性の方が一致数が多いことがわかった．表5.3では，人が役に立つと考える単語対の素性は符号検定よりも最大エントロピー法の方が多く収集できていることがわかる．つまり，人が連想できる一般的な素性の収集においては符号検定の方が最大エントロピー法よりも優れており，新たな知見や役に立つ知見につながりやすい素性の収集は最大エントロピー法であるということがわかった． 表5.3の結果における最大エントロピー法と符号検定の各単語対の◎の個数に有意差があるかを調べるために，t検定の両側検定による有意差検定を行った．p値が 0.0473であり有意水準5%以下であるので有意差がみられた．

Table 5.2: 連想語句一致数

単語対	ME	符号検定
政治	6	15
経済	11	18
輸入	4	6
輸出	2	9
社会主義	15	14
資本主義	12	12
オリンピック	3	2
パラリンピック	10	14
平均	7.9	11.3

Table 5.3: 評価結果

	ME			符号検定
単語対	◎	○	×	◎	○	×
政治	19	66	15	5	67	28
経済	14	63	23	11	75	14
輸入	14	67	19	10	75	15
輸出	24	60	16	2	87	11
社会主義	6	73	21	3	67	30
資本主義	10	59	31	15	48	37
オリンピック	6	58	36	5	73	22
パラリンピック	18	57	25	6	65	29
平均	13.9	62.9	23.3	7.1	69.6	23.3

Table 5.4: 評価実験の比率

ME			符号検定
◎	○	×	◎	○	×
0.14	0.63	0.23	0.07	0.70	0.23

Table 5.5: 政治

ME			符号検定
◎	○	×	◎	○	×
パーティー	家	視野	パーティー	家	それ
ミサイル	官僚	おき	虚偽	国民	私
ネット	省庁	諸	トランプ	政党	何
水俣病	法的	本当	発言	与野党	変

Table 5.6: 経済

ME			符号検定
◎	○	×	◎	○	×
APEC	大国	出さ	日銀	危機	野球
インフレ	課	基礎	原油	悪化	など
EPA	好転	明かし	資源	エネルギー	化
アベノミクス	統計	訪れ	アベノミクス	緩和	・

Table 5.7: 輸入

ME			符号検定
◎	○	×	◎	○	×
LNG	物価	池	トランプ	業者	い
銃	規制	袋	アルミニウム	関税	回収
仮想	原材料	学生	インフルエンザ	原材料	患者

Table 5.8: 輸出

ME			符号検定
◎	○	×	◎	○	×
精液	OPEC	相違	債務	危機	感
受精卵	国税局	ホワイト	レアアース	市場	実質
コレラ	半導体	工		半導体	前日

Table 5.9: 社会主義

ME			符号検定
◎	○	×	◎	○	×
ナチス	国	彼ら	左派	国	圏
東西	市民	ほとんど	中国共産党	統一	ら
保障	政党	基本	キューバ	政治	年

Table 5.10: 資本主義

ME			符号検定
◎	○	×	◎	○	×
バブル	文明	なき	バブル	経済	なき
競争	課税	東側	格差	利潤	べき
日本	金融	ず	欲望	金融	ます

Table 5.11: オリンピック

ME			符号検定
◎	○	×	◎	○	×
赤字	IOC	ダム	憲章	IOC	副
ロボット	NOC	猫	アカデミー	処分	ファイル

Table 5.12: パラリンピック

ME			符号検定
◎	○	×	◎	○	×
WADA	JPC	弱	ボッチャ	義足	個
アルペンスキー	車椅子	提出	アルペンスキー	JPC	立