実験結果と考察

手法1で行った実験の結果を表4.1に示す. 表4.1の各列は左から順に, 予測を行った年, 各年毎の正解率, データ総数, 利益(total), 損益が最低となったときの値(low), 買い注文の回数, 売り注文の回数, ベースライン手法の利益, ベースライン手法の損益が最低となったときの値である. 同様に手法2で行った実験の結果を表4.2に, 手法3で行った実験の結果を表4.3に示す. この結果をもとに有意差を検定した. 各年毎の利益と取引をしなかった場合(損益0)とを, 両側検定により有意差検定を行った. これらの結果を表4.4にまとめる. 手法１ではp値が0.046であり, 0.05以下であるので有意差がみられた.

実験結果より, 新聞のタイトル情報だけでも予測はできることが分かった. 手法2では他の手法と比較して利益が少なくなっているが, これはデータ数が少なかったことが原因であると考えられる. データ総数が手法1と手法3では2207であるのに対し, 手法2では819であるため, これらの数を揃えた場合手法2の利益が手法1より多くなることも考えられる.

表4.4より, 提案手法はベースラインと比較して利益は劣っているが1年間の損失の最大値は小さくなっている. また, 手法1では有意差ありとなっているので, 提案手法でもある程度の予測はできているといえる.

表: 手法1(すべての記事のタイトル)

年	正解率	総数(U,D,N)	total	low	買い	売り	Buy&Hold	low(B&H)
10	0.346	243(57,63,123)	728	-409	14	96	-381	-1776
11	0.453	245(47,60,138)	597	-136	25	77	-1897	-2214
12	0.524	248(53,52,143)	39	-95	9	34	1835	-271
13	0.351	245(88,69,88)	-464	-464	7	2	5687	-119
14	0.414	244(51,60,133)	1722	-21	92	15	1303	-2178
15	0.443	244(63,52,128)	2825	-442	35	58	1708	-517
16	0.392	245(69,65,111)	-178	-1376	23	33	296	-3866
17	0.657	248(38,33,177)	15	-614	18	10	3466	-1059
18	0.477	245(55,54,136)	672	-702	34	18	-2959	-3711
平均	0.451		661				1006

表: 手法2(「前日比」「前日終値比」を含む段落)

年	正解率	総数(U,D,N)	total	low	買い	売り	buy&hold	low(b&h)
10	0.393	89(22,24,43)	171	0	31	20	-381	-1776
11	0.300	100(20,26,54)	-197	-494	24	35	-1897	-2214
12	0.520	102(25,18,59)	-93	-275	18	13	1835	-271
13	0.365	107(44,27,36)	915	-431	28	18	5687	-119
14	0.361	86(19,20,47)	240	0	26	10	1303	-2178
15	0.396	91(24,16,51)	702	-451	39	3	1708	-517
16	0.462	104(30,30,44)	1844	-402	25	12	296	-3866
17	0.712	66(7,8,51)	710	0	3	7	3466	-1059
18	0.432	74(12,23,39)	-1775	-1775	15	19	-2959	3771
平均	0.438		279				1006

表: 手法3(すべての記事のタイトルと「前日比」「前日終値比」を含む段落)

年	正解率	総数(U,D,N)	total	low	買い	売り	buy&hold	low(b&h)
10	0.362	243(57,63,123)	1034	-409	18	90	-381	-1776
11	0.457	245(47,60,138)	892	-87	21	78	-1897	-2214
12	0.520	248(53,52,143)	36	-114	8	32	1835	-271
13	0.351	245(88,69,88)	-179	-230	8	3	5687	-119
14	0.414	244(51,60,133)	2016	-96	91	11	1303	-2178
15	0.447	244(63,52,128)	3355	-49	43	55	1708	-517
16	0.388	245(69,65,111)	-871	-1716	25	33	296	-3866
17	0.661	248(38,33,177)	-357	-734	16	11	3466	-1059
18	0.478	245(55,54,136)	1077	-432	32	18	-2959	-3711
平均	0.453		778				1006

表: 各手法での実験結果

入力文	正解率	総数	1年間の 平均利益(円)	1年間の損失 最大値(円)	t検定 p値
手法1	0.451	2207	661	-1375	0.046
手法2	0.438	819	279	-1775	0.207
手法3	0.453	2207	778	-1716	0.057
ベースライン			1006	-3866	0.143