実験結果(小説)

小説を用いた実験では，実験の処理はコンピュータ上で扱うため，使用する小説は電子図書館青空文庫のテキストデータを用いた．学習データに夏目漱石の「草枕」(文間数2,204)，「坊ちゃん」(文間数2,175)，「吾輩は猫である」(文間数4,928)の3作品全て(文間数9,307)を，テストデータに夏目漱石の「それから」(文対数4,643) を用いて行った．実験には，新聞記事で用いた素性の組み合わせを使用し実験を行った．テストデータの各段落における文数を表したヒストグラムを図4.2に，テストデータの分類先の頻度を表4.6に，結果を表4.7に示す．

Figure 4.2: 小説のヒストグラム

80#80

Table 4.6: 分類先の頻度

分割位置	700
分割位置ではない箇所	3,943
合計	4,643

Table 4.7: 最大エントロピー法(小説)の実験結果

素性	正解率
55#55	0.8645
55#55+60#60	0.8650
55#55+63#63	0.8658
55#55+65#65	0.8658
58#58	0.8652
58#58+65#65	0.8656
59#59	0.8639
59#59+65#65	0.8637
ベースライン	0.8492

小説で段落分割を行った結果，段落分割の推定精度はベースラインの正解率が0.8492に対して，65#65に関する正解率以外で，学習データが55#55+63#63の場合の正解率は0.8658で最も高い数値であった．表4.7の結果をもとに，「ベースラインは正解であるが提案手法は不正解であった分割箇所」の数と，「ベースラインは正解であるが提案手法は不正解であった分割箇所」の数と「ベースラインは不正解であるが提案手法は正解であった分割箇所」の数の合計数を用い，二項分布に基づく有意水準0.05の符号検定(片側検定)で有意差検定を行った．有意差検定で得たp値を表4.8に示す．

Table 4.8: ベースラインとの有意差検定(MEMの小説)

素性	p値
55#55	1.11218672#7281#81
55#55+60#60	3.47123372#7282#82
55#55+63#63	1.04227672#7282#82
55#55+65#65	3.00575572#7273#73
58#58	2.09575672#7283#83
58#58+65#65	4.67236272#7283#83
59#59	1.35133472#7281#81
59#59+65#65	0.000001

表4.8より，それぞれの素性は全てベースラインの正解率と有意差があった．

また，55#55の正解率0.8645と，表4.7より55#55のみを除くそれぞれの正解率に対して，有意差を検定した．「55#55は正解であるが提案手法は不正解であった分割箇所」の数と，「55#55は正解であるが提案手法は不正解であった分割箇所」の数と「55#55は不正解であるが提案手法は正解であった分割箇所」の合計数を用い，二項分布に基づく有意水準0.05の符号検定(片側検定)を行った．有意差検定で得たp値を表4.9に示す．

Table: 76#76との有意差検定(MEMの小説)

素性	p値
55#55+60#60	0.444942
55#55+63#63	0.153728
55#55+65#65	0.230696
58#58	0.422685
58#58+65#65	0.354661
59#59	0.637573
59#59+65#65	0.659391

表4.9より，全て有意差はなかった．したがってどの素性も，最大エントロピー法を用いて小説の段落分割の推定を行う際に，推定精度の大きな向上に有用な素性の追加でないことが分かる．

また，小説での推定で最も数値が大きい55#55+63#63，55#55+65#65の正解率0.8658は，ベースラインの正解率と比較すると0.0166しか変わらない．ベースラインの数値が高いため，素性を追加しても推定精度の数値の向上が難しいのではないかと考えられる．