実験結果(新聞記事)

新聞記事を使用した推定実験の結果を表4.22に示す.



Table 4.22: SVM(新聞記事)の実験結果
  正解率
素性 2,500 5,000 10,000
55#55 0.6683 0.6642 0.6651
55#55+60#60 0.6737 0.6693 0.6684
55#55+63#63 0.6703 0.6645 0.6679
55#55+65#65 0.7216 0.7185 0.7134
58#58 0.6716 0.6763 0.6737
58#58+65#65 0.7391 0.7457 0.7424
59#59 0.6702 0.6777 0.6788
59#59+65#65 0.7411 0.7447 0.7474
ベースライン 0.6743

サポートベクトルマシン法を用いて新聞記事で段落分割を行った結果,段落分割の推定精度はベースラインの正解率が0.6743に対して,65#65に関する正解率以外で,学習データが文間数10,000の59#59の正解率0.6788が最も高い数値であり,唯一ベースラインの正解率より高い.

また表4.22の結果をもとに,ベースラインとベースラインの数値を上回る59#59と65#65に関する素性の文間数10,000の正解率との有意差を検定した.「ベースラインは正解であるが提案手法は不正解であった分割箇所」の数と,「ベースラインは正解であるが提案手法は不正解であった分割箇所」の数と「ベースラインは不正解であるが提案手法は正解であった分割箇所」の数の合計数を用い,二項分布に基づく有意水準0.05の符号検定(片側検定)を行った.有意差検定で得たp値を表4.23に示す.


Table 4.23: ベースラインとの有意差検定(SVMの新聞記事)
素性 p値
55#55+65#65 3.54649672#72102#102
58#58+65#65 5.04662172#72106#106
59#59 0.177926
59#59+65#65 1.76603672#7288#88

4.23より,6に関する素性は全てベースラインと有意差があったが,59#59の正解率はベースラインに対して有意差はなかった.

またベースラインを下回る素性の文間数10,000の正解率とベースラインの有意差を検定した.「提案手法は正解であるがベースラインは不正解であった分割箇所」の数と,「提案手法は正解であるがベースラインは不正解であった分割箇所」の数と「提案手法は不正解であるがベースラインは正解であった分割箇所」の数の合計数を用い,二項分布に基づく有意水準0.05の符号検定(片側検定)を行った.有意差検定で得たp値を表4.24に示す.


Table 4.24: ベースラインを下回る素性の有意差検定(SVMの新聞記事)
素性 p値
55#55 0.035423
55#55+60#60 0.122406
55#55+63#63 0.104193
58#58 0.459117

4.24より,ベースラインは55#55の正解率に対して有意差があり,55#55以外に対しては有意差がなかった.

また,文間数10,000の55#55の正解率0.6651と表4.22より55#55のみを除く文間数10,000の正解率に対して,有意差を検定した.「55#55は正解であるが提案手法は不正解であった分割箇所」の数と,「55#55は正解であるが提案手法は不正解であった分割箇所」の数と「55#55は不正解であるが提案手法は正解であった分割箇所」の合計数を用い,二項分布に基づく有意水準0.05の符号検定(片側検定)を行った.有意差検定で得たp値を表4.25に示す.


Table: 76#76との有意差検定(SVMの新聞記事)
素性 p値
55#55+60#60 0.103111
55#55+63#63 0.086291
55#55+65#65 1.44682472#72107#107
58#58 0.025572
58#58+65#65 9.80133872#7285#85
59#59 0.001844
59#59+65#65 5.15987572#72108#108
 

4.25より,55#55+60#60と55#55+63#63は55#55に対して有意差がなく,他は有意差があった.

65#65に関する素性ベースラインとの有意差はなかったが,サポートベクトルマシン法で文間箇所の直前直後2文,直前直後3文の全単語を追加することは,55#55と比べて正解率は上がっており,推定精度の向上に役立っていることが分かる.