新聞記事を使用した推定実験の結果を表4.22に示す.
正解率 | |||
素性 | 2,500 | 5,000 | 10,000 |
55#55 | 0.6683 | 0.6642 | 0.6651 |
55#55+60#60 | 0.6737 | 0.6693 | 0.6684 |
55#55+63#63 | 0.6703 | 0.6645 | 0.6679 |
55#55+65#65 | 0.7216 | 0.7185 | 0.7134 |
58#58 | 0.6716 | 0.6763 | 0.6737 |
58#58+65#65 | 0.7391 | 0.7457 | 0.7424 |
59#59 | 0.6702 | 0.6777 | 0.6788 |
59#59+65#65 | 0.7411 | 0.7447 | 0.7474 |
ベースライン | 0.6743 |
サポートベクトルマシン法を用いて新聞記事で段落分割を行った結果,段落分割の推定精度はベースラインの正解率が0.6743に対して,65#65に関する正解率以外で,学習データが文間数10,000の59#59の正解率0.6788が最も高い数値であり,唯一ベースラインの正解率より高い.
また表4.22の結果をもとに,ベースラインとベースラインの数値を上回る59#59と65#65に関する素性の文間数10,000の正解率との有意差を検定した.「ベースラインは正解であるが提案手法は不正解であった分割箇所」の数と,「ベースラインは正解であるが提案手法は不正解であった分割箇所」の数と「ベースラインは不正解であるが提案手法は正解であった分割箇所」の数の合計数を用い,二項分布に基づく有意水準0.05の符号検定(片側検定)を行った.有意差検定で得たp値を表4.23に示す.
表4.23より,6に関する素性は全てベースラインと有意差があったが,59#59の正解率はベースラインに対して有意差はなかった.
またベースラインを下回る素性の文間数10,000の正解率とベースラインの有意差を検定した.「提案手法は正解であるがベースラインは不正解であった分割箇所」の数と,「提案手法は正解であるがベースラインは不正解であった分割箇所」の数と「提案手法は不正解であるがベースラインは正解であった分割箇所」の数の合計数を用い,二項分布に基づく有意水準0.05の符号検定(片側検定)を行った.有意差検定で得たp値を表4.24に示す.
表4.24より,ベースラインは55#55の正解率に対して有意差があり,55#55以外に対しては有意差がなかった.
また,文間数10,000の55#55の正解率0.6651と表4.22より55#55のみを除く文間数10,000の正解率に対して,有意差を検定した.「55#55は正解であるが提案手法は不正解であった分割箇所」の数と,「55#55は正解であるが提案手法は不正解であった分割箇所」の数と「55#55は不正解であるが提案手法は正解であった分割箇所」の合計数を用い,二項分布に基づく有意水準0.05の符号検定(片側検定)を行った.有意差検定で得たp値を表4.25に示す.
表4.25より,55#55+60#60と55#55+63#63は55#55に対して有意差がなく,他は有意差があった.
65#65に関する素性ベースラインとの有意差はなかったが,サポートベクトルマシン法で文間箇所の直前直後2文,直前直後3文の全単語を追加することは,55#55と比べて正解率は上がっており,推定精度の向上に役立っていることが分かる.