実験方法
最大エントロピー法の推定実験では,3.3.1節の素性を用い,それぞれを組み合わせて実験を行う.3.3.1節で説明した素性を表4.1に示す.
Table 4.1:
素性
55#55 |
文と文の間の箇所(以下「文間箇所」)の直前の1文と直後の1文にある全単語 |
58#58 |
文間箇所の直前の2文と直後の2文にある全単語 |
59#59 |
文間箇所の直前の3文と直後の3文にある全単語 |
60#60 |
文間箇所の直前1文と直後の1文の文頭の単語 |
63#63 |
文間箇所の直前,直後の2文中の同単語の出現数 |
65#65 |
段落情報 |
3.3.1節でも記述したが,65#65段落情報の追加について,実際のデータでの段落情報の有無を素性としているため容易に推定精度が上がることが分かる.実験は推定結果の数値を確認するために行うが,考察では65#65段落情報の追加については取り扱わない.
入力文は,毎日新聞と小説を用いて,別々に実験を行う.実験のベースライン手法は,全ての文間箇所が分割位置ではない(段落ではない)と判断する方法とし,提案手法とベースライン手法の性能の比較を行う.また,文間箇所の数を文間数と表す.