学習データ量と平均文生成確率の関係

ここでは、Ergodic HMMに必要な学習データ量を調べるために、学 習データ量を変化させたときの平均文生成確率の変化を調べた。な お平均文生成確率とは各文についてforwardアルゴリズムによって 計算された対数確率の平均値と定義した。実験ではデータベースの 8000文を奇数番目の文のsetと偶数番目の文のsetとに分け、奇数番 目の先頭から1000文のset、先頭から2000文のset、4000文のsetの 計3setを2状態、4状態、8状態のErgodic HMMに学習させた。またテ ストデータとして偶数番目の4000文(つまりtext-open data)を用い た。なお、Baum-Welchの学習の結果、単語の出力確率が$0.0$になっ た場合、$10^{-5}$に置き換えた。