本節では、Ergodic HMMと確率つきネットワーク文法が類似した構造を持ち、 同種のパラメータで表現されること、さらに大量のテキストデータを学習デー タとし、Baum-Welch アルゴリズム （2.1.6節参照）で HMMのパラメータを学習することで、Ergodic HMMによる言語のモデル化の検 討を行なった。
9.2.1節で、Ergodic HMMに品詞情報を持たない 単語列を学習させ、学習後のHMMを解析した結果、 Ergodic HMMの構造は学習データの特徴をとらえた文法的な特徴を示しており、 単語を文中での機能によって分類して出力していることがわかった。また、 Ergodic HMMの状態数が増えるほど詳細な表現が可能となり、より精密な単語 の分類を行なっていることがわかった。
9.2.4.2節で平均尤度を研究した結果、text-open dataも text-closed dataと大差なく生成されることから、Ergodic HMMが学習によって一般 性のある文法を生成していることがわかった。また、状態数が増えることによ り、言語モデルの複雑さの指標となるエントロピーが改善されることがわかっ た。
以上のことから、Ergodic HMMを用いてテキストデータから一般性のある確率 つきネットワーク文法を自動生成し、単語を分類できる可能性が示された。ま た、一般性のあるよりよいモデルを得るためには、Ergodic HMMの状態数を増 やし大量の言語データで学習する必要があることが示された。
9.2.5節で、得られたErgodic HMMを言語モデルとして用いて、 連続音声認識実験を行なった結果、text-open data、text-closed dataともに言語モデル のない場合に比べ認識率が向上することが得られ、HMMが獲得した文法は連続 音声認識に有効であることが示された。
9.2.5.3節では、HMMの学習に問題になる初期パラメータの 変化によるモデル化の違いについて研究した。その結果、生成されるモデルは初 期モデルによって異なり、それらのモデルを使った文認識実験では、認識率の 差は最高値と最低値で約13%の違いが見られることが示された。この結果、初 期パラメータの設定法が重要であることが明らかになった。また文認識率とモ デルの尤度には相関が見られ、尤度の高いモデルほど文認識率は向上する傾向 が見られた。