next up previous contents
次へ: 連続音声認識実験 上へ: Ergodic HMMを用いた確率つきネットワーク文法の獲得 戻る: 状態数と値を持つシンボル出力の数   目次

エントロピー

Ergodic HMMの状態数の増加にともなうエントロピーの変化を、本手法で提案したアルゴリズムを用いた 場合と通常のBaum-Welchアルゴリズムを用いた場合の両者を図 9.21 に 示した。比較のために単語bigramおよび単語trigramのエントロピーも載せた。

通常のBaum-Welchアルゴリズムを用いた実験では、コンピュータのメモリーの制限から状態数32ま でしか計算ができなかった。一方、本手法で提案したアルゴリズムは、状態数512でも学習可能で あった。また、状態数32まで、通常のBaum-Welchアルゴリズムを用いて学習したときのエントロピー と本手法において学習したときのエントロピーがほほ同一であることから、本手法において学習したパラメータ と通常のBaum-Welchアルゴリズムを用いて学習したパラメータには、大きな差がないことが示された。

また、状態数128以上でErgodic HMMのエントロピーが単語bigramより低くな ることがわかる。

図 9.21: 状態数に対するエントロピーの変化
\begin{figure}\begin{center}
\fbox{\epsfile{file=Ergodic-HMM/Large-State/figure2.ps,width=100mm}}\end{center}\end{figure}



Jin'ichi Murakami 平成13年1月5日