Ergodic HMMのパラメータの初期値の違いによる生成されるモデルの変化を研究 するために、初期値の異なる8状態Ergodic HMMを8個用意し、odd4000を学習させ た。初期値が異なること以外はすべて同一条件で学習を行ない、パラメータの再 推定回数20回を学習の終了条件とした。初期パラメータは 9.2.3 節で示した方法で決定した。
表 9.21 に学習終了後の各Ergodic HMMのエントロピー、 学習データodd4000の平均尤度、音声認識に用いた場合のtext-closed dataに 対する認識率などを示す。表中、一番左は各Ergodic HMMを区別するために番 号をつけた。なお表中の1は、 3 節で得られた、学 習終了条件を尤度の上昇率1%未満にした場合の結果である。
| 学習回数 | エントロピー | 平均尤度 | 認識率 | |||
| 初期状態 | 学習後 | 初期状態 | 学習後 | |||
| 1 | 749 | 12.61 | 5.99 | -126.39 | -62.93 | 47.3% |
| 2 | 20 | 6.21 | -126.53 | -64.48 | 42.1% | |
| 3 | 20 | 6.14 | -126.36 | -64.36 | 39.5% | |
| 4 | 20 | 6.03 | -126.43 | -63.68 | 44.7% | |
| 5 | 20 | 6.27 | -126.10 | -64.71 | 34.2% | |
| 6 | 20 | 6.09 | -126.41 | -64.95 | 36.8% | |
| 7 | 20 | 6.10 | -126.24 | -64.06 | 36.8% | |
| 8 | 20 | 6.16 | -126.47 | -64.62 | 39.5% | |
| 9 | 20 | 6.13 | -126.32 | -65.07 | 31.6% | |
表 9.21 から、パラメータの初期値によって、生成さ れたモデルのエントロピーや平均尤度が異なることがわかる。これを音声認識 の言語モデルに用いた場合、学習回数の異なる1を除いた8種のErgodic HMM間 で、認識率の最高値(4のErgodic HMM)と最低値(9のErgodic HMM)の差は約 13%(5文)と、初期モデルの違いでかなりの違いが見られる。
なお、学習後の平均尤度と認識率の関係を図 9.17 に示す。
学習させた回数が20回で十分でなかったことやデータが8種類しかないことなどから明確ではないが、図 9.17 から、エントロピーと Ergodic HMM には相関があることがわかる。
