next up previous contents
次へ: 離散HMMのパラメータ推定 上へ: HMMの学習 戻る: HMMの学習   目次

Baum-Welch アルゴリズム

観測系列の生成確率を最大にするモデル$ \lambda$ のパラメータの局所的最適値 を求める方法として,Baum-Welchアルゴリズムがある. 再推定には,前章で述べたForwardアルゴリズムを出力信号系列において前と後 ろから使用する.これをforward-backwardアルゴリズ厶とよぶ.

具体的に示す.モデルには2.5で述べたMを使用する.学習用音声として, $ N $ 個の観測符号ベクトル系列 $ \{y_{1}^{T(n)} = y_{1} , y_{2} ,
\cdots , y_{T(n)} \}_{n=1}^N $ が与えられ たとき,尤度である

$\displaystyle \prod_{n=1}^{N} P( y_{1}^T(n) \vert \pi_{i}, a_{ij}, b_{ij}(k) )$ (35)

を最大化するパラメータセット $ \{ \hat{\pi_{i}} , a_{ij} , b_{ij}(k) \}$ を 推定する.以下に手順を示す.
  1. モデルMにおいて前章で述べたfarward変数 $ \alpha(i,t))$ を用いて,farwardアルゴリズ厶に より尤度 $ P (y_{1}^t \vert M)$ を出す.
  2. backward変数 $ \beta(i,t)$ を出す.
    backward変数とは[ $ \beta(i,t)$ :]時刻$ t$ に状態$ s_{i}$ にあって,以後符号ベクトル $ y_{t+1}^T$ を出力する確率である.以下に式を示す.

    $\displaystyle \beta (i,T) = \left\{ \begin{array}{ll} 1 & s_{i} \in F \\ 0 & s_{i} \notin F \end{array} \right.$ (36)

    $\displaystyle \beta (i,t) = \sum_{j} a_{ij} b_{ij} (y_t) \beta (j,t+1) \quad (t = T, T-1, \cdots ,1;i=1,2, \cdots ,S)$ (37)

  3. シンボル生成過程で,時刻tに状態$ j$ いる確率 $ \gamma(i,j,t)$ を出す.
    $ \gamma(i,j,t)$ :
    モデル$ M $$ y_{1}^T$ を出力する場合において,時刻 tに状態$ s_{i}$ から状態$ s_{j}$ へ遷移し符号ベクトル$ y_t$ を出力 する確率.farward変数 $ \alpha(i,t)$ ,backward変数 $ \beta(i,t)$ ,パラ メータセットそしてfarwardアルゴリズ厶においての尤度 $ P (y_{1}^t \vert M)$ を用 いて表す.

    $\displaystyle \gamma (i, j, t) = \frac{ \alpha (i,t-1) a_{ij} b_{ij}(y_t) \beta (j,t)}{P (y_{1}^t \vert M)}$ (38)

  4. パラメータ$ pi_i $ , $ a_ij $ , $ b_ij(k) $ を,以下のような再推定式によって求める.

    $\displaystyle \hat{\pi_{ij}} = \frac{ \sum_{j} \gamma (i, j, 1) }{ \sum_{i} \sum_{j} \gamma (i, j, 1) }$ (39)

    $\displaystyle \hat{a_{ij}} = \frac{ \sum_{t=1}^T \alpha (i, t-1) a_{ij} b_{ij}(...
...t) } = \frac{ \sum_{t} \gamma (i, j, 1) }{ \sum_{t} \sum_{j} \gamma (i, j, t) }$ (40)

    $\displaystyle \hat{b_{ij}} = \frac{ \sum_{t, y_t = k} \gamma (i, j, t) }{ \sum_{t} \gamma (i, j, t) }$ (41)

実際は,すべての学習サンプルに対してこの計算を行ってから,1回パラメー タを更新するというサイクルを,値が収束するまで繰り返す.

本研究では,HMM初期モデルの再推定に使用されている.

例として図2を用いる.HMMの出力シンボルが''abb''であ る場合にBaum-Welch アルゴリズムをかけ,遷移確率,出現確率を1回再推定行った 結果を示す.計算過程を付録として示す.
図 6: Baum-Welch アルゴリズムを行ったHMM例
\resizebox{10cm}{!}{\includegraphics{hmm0303.eps}}


next up previous contents
次へ: 離散HMMのパラメータ推定 上へ: HMMの学習 戻る: HMMの学習   目次
平成20年5月16日