Baum-Welch アルゴリズム

観測系列の生成確率を最大にするモデル$\lambda$ のパラメータの局所的最適値 を求める方法として，Baum-Welchアルゴリズムがある． 再推定には，前章で述べたForwardアルゴリズムを出力信号系列において前と後 ろから使用する．これをforward-backwardアルゴリズ厶とよぶ．

具体的に示す．モデルには2.5節で述べたMを使用する．学習用音声として， $N$ 個の観測符号ベクトル系列 $\{y_{1}^{T(n)} = y_{1} , y_{2} , \cdots , y_{T(n)} \}_{n=1}^N$ が与えられ たとき，

尤度である

$$\prod_{n=1}^{N} P( y_{1}^T(n) \vert \pi_{i}, a_{ij}, b_{ij}(k) )$$ (37)

を最大化するパラメータセット $\{ \hat{\pi_{i}} , a_{ij} , b_{ij}(k) \}$ を 推定する．以下に手順を示す．

1. モデルMにおいて前章で述べたforward変数 $\alpha(i,t)$ を用いて，forwardアルゴリズ厶に より尤度 $P (y_{1}^t \vert M)$ を出す．
2. backward変数 $\beta(i,t)$ を出す．

   backward変数とは[ $\beta(i,t)$ :]時刻$t$ に状態$s_{i}$ にあって，以後符号ベクトル $y_{t+1}^T$ を出力する確率である．以下に式を示す．

   $$\beta (i,T) = \left\{ \begin{array}{ll} 1 & s_{i} \in F \\ 0 & s_{i} \notin F \end{array} \right.$$ (38)

   
   

   $$\beta (i,t) = \sum_{j} a_{ij} b_{ij} (y_t) \beta (j,t+1) \quad (t = T, T-1, \cdots ,1;i=1,2, \cdots ,S)$$ (39)

   
   

3. シンボル生成過程で，時刻tに状態$j$ いる確率 $\gamma(i,j,t)$ を出す．

   $\gamma(i,j,t)$ :

   モデル$M$ が$y_{1}^T$ を出力する場合において，時刻 tに状態$s_{i}$ から状態$s_{j}$ へ遷移し符号ベクトル$y_t$ を出力 する確率．farward変数 $\alpha(i,t)$ ，backward変数 $\beta(i,t)$ ，パラ メータセットそしてfarwardアルゴリズ厶においての尤度 $P (y_{1}^t \vert M)$ を用 いて表す．

   
   

   $$\gamma (i, j, t) = \frac{ \alpha (i,t-1) a_{ij} b_{ij}(y_t) \beta (j,t)}{P (y_{1}^t \vert M)}$$ (40)

   
   

4. パラメータ$pi_i$ , $a_ij$ , $b_ij(k)$ を，以下のような再推定式によって求める．
   

   $$\hat{\pi_{ij}} = \frac{ \sum_{j} \gamma (i, j, 1) }{ \sum_{i} \sum_{j} \gamma (i, j, 1) }$$ (41)

   
   

   $$\hat{a_{ij}} = \frac{ \sum_{t=1}^T \alpha (i, t-1) a_{ij} b_{ij}(... ...t) } = \frac{ \sum_{t} \gamma (i, j, 1) }{ \sum_{t} \sum_{j} \gamma (i, j, t) }$$ (42)

   
   

   $$\hat{b_{ij}} = \frac{ \sum_{t, y_t = k} \gamma (i, j, t) }{ \sum_{t} \gamma (i, j, t) }$$ (43)

   
   

実際は，すべての学習サンプルに対してこの計算を行ってから，1回パラメー タを更新するというサイクルを，値が収束するまで繰り返す．

本研究では，HMM初期モデルの再推定に使用されている．