Baum-Welchアルゴリズム

観測系列の生成確率を最大にするモデル$\lambda$ のパラメータの局所的最適値 を求める方法として，Baum-Welchアルゴリズム(パラメータ再推定法)がある．

モデル$\lambda$ が観測系列 $O=o_1,o_2,\cdots,o_T$ を生成する場合において， 時刻$t$ で状態$i$ から状態$j$ に遷移する確率$xi_t(i,j)$ を次のように定義する．

$$\xi_t(i,j) = P(s_{t-1}=i,s_t=j\vert O,\lambda)$$

$$= \frac{\alpha_{t-1}(i)a_{ij}b_{ij}(o_t)\beta_t(j)}{P(O\vert\lambda)} ~~~~~(1\leq t\leq T)$$ (47)

ここで，シンボル生成課程で，時刻$t$ で状態$j$ にいる確率 $\gamma_t(j)$ を定 義する．

$$\gamma_t(j) = P(s_t=j\vert O,\lambda)$$

$$= \sum^{N}_{i=1}\xi_t(i,j) ~~~~~(1<\leq t\leq T)$$ (48)

この $\gamma_t(i)$ と $xi_t(i,j)$ からモデル$\lambda$ の再推定( $\lambda→ \overline{\lambda}$ )を次のように行う．

1. 初期状態確率
   

   $$\overline{\pi}_i=\gamma_0(i)=\frac{\alpha_0(i)\beta_0(i)}{P(O\vert\lambda)} ~~~~~(1\leq i\leq N)$$ (49)

   
   

2. 状態遷移確率
   

   $$\overline{a}_ij=\frac{\sum^T_{t=1}\xi_t(i,j)}{\sum^{T}_{t=1}\gamm... ...t-1}(i)a_{ij}b_{ij}(o_t)\beta_t(j)} {\sum^T_{t=1}\alpha_{t-1}(i)\beta_{t-1}(i)}$$ (50)

   
   
3. シンボル出力確率
   

   $$\overline{b}_{ij}(O_t)=\frac{\sum_{t\in(o_t=v_k)}\xi_t(i,j)} {\su... ...b_{ij}(o_t)\beta_t(j)} {\sum^T_{t=1}\alpha_{t-1}(i)a_{ij}b_{ij}(o_t)\beta_t(j)}$$ (51)

   
   

再推定された $\overline{\lambda}$ の評価は次のようになる．

1. $\overline{\lambda}=\lambda$     →    (局所的な)収束状態

2. $P(O\vert\overline{\lambda}) > P(O\vert\lambda)$     →    シンボル系 列$O$ を出力するより最適なモデル$\lambda$ を推定

Baum-Welchアルゴリズムは，学習データの尤度を最大にするようにパラメータを 学習する．本研究では，HMM初期モデルの再推定に使用されている．