離散HMMのパラメータ推定

学習用音声として，$N$個の観測符号ベクトル系列 $\{ y_{1}^{T(n)} = y_{1} , y_{2} , \cdots , y_{T(n)} \}_{n=1}^N$が与えられたとき，

$$\prod_{n=1}^{N} P( y_{1}^T(n) \vert \pi_{i}, a_{ij}, b_{ij}(k) )$$ (32)

を最大化するパラメータセット $\{ \hat{\pi_{i}} , a_{ij} , b_{ij}(k) \}$は,Baum-Welchアルゴリズムによって，次のように推定できる．

まず以下のような変数$\beta(i,t)$,$\gamma(i,j,t)$を定義する．

$\beta(i,t)$:

時刻$t$に状態$s_{i}$にあって，以後符号ベクトル$y_{t+1}^T$を出力する確率

$\gamma(i,j,t)$:

モデル$M$が$y_{1}^T$を出力する場合において，時刻tに状態$s_{i}$から状態$s_{j}$へ遷移し符号ベクトル$y_t$を出力する確率

このとき，以下の関係が得られる．

$$\beta (i,T) = \left\{ \begin{array}{ll} 1 & s_{i} \in F \\ 0 & s_{i} \notin F \end{array} \right.$$ (33)

$$\beta (i,t) = \sum_{j} a_{ij} b_{ij} (y_t) \beta (j,t+1) \quad (t = T, T-1, \cdots ,1;i=1,2, \cdots ,S)$$ (34)

$$\gamma (i, j, t) = \frac{ \alpha (i,t-1) a_{ij} b_{ij}(y_t) \beta (j,t)}{P (y_{1}^t \vert M)}$$ (35)

以上を用いて，パラメータ$pi_i$, $a_ij$, $b_ij(k)$を，以下の再推定によって求める．

$$\hat{\pi_{ij}} = \frac{ \sum_{j} \gamma (i, j, 1) }{ \sum_{i} \sum_{j} \gamma (i, j, 1) }$$ (36)

$$\hat{a_{ij}} = \frac{ \sum_{t=1}^T \alpha (i, t-1) a_{ij}... ...m_{t} \gamma (i, j, 1) }{ \sum_{t} \sum_{j} \gamma (i, j, t) }$$ (37)

$$\hat{b_{ij}} = \frac{ \sum_{t, y_t = k} \gamma (i, j, t) }{ \sum_{t} \gamma (i, j, t) }$$ (38)

実際は，すべての学習サンプルに対してこの計算を行ってから1回パラメータを更新するというサイクルを，値が収束するまで繰り返す．