連続分布型HMM

HMMには離散型HMMの他に連続分布型HMMがある。 連続分布型HMMは、シンボル出力確率をガウス分布で表現したもので、 離散型HMMのシンボル出力確率は$0,0$から$1.0$までの値しかとらないのに対し、 離散型HMMのシンボル出力確率は$0$から$+ \infty$の値をとる。

連続分布型HMMのシンボル出力確率 $b_j(O_t)$は以下のように計算される。

$$b_j(O_t) = \sum_{m=1}^{M_{j}} {\cal C}_{jm} {\cal N}(O_{t}; \mu_{jm}, \Sigma_{jm})$$ (2.34)

ただし、

$M_{j}$	...	状態$j$における混合数
${\cal C}_{jm}$	...	状態$j$における混合数$m$のときの重み
${\cal N}(; \mu, \Sigma)$	...	平均ベクトル$\mu$、共分散行列$\Sigma$をもつ混合ガウス分布

${\cal N}(; \mu, \Sigma)$は以下の式で表現される。

$${\cal N}(O; \mu, \Sigma) = \frac{1}{ \sqrt{ (2\pi)^n \vert \... ...exp( - \frac {1} { 2 } ( O - \mu)^{t} \Sigma ^{-1} (O - \mu) )$$ (2.35)

ただし

$n$	...	観測行列の次元数
$(O-\mu)^{t}$	...	$(O-\mu)$の天地行列
$\vert \Sigma \vert$	...	$\Sigma$の固有値
$\Sigma ^{-1}$	...	$\Sigma$の逆行列

連続分布型HMMにおける forward probability $\alpha_j(t)$ は以下のように計算される。

$$\alpha_j(t)= \bigl( \sum_{i=2}^{N-1} \alpha_i (t-1) a_{ij} \bigr) b_j(O_t)$$ (2.36)

$$1 < j < N, 1 < t \le T$$

ただし

$\alpha_1(1)=1$

$\alpha_j(1)=a_{1j} b_j(O_1)$

$1 < j < N$

$\alpha_N(T)=\sum_{i=2}^{N-1}\alpha_i(T) a_{iN}$

連続分布型HMMにおける backward probability $\beta_i(t)$は以下のように計算される。

$$\beta_i(t)= \sum_{j=2}^{N-1} a_{ij} b_j(O_{t+1}) \beta_j (t+1)$$ (2.37)

$$1 < i < N, T > t \ge 1$$

ただし

$\beta_i(T)=a_{iN}$

$1 < i < N$

$\beta_1(1)=\sum_{j=2}^{N-1}a_{1j} b_{j} (O_1) \beta_j(1)$

forward probability, backward probabilityから連続分布型HMMにおける Baum-Welchアルゴリズムによるパラメータの再推定は以下の式で表現される。

$$\hat{a}_{ij}=\frac{\Sigma_{r=1}^R \frac{1}{P_r} \Sigma_{t=1}^{T_r... ...)} {\Sigma_{r=1}^R \frac{1}{R_r} \Sigma_{t=1}^{T_r} \alpha_i^r(t) \beta_i^r(t)}$$ (2.38)

$$1 \le r \le R , 1 < i < N , 1 < j < N$$

$$P_r = \sum_r \bigl( P = \alpha_N(T) of r'th observation \bigr)$$

$$\hat{\mu}_{jm} = \frac{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_... ...(t) O_t^r} { \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{jm}^r (t) }$$ (2.39)

$$\hat{\Sigma}_{jm} = \frac{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r}... ...{jm}) ^t } { \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{jm}^r (t) }$$ (2.40)

$${\cal C}_{jm} = \frac{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{jm}^r (t)} { \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{j}^r (t) }$$ (2.41)

ただし

$$L_{jm}^r (t) = L_{j}^{r} (t) = \frac{1}{P_r}\alpha_j (t) \beta_j (t)$$ (2.42)

$$L_{jm}^r(t)=\frac{1}{P_r}U_j^r(t){\cal C}_{jm} b_{jm}(O_{t}^r)\beta_j^r(t)b_{js} (O_t^r)$$ (2.43)

$$U_j^r(t)= \left\{ \begin{array}{@{ }ll} a_{1j} & if t ... ... \alpha_i^r (t-1) a_{ij} & otherwise \\ \end{array} \right .$$ (2.44)