next up previous contents
次へ: HMMのエントロピー 上へ: HMM(Hidden Markov Model,隠れマルコフモデル) 戻る: スケーリング   目次


連続分布型HMM

HMMには離散型HMMの他に連続分布型HMMがある。 連続分布型HMMは、シンボル出力確率をガウス分布で表現したもので、 離散型HMMのシンボル出力確率は$0,0$から$1.0$までの値しかとらないのに対し、 離散型HMMのシンボル出力確率は$0$から$+ \infty$の値をとる。

連続分布型HMMのシンボル出力確率 $b_j(O_t)$は以下のように計算される。


\begin{displaymath}
b_j(O_t) = \sum_{m=1}^{M_{j}} {\cal C}_{jm} {\cal N}(O_{t}; \mu_{jm}, \Sigma_{jm})
\end{displaymath} (2.34)

ただし、

$M_{j}$ ... 状態$j$における混合数
${\cal C}_{jm}$ ... 状態$j$における混合数$m$のときの重み
${\cal N}(; \mu, \Sigma)$ ... 平均ベクトル$\mu$、共分散行列$\Sigma$をもつ混合ガウス分布

${\cal N}(; \mu, \Sigma)$は以下の式で表現される。


\begin{displaymath}
{\cal N}(O; \mu, \Sigma) = \frac{1}{ \sqrt{ (2\pi)^n \vert \...
...exp( - \frac {1} { 2 } ( O - \mu)^{t} \Sigma ^{-1} (O - \mu) )
\end{displaymath} (2.35)

ただし

$n$ ... 観測行列の次元数
$ (O-\mu)^{t} $ ... $(O-\mu)$の天地行列
$\vert \Sigma \vert $ ... $\Sigma$の固有値
$ \Sigma ^{-1} $ ... $\Sigma$の逆行列

連続分布型HMMにおける forward probability $\alpha_j(t)$ は以下のように計算される。


$\displaystyle \alpha_j(t)= \bigl( \sum_{i=2}^{N-1} \alpha_i (t-1) a_{ij} \bigr) b_j(O_t)$     (2.36)
$\displaystyle 1 < j < N, 1 < t \le T$      

ただし

$ \alpha_1(1)=1 $
$ \alpha_j(1)=a_{1j} b_j(O_1) $
$ 1 < j < N $
$ \alpha_N(T)=\sum_{i=2}^{N-1}\alpha_i(T) a_{iN} $

連続分布型HMMにおける backward probability $\beta_i(t)$は以下のように計算される。


$\displaystyle \beta_i(t)= \sum_{j=2}^{N-1} a_{ij} b_j(O_{t+1}) \beta_j (t+1)$     (2.37)
$\displaystyle 1 < i < N, T > t \ge 1$      

ただし

$ \beta_i(T)=a_{iN} $
$ 1 < i < N $
$ \beta_1(1)=\sum_{j=2}^{N-1}a_{1j} b_{j} (O_1) \beta_j(1)$

forward probability, backward probabilityから連続分布型HMMにおける Baum-Welchアルゴリズムによるパラメータの再推定は以下の式で表現される。


$\displaystyle \hat{a}_{ij}=\frac{\Sigma_{r=1}^R \frac{1}{P_r} \Sigma_{t=1}^{T_r...
...)}
{\Sigma_{r=1}^R \frac{1}{R_r} \Sigma_{t=1}^{T_r} \alpha_i^r(t) \beta_i^r(t)}$     (2.38)
$\displaystyle 1 \le r \le R , 1 < i < N , 1 < j < N$      
$\displaystyle P_r = \sum_r \bigl( P = \alpha_N(T)  of  r'th observation \bigr)$      


\begin{displaymath}
\hat{\mu}_{jm} = \frac{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_...
...(t) O_t^r}
{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{jm}^r (t) }
\end{displaymath} (2.39)


\begin{displaymath}
\hat{\Sigma}_{jm} = \frac{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r}...
...{jm}) ^t }
{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{jm}^r (t) }
\end{displaymath} (2.40)


\begin{displaymath}
{\cal C}_{jm} = \frac{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{jm}^r (t)}
{ \Sigma_{r=1}^R \Sigma_{t=1}^{T_r} L_{j}^r (t) }
\end{displaymath} (2.41)

ただし


\begin{displaymath}
L_{jm}^r (t) = L_{j}^{r} (t) = \frac{1}{P_r}\alpha_j (t) \beta_j (t)
\end{displaymath} (2.42)


\begin{displaymath}
L_{jm}^r(t)=\frac{1}{P_r}U_j^r(t){\cal C}_{jm} b_{jm}(O_{t}^r)\beta_j^r(t)b_{js} (O_t^r)
\end{displaymath} (2.43)


\begin{displaymath}
U_j^r(t)= \left\{
\begin{array}{@{ }ll}
a_{1j} & if   t ...
... \alpha_i^r (t-1) a_{ij} & otherwise \\
\end{array} \right .
\end{displaymath} (2.44)


next up previous contents
次へ: HMMのエントロピー 上へ: HMM(Hidden Markov Model,隠れマルコフモデル) 戻る: スケーリング   目次
Jin'ichi Murakami 平成13年1月5日