HMMのエントロピー

$p(v_k \mid i)$ を状態$i$から遷移する際に記号$v_k$を出力する 確率と定義して、HMM（$\lambda$）のエントロピーは次 のようにして求められる[60]。

$$p(v_k \mid i) = \sum_{j=1}^N a_{ij}b_{ij}(v_k) \mbox{...状態$i$でシンボル$v_k$を生成する確率}$$ (2.45)

$$H(K\mid i) = - \sum_{k=1}^K p(v_k \mid i) \log_2p(v_k \mid i) \mbox{...1シンボル当たりのエントロピー}$$ (2.46)

$$H(\lambda ) = \sum_{i=1}^N \omega_iH(K \mid i) \mbox{...モデル$\lambda$のエントロピー}$$ (2.47)

ただし、

$N$	.......	HMMの状態数
$K$	.......	シンボルの数（種類）
$a_{ij}$	.......	状態$i$から状態$j$へ遷移する確率
$b_{ij}(v_k)$	.......	状態$i$から状態$j$へ遷移する際に$v_k$を出力する確率
$\omega_i$	.......	状態$i$の定常状態確率

定常状態確率$\omega_i$は以下の計算式から得られる[83]。

Ergodic HMMにおいて、状態$S_i$から遷移を開始し、$n$回の遷移を繰り返し た後に状態$S_j$に達する確率($n$次の遷移確率)を$a_{ij}^{(n)}$と表すこと にする。$a_{ij}^{(n)}$には次の式が成立する。

$$a_{ij}^{(n+1)} = \sum_{\nu = 1}^N a_{i\nu } a_{\nu j}^{(n)}$$ (2.48)

$$a_{ij}^{(n+m)} = \sum_{\nu = 1}^N a_{i\nu }^{(n)} a_{\nu j}^{(m)}$$ (2.49)

$n$が大きくなるにつれて、$a_{ij}^{(n)}$は一定値に近づき、その 値は状態$S_j$のみで決まり、出発点$S_i$には無関係になることが 証明できる[83]。すなわち、

$$\lim_{n\to \infty} a_{ij}^{(n)} = \omega_j$$ (2.50)

となる。$\omega_j$は、十分な遷移のあとにおいて、任意の瞬間に、 この過程が状態$S_j$にある確率を表す。定常状態確率$\omega_j$ には次の式が成り立つ。

$$\sum_{j=1}^N \omega_i = 1$$ (2.51)

$$\sum_{i=1}^N \omega_i a_{ij} = \omega_j$$ (2.52)

したがって、定常状態確率確率 $\omega_j$ は、2.67式と 2.68式を解くことにより、遷移確率から求められる。