HMM(Hidden Markov Model,隠れマルコフモデル)

HMMは、不確定な時系列のデータをモデル化するための有効な統計的 手法である[4]。HMMは、出力シンボルによって一意に状態遷移先が 決まらないという意味での非決定性確率有限オートマトンとして定義される。 出力シンボル系列が与えられても状態遷移系列は唯一に決まらない。観測でき るのはシンボル系列だけであることからhidden(隠れ）マルコフモデルと呼ば れる [60]。

HMMはパラメータとして状態遷移確率、シンボル出力確率、初期状態確率を持 つ。そして、シンボル出力確率の計算方法によって離散型HMMと連続分布型HMM に別れる。また、シンボル出力確率が状態で出力されるMooreマシンと状態遷 移で出力されるMealyマシンに分類できる。以下では、Mealyタイプの離散型 HMMについて述べる[60]。なお、MooreタイプとMealyタイプは相互 に変換可能である。

$T$	: 観測系列の長さ
$o_1,o_2,...,o_T$	: 観測系列
$N$	: 状態数
$L$	: 観測シンボルの数
$S = \{s\}$	: 状態集合
$s_t$	: 時刻$t$の時の状態（番号）
$i,j$	: 状態番号
$v = \{v_1.v_2,...,v_L\}$	: 出力可能なシンボル集合

と定義すると、このオートマトンは,状態遷移確率$A$,シンボル出力 確率$B$,初期状態確率$\pi$は、以下のように示される。

$$A = \{a_{ij} \mid a_{ij}=P(s_{t+1}=j \mid s_t=i)\} {\hspace {1.15cm} } (1 \leq i,j \leq N)$$ (2.1)

$$B = \{b_{ij}(o_t) \mid b_{ij}(o_t)=P(o_t \mid s_{t-1}=i,s_t=j)\} {\hspace {1cm} } (1\leq i,j \leq N , 1 \leq t \leq T)$$ (2.2)

$$\pi = \{\pi_i \mid \pi_i=P(s_0 =i)\} {\hspace {3.1cm} } (1\leq i \leq N)$$ (2.3)

これらのパラメーターを用いて、HMMを次のように略記する。

$$\lambda = (A,B,\pi )$$ (2.4)

観測系列$O$が

$$o_1,o_2,...,o_T {\hspace{1cm} } (o_t = v_k,1 \leq k \leq L,1 \leq t \leq T)$$

という系列を生成する過程は次のようになる。

1. 初期状態確率を$\pi$にしたがって決定する。
2. 次に遷移する状態（$s_{t+1}=j$）を現在の状態（$s_{t}=i$）と状 態遷移確率$a_{ij}$にしたがって決定する。
3. 状態遷移する際に出力するシンボルをシンボ ル出力確率$b_{ij} (o_t)$にしたがって決定する。
4. 2.に戻る

HMMには、ある状態から全ての状態に遷移できる全遷移型（Ergodic）モデルや、 状態遷移が一定方向に進む left to right モデルがある。図  2.1 に簡単なHMM（left to right モデル）の例を示 す。

図 2.1: 3状態 left-to-right HMM

このHMMは三つの状態で構成され、２種類の ラベルaとbのみからなるラベル系列を出力する。初期状態確率は $\pi_1=1.0,\pi_2=0,\pi_3=0$、最終状態を$S_3$とし、図のような 遷移のみ行なうものとする。図において、0.3などアークに添えら れている数字は状態遷移確率を表し、[ ]内の数字の上段はラベルa の出力確率、下段はラベルbの出力確率を表す。状態$s_1$を例にと れば、$s_1$から状態$s_1$自身に0.3の確率で遷移し、遷移の際に0.8 の確率でaを出力し、0.2の確率でbを出力する。他の状態、遷移に ついても同様である。ここで、ラベル系列がaabを出力する確率を 考える。このHMMで許される状態系列において''aab''を出力する 可能性のあるものは、 $s_1-s_1-s_2-s_3$ と $s_1-s_2-s_2-s_3$と $s_1-s_1-s_1-s_3$の3種類で、それぞれの 確率は、

$$0.3 \times 0.8 \times 0.5 \times 1.0 \times 0.6 \times 0.5 = 0.036$$

$$0.5 \times 1.0 \times 0.4 \times 0.3 \times 0.6 \times 0.5 = 0.018$$

$$0.3 \times 0.8 \times 0.3 \times 0.8 \times 0.2 \times 1.0 = 0.01152$$

である。

よって、このHMMがaabを出力する確率は三つの合計、

$$0.036+0.018+0.01152 = 0.06552$$

となる。

HMMでは状態系列に意味を持たないが、最尤の経路を推定することはできる。 この例では、aabを出力する可能性がもっとも高い状態系列は、前記の計算か ら容易に $s_1-s_1-s_2-s_3$とわかる (2.1.7参照)。