Baum-Welchアルゴリズム

Baum-Welchアルゴリズムは，与えられたシンボル列からモデルのパラメータを再推定するためのアルゴリズムである．HMMでは，シンボル列を生成した状態遷移系列が観測できないため，直接，最尤推定を行うことができない．そのため，シンボル列に対する尤度を最大にするようにパラメータを再推定することを考える．Baum-Welchアルゴリズムについて，参考文献[12]より引用し，以下に説明する．

　
与えられたシンボル列 $o^{T}_{1} = o_{1} … o_{T}$ に対し，時刻

で状態 $q_{i}$ から $q_{j}$ に遷移した確率 $\gamma_{t}(i,j)$ は以下のようになる．

$\displaystyle \gamma_{t}(i,j)$	$\displaystyle =$	$\displaystyle P(X_{t} = q_{i}, X_{t+1} = q_{j}｜o^{T}_{1}, M)$
	$\displaystyle =$	$\displaystyle \frac{P(X_{t} = q_{i}, X_{t+1} = q_{j}, o^{T}_{1}｜M)} {P(o^{T}_{1}｜M)}$
	$\displaystyle =$	$\displaystyle \frac{\alpha_{t}(i)a_{ij}b_{j}(o_{t+1})\beta_{t+1}(j)} {\sum^{N}_{i=1}\alpha_{T}(i)}$

　
また，時刻

で状態 $q_{i}$ に滞在した確率 $\gamma_{t}(i)$ を以下のように定義する．

$\gamma_{t}(i,j)$ および $\gamma_{t}(i)$ を用いて，以下のようにパラメータを再推定できる．

$\displaystyle \bar{\pi}$	$\displaystyle =$	$\displaystyle \gamma_{1}(i)$
$\displaystyle \bar{a}_{ij}$	$\displaystyle =$	$\displaystyle \frac{状態iから状態jに遷移する回数の期待値} {状態iから遷移する回数の期待値}$
	$\displaystyle =$	$\displaystyle \frac{\sum^{T-1}_{t=1}\gamma_{t}(i,j)} {\sum^{T-1}_{t=1}\gamma_{t}(i)}$
$\displaystyle \bar{b}_{i}(k)$	$\displaystyle =$	$\displaystyle \frac{状態iに滞在してシンボルkを出力する回数の期待値} {状態iに滞在する回数の期待値}$
	$\displaystyle =$	$\displaystyle \frac{\sum_{t:o_{t}=k}\gamma_{t}(i)} {\sum^{T}_{t=1}\gamma_{t}(i)}$

上記の再推定式によってパラメータを求める方法が，Baum-Welchアルゴリズムである．