HMMの構造

HMMは、 $M$個の状態と$N$個の出力シンボル、
状態遷移確率分布 $\mbox{ \settowidth{\kblen}{ $A$} \addtolength{\kblen}{-.2pt}$A$\hspace{-\kblen} $A$\hspace{-\kblen} $A$\hspace{-\kblen} $A$} \, = \, \{a_{ij} \}$ シンボル生成確率分布 $\mbox{ \settowidth{\kblen}{ $B$} \addtolength{\kblen}{-.2pt}$B$\hspace{-\kblen} $B$\hspace{-\kblen} $B$\hspace{-\kblen} $B$}\, =\, \{b_{ijk} \}$ 初期状態分布確率 $\pi$ $\pi$ $\pi$ $\pi$ = { $\pi_{i}$ }

$$a_{ij} = P[\mbox{次の状態}\, =\, S_j\, \mid\, \mbox{現在の状態}\, =\, S_i], \makebox[10mm]{}1\, \leq\, i,j\, \leq\, N.$$

$$b_{ijk} = P[\mbox{観測された記号}\, =\, V_k\, \mid \mbox{次の状態}\, =\, S_j,\, \mbox{現在の状態}\, =\, S_i],$$

$$\makebox[72mm]{} 1\, \leq \, i,j\, \leq\, N, \ \ 1\, \leq \, k\, \leq \, M.$$

$$\pi_{i} = P[\mbox{初期状態}\, =\, S_i], \makebox[42mm]{} 1\, \leq \, i,j\, \leq \, N.$$

で構成される。 これらのパラメータをHMMのモデルとして次のように略記する。

$$\mbox{ \settowidth{\kblen}{ $\lambda$}\addtolength{\kblen}{-.2pt}... ...\hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$} = (\mbox{\settowidth{\kblen}{ $A$}\addtolength{\kblen}{-.2pt}$A$\hs... ...pt}$\pi$\hspace{-\kblen} $\pi$\hspace{-\kblen} $\pi$\hspace{-\kblen} $\pi$}\,).$$

本研究では、 文節内文法のモデルとして全遷移型(ergodic)HMMを用いた。 これは、 ある状態から自己遷移を含む全ての状態へのパスを持つHMMである [11] 。

HMMが獲得したモデルの複雑さを表す指標としてエントロピーを用いる。 $p(k \mid i)$を状態$i$において記号$V_k$を出力する確率とすれば、 モデルのエントロピーは、次のようにして求められる [10] 。

$$p(k \mid i) = \sum_{j} a_{ij} \, b_{ij}(k) \makebox[8.2em]{} \ldots \mbox{ 状態$q_i$でシンボル$V_k$を生成する確率}$$

$$H(K \mid i) = - \sum_{k} p(k \mid i) \log_2 \, p(k \mid i), \makebox[2.5em]{} \ldots \mbox{ 1シンボルあたりのエントロピー}$$

$$H(\mbox{ \settowidth{\kblen}{$\lambda$}\addtolength{\kblen}{-.2pt... ...a$\hspace{-\kblen}$\lambda$\hspace{-\kblen}$\lambda$\hspace{-\kblen}$\lambda$}) = \sum_{i} \pi_i \, H(K \mid i)\,. \makebox[7em]{} \ldots \mbox{ モ... ... $\lambda$\hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$}の エントロピー}$$