モデル化実験

2つの文節集合(SET1・SET2)の 文節内の形態素連鎖の品詞を 状態数の異なる(2状態, 5状態, 8状態, 10状態)HMMでモデル化する。

SET1・SET2の各文節データには、 文節の開始記号及び終了記号は付加せず、 形態素連鎖の品詞列のみをモデル化のデータとした。 また、後述するようにHMMに開始状態及び終了状態を特に指定せず、 任意の状態で遷移が開始・終了できるようなモデルとした。

HMMによるモデルの抽出には、 Baum-Welchの再推定法を用いた。 Baum-Welchの再推定法を用いた場合、 再推定の回数の判定が問題となる。 一般にモデル $\mbox{ \settowidth{\kblen}{ $\lambda$} \addtolength{\kblen}{-.2pt}$\lambda$\h... ...2pt}$\pi$\hspace{-\kblen} $\pi$\hspace{-\kblen} $\pi$\hspace{-\kblen} $\pi$}\,)$ のデータに対する尤度 $P(\mbox{ \settowidth{\kblen}{ $O$} \addtolength{\kblen}{-.2pt}$O$\hspace{-\kbl... ...hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$})$ は、ある一定値に漸近的に増加するので、再推定回数の基準として、 尤度 $P(\mbox{ \settowidth{\kblen}{ $O$} \addtolength{\kblen}{-.2pt}$O$\hspace{-\kbl... ...hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$\hspace{-\kblen} $\lambda$})$が ある一定値に収束するまで再推定を繰り返す方法をとった。

再推定アルゴリズムを行なう前のHMMは、 任意の状態から遷移が開始できるように 初期状態分布確率 $\pi$ $\pi$ $\pi$ $\pi$ = { $\pi_{i}$ }を均等確率に、 状態遷移確率分布 $\mbox{ \settowidth{\kblen}{ $A$} \addtolength{\kblen}{-.2pt}$A$\hspace{-\kblen} $A$\hspace{-\kblen} $A$\hspace{-\kblen} $A$} \, = \, \{a_{ij} \}$と シンボル生成確率分布 $\mbox{ \settowidth{\kblen}{ $B$} \addtolength{\kblen}{-.2pt}$B$\hspace{-\kblen} $B$\hspace{-\kblen} $B$\hspace{-\kblen} $B$}\, =\, \{b_{ijk} \}$ を確率の総計が1になるようにランダムな値で初期化した。 ergodicモデルHMMは、 自由度が大きいためにモデル化によって得られたパラメータが 初期状態によって大きく左右される。 この初期状態の揺らぎによるパラメータの変化を考慮して 初期状態の異なるHMMで複数回の実験を行なう。