Ergodic HMMの解析方法

HMMは確率的信号源のクラスタリングとしての性質があるため、単 語列を学習データとした場合、言語的挙動が類似した単語はネット ワーク上の同一の状態遷移に大きな出力確率を持つようになる。こ のグループ化は従来の品詞と強い関連をもつことが考えられる。デー タベースにおいて単語の品詞は事前にわかっているため、次のよう な手順でErgodic HMMを解析した。

1. 単語に品詞(活用形を含む)のラベルをつける。
   
2. 各遷移について、単語のシンボル出力確率を品詞ご とにまとめる。
   
3. (状態遷移確率$\times$出力確率)が5%未満の品詞を削除してネッ トワークに表示する。

ネットワークの表示に用いた略号を表 3 に 示す。なお以後示すネットワークの図において、状態の太細は初期 確率の大小を、遷移の太細は遷移確率の大小を、品詞名、活用形の 略号の右の数字は(状態遷移確率$\times$出力確率)の値を示して いる。

表 3: 品詞・活用形の略号

品詞名	略号	品詞名	略号	品詞名	略号
普通名詞	普名	助動詞	助動	格助詞	格助
代名詞	代名	間投詞	間投	係助詞	係助
本動詞	本動	感動詞	感動	接続助詞	接助
補助動詞	補動	副詞	副詞	終助詞	終助
準体助詞	準助	接頭辞	接頭	接尾辞	接尾
未然形	未	終止形	終	連体形	体
連用形	用