next up previous
次へ: まとめ 上へ: Ergodic HMMを用いた形態素解析の実験 戻る: 形態素解析の実験結果

2nd-order HMMを用いた形態素解析


ここでは、より高い解析精度をめざして2つ前の状態まで考慮する 2nd-order HMM[3]を用いて形態素解析の実験を試みた。た だし、Baum-Welchの学習に時間がかかるため、パラメータは品詞が 付与されているテキストデータから直接計算した。この結果を表 5にしめす。表3と比較 すると、いずれの場合も2nd-order HMMは単純なHMMより高い解析精 度を得ている。また表6に、形態素解析を Forwardアルゴリズムで計算したときのopenデータにおける誤出力 の種類を示した。表4と比較すると、誤りの種 類が変化していて、普通名詞を固有名詞と誤出力している場合が多 い。



表 5: 2nd-order HMMによる形態素解析の実験結果 解析精度(%)
学習方法 形態素解析 openデータ closedデータ
直接算出 Viterbi 84.9% 83.1%
直接算出 Forward 82.2% 83.3%



(品詞既知,Forward,openデータ)
表 6: 2nd-order HMMを用いた形態素解析の誤出力
正解 出力 誤出力に対する出現率
普通名詞 固有名詞 12.8%
普通名詞 数詞 3.8%
普通名詞 接尾語 3.1%
本動詞連用5段 普通名詞 3.1%
接尾語 普通名詞 3.1%




平成15年9月30日