ここでは、より高い解析精度をめざして2つ前の状態まで考慮する 2nd-order HMM[3]を用いて形態素解析の実験を試みた。た だし、Baum-Welchの学習に時間がかかるため、パラメータは品詞が 付与されているテキストデータから直接計算した。この結果を表 5にしめす。表3と比較 すると、いずれの場合も2nd-order HMMは単純なHMMより高い解析精 度を得ている。また表6に、形態素解析を Forwardアルゴリズムで計算したときのopenデータにおける誤出力 の種類を示した。表4と比較すると、誤りの種 類が変化していて、普通名詞を固有名詞と誤出力している場合が多 い。
学習方法 | 形態素解析 | openデータ | closedデータ |
直接算出 | Viterbi | 84.9% | 83.1% |
直接算出 | Forward | 82.2% | 83.3% |
正解 | 出力 | 誤出力に対する出現率 |
普通名詞 | 固有名詞 | 12.8% |
普通名詞 | 数詞 | 3.8% |
普通名詞 | 接尾語 | 3.1% |
本動詞連用5段 | 普通名詞 | 3.1% |
接尾語 | 普通名詞 | 3.1% |