HMMによる文法抽出は、 エントロピーを指標として モデルを評価することができるが、 最適なモデルを得るためには、 生成・評価のサイクルを繰り返しながら エントロピーの小さなモデルを探す必要がある。 これを避けるには、 例えば、 エントロピーの小さなモデルを生成したHMMの初期状態を 解析し、 得られた知見によってよりエントロピーの小さいモデルを 生成するように初期状態を設定する手法が考えられる。 文節の開始・終了状態を指定するだけでも冗長なイニシャル・ノードや 遷移を解消できるものと思われる。
初期状態とともに考慮すべきこととしてモデルの状態数の 最適化がある。 状態数の多いHMMはより複雑なタスクを扱うことができるが 状態数が多過ぎるとかえって冗長・曖昧性が生じ、 モデルの最適性が失われてしまう。 この問題は、タスクのパープレキシティを考慮して状態数を 選択することにより、ある程度解消できる。
さらに、 同じ品詞でも連体修飾・連用修飾を行なうものは、 遷移が分化しているものがあるように、 品詞のサブカテゴリを扱うことでより詳細なモデルを生成することや 逆に、 HMMによって品詞のサブカテゴリ化を図ることができる。