next up previous
次へ: 新聞記事とX線CT所見作成の比較 上へ: 入力データ量に対するマルコフ連鎖確率値の収束率の問題 戻る: エントロピーと頻度別出現率

頻度別出現率100%と98%

頻度別出現率100%のデータと頻度別出現率98%のデータの比較か ら、学習データが増加した場合、全体に占める割合は少ないが、た えず新しい種類のマルコフモデルの組み合わせが出現することが予 想される。これは、言語モデルとしてマルコフモデルを選択したと きの妥当性に関して、2つの異なった解釈を出す。1つは、滅多に 出現しない言語現象は、あえてモデルに適合させる必要がないと判 断するもので、もう1つは、所詮、言語モデルとしてマルコフモデ ルは使用できないと判断するものである。この判断は、人によって 異なると思われる。



Jin'ichi Murakami 平成13年10月5日