next up previous
次へ: 漢字かなのエントロピー 上へ: かな漢字変換の実験 戻る: かな漢字変換の実験

マルコフモデルの連鎖確率

マルコフモデルを用いたかな漢字変換には、漢字かなの連鎖確率 を予め推定しておく必要がある。ここでは、約170万文字の漢字か なまじり文を使用して、この値を計算した。具体的には、はじめに 1982年1月4日から3月31日までの日経新聞の記事を日本文解析プロ グラム[4]で処理して文節ごとに区切り、次に文節内 における漢字かなの出現頻度を数えて、最後に、これらの連鎖確率 を計算した。ただし記号、外国語読み、数詞を含む文は対象外とし た。



平成15年9月30日