最大エントロピー法

本研究では，教師あり機械学習法に，最大エントロピー法を使用する．

最大エントロピー法は，あらかじめ設定しておいた素性 3#3 の集合を 4#4 とするとき， 式(3.1)を満足しながら エントロピーを意味する式(3.1)を最大にするときの 確率分布5#5を求め，その確率分布にしたがって 求まる各分類の確率のうち， もっとも大きい確率値を持つ分類を求める分類とする方法である[5,6,7,8]．

7#7 8#8 9#9 (1)

ただし，10#10 は分類と文脈の集合を意味し， 11#11 は 文脈12#12に素性13#13があってなおかつ分類が14#14の場合 1 となり それ以外で 0 となる関数を意味する． また， 15#15は，既知データでの 16#16 の出現の割合を意味する．また，17#17は素性の総数を意味する．

5#5を求め，そこから18#18を求める． 19#19

20#20 (2)

式(3.1)は確率21#21と 出力と素性の組の出現を意味する関数22#22をかけることで 出力と素性の組の頻度の期待値を求めることになっており， 右辺の既知データにおける期待値と， 左辺の求める確率分布に基づいて計算される 期待値が等しいことを制約として， エントロピー最大化(確率分布の平滑化)を行って， 出力と文脈の確率分布を求めるものとなっている．