最大エントロピー法

最大エントロピー法は，あらかじめ設定しておいた素性 8#8 の集合を 9#9 とするとき， 式(3.1)を満足しながら エントロピーを意味する式(3.2)を最大にするときの 確率分布10#10 を求め，その確率分布にしたがって 求まる各分類のうち， もっとも大きい確率値を持つ分類を求める分類とする方法である[7,8]．

12#12 13#13 14#14 (3.1)

ただし，15#15 は分類と文脈の集合を意味し， 16#16 は 文脈17#17 に素性18#18 があってなおかつ分類が19#19 の場合 1 となり それ以外で 0 となる指示関数を意味する． また， 20#20 は，既知データでの 21#21 の出現の割合を意味する．また，22#22 は素性の総数を意味する．

10#10 を求め，そこから23#23 を求める．(23#23 = 24#24 )

25#25 13#13 26#26 (3.2)

式(3.1)は確率27#27 と 出力と素性の組の出現を意味する関数28#28 をかけることで 出力と素性の組の頻度の期待値を求めることになっており， 右辺の既知データにおける期待値と， 左辺の求める確率分布に基づいて計算される 期待値が等しいことを制約として， エントロピー最大化(確率分布の平滑化)を行って， 出力と文脈の確率分布を求めるものとなっている[5]．