最大エントロピー法

本研究では，教師あり機械学習法に，最大エントロピー法を使用する．最大エントロピー法の説明を記述する．

最大エントロピー法とは，あらかじめ設定しておいた素性 3#3 の集合を 4#4 とするとき， 式(3.1)を満足しながら エントロピーを意味する式(3.2)を最大にするときの 確率分布5#5 を求め，その確率分布にしたがって 求まる各分類の確率のうち， もっとも大きい確率値を持つ分類を求める分類とする方法である[4,5,6,7]．

6#6 (3.1) 7#7

8#8 9#9 10#10 (3.2)

ただし，11#11 は分類と文脈の集合を意味し， 12#12 は 文脈13#13 に素性14#14 があってなおかつ分類が15#15 の場合 1 となり それ以外で 0 となる関数を意味する． また， 16#16 は，既知データでの 17#17 の出現の割合を意味する．

式(3.1)は確率18#18 と 出力と素性の組の出現を意味する関数19#19 をかけることで 出力と素性の組の頻度の期待値を求めることになっており， 右辺の既知データにおける期待値と， 左辺の求める確率分布に基づいて計算される 期待値が等しいことを制約として， エントロピー最大化(確率分布の平滑化)を行なって， 出力と文脈の確率分布を求めるものとなっている．