最大エントロピー法

本実験では，教師あり機械学習法に，最大エントロピー法を使用する. 最大エントロピー法の説明を記述する.

2#2 , 3#3 を分類と文脈の集合とすると, 文脈4#4 (5#5 )で分類6#6 (7#7 )となる事象8#8 の確率分布9#9 を最大エントロピー法で推定する. 文脈4#4 は10#10 個の素性 11#11 の集合で表す.

12#12 (4.1)

式(4.1)のような素性関数を定義する. 式(4.1)では, 文脈4#4 において, 素性13#13 が観測され, 分類が6#6 になるときに1を返す. 14#14 は, 文脈4#4 において素性13#13 が観測されるか否かで1あるいは0を返す関数である.

推定する確率分布15#15 による素性13#13 の期待値と既知データにおける確率分布 16#16 による素性13#13 の期待値が等しいことを制約として, エントロピー最大化(確率分布の平滑化)を行って, 出力と文脈の確率分布を求める(式(4.2)).

17#17 (4.2) 18#18

式(4.2)の 19#19 を既知データにおける事象4#4 の出現頻度20#20 , 16#16 を既知データにおける事象8#8 の出現頻度21#21 により以下のように推定する.

22#22 (4.3)

23#23 (4.4)

よって, 式(4.2)の制約を満たす確率分布9#9 のうち, 式(4.5)を最大にする確率分布が推定したい確率分布である.

24#24 (4.5)

最大エントロピー法は, この推定した確率分布にしたがって求まる各分類の確率のうち, 最も大きい確率値を持つ分類を求める分類方法である[15][16][17][18].