20#20 | (2.5) |
このままでは複雑すぎるため,計算が困難である.そこで,model1では以下の仮定を置き,簡略化する.
以上の仮定を用い,2.5式は2.6式のように簡略化される.また,model1において,確率の積の総和を総和の積に置き換えることが可能であり,2.8式のように置くことができる.
24#24 | 3#3 | 25#25 | (2.6) |
26#26 | 3#3 | 27#27 | (2.7) |
3#3 | 28#28 | (2.8) |
ラグランジェの未定計数法を用いて,制約 29#29 のもとで 30#30 を最大化する問題を解くと,学習に用いた対訳文において,eとfが対応付けられる回数の期待値を2.9式のように求めることができる.
31#31 | (2.9) |
32#32 は仏文f中に仏単語fが出現する回数, 33#33 は英文e中に英単語eが出現する回数を表す.このことより,次のようなEMアルゴリズムによって確率を推定することができる.
37#37 | (2.10) |
EMアルゴリズムで得られる解は最適解となる保証はない.しかし,Model1において,極大値は1つしかなく,初期値に依らず最適解に収束する.