Model1

式(3)は以下の式に置き換えることができる．$m$はフランス語文における単語数， $a_{1}^{j-1}$はフランス語文において，1単語目から$j$-1単語目までのアライ メント，$f_{1}^{j-1}$はフランス語文において，1単語目から$j$-1単語目まで を示す．

$$P(f,a\vert e) = P(m\vert e)\prod_{j=1}^{m}P(a_j\vert a_{1}^{j-1},f_{1}^{j-1},m,e)P(f_{j}\vert a_{1}^{j},f_{1}^{j-1},m,e)$$ (4)

式(4)では，式が複雑であるため，計算が困難である．よって，Model1では以下 の仮定によって，式を簡略化する．

• フランス語文の長さの確率は，$m$および$e$に依存しない
  $\epsilon \equiv P(m\vert e)$

• アライメントの確率は英語文$e$の長さ$l$のみに依存する
  $P(a_j\vert a_{1}^{j-1},f_{1}^{j-1},m,e) \equiv (l+1)^{-1}$

• フランス単語は，対応する英単語のみに依存する
  $P(f_{j}\vert a_{1}^{j},f_{1}^{j-1},m,e) \equiv t(f_{j}\vert e_{a_{j}})$

以上の仮定を用いることで，式(4)は式(5)に置き換えることができる．

$$P(f,a\vert e) = \frac{\epsilon}{(l+1)^{m}} \prod_{j=1}^{m}t(f_{j}\vert e_{a_{j}})$$ (5)

$$P(f\vert e) = \frac{\epsilon}{(l+1)^{m}} \sum_{a_{1}=0}^{l} \cdots \sum_{a_{m}=0}^{l} \prod_{j=1}^{m}t(f_{j}\vert e_{a_{j}})$$ (6)

$$= \frac{\epsilon}{(l+1)^{m}} \prod_{j=1}^{m} \sum_{i=0}^{l}t(f_{j}\vert e_{i})$$ (7)

ラグランジェの未定係数法を用いて，制約条件 $\sum_{f}t(f\vert e)$のもとでP(f|e) の最大化を行なう問題を解くと，学習に用いたフランス語と英語の対訳文 ($f^{(s)}$と$e^{(s)}$)において，$f$と$e$が対応付けられる回数の期待値を求 めることができる．以下に期待値を求める式を示す．

$$c(f\vert e;f^{(s)},e^{(s)}) = \frac{t(f\vert e)}{t(f\vert e_{0}) ... ...＋ t(f\vert e_{l})} \sum_{j=1}^{m}\delta(f,f_{j}) \sum_{i=0}^{l}\delta(e,e_{i})$$ (8)

$\delta(f,f_{j})$はフランス語文$f^{(s)}$に，フランス単語$f$が出現する回 数， $\delta(e,e_{i})$は英語文$e^{s}$に，英単語$e$が出現する回数を示す． また，以下に示すEMアルゴリズムを用いて最適解を推定する．

手順1

$t(f\vert e)$に適当な初期値を設定する

手順2

フランス語と英語の対訳文($f^{(s)}$と$e^{(s)}$)，$1 \leq s$ $\leq S$において，フランス単語$f$と英単語$e$が対応付けられる回 数の期待値を式(8)によって求める

手順3

英語文$e^{(s)}$に1回以上出現した英単語$e$に対して

• 定数$\lambda_{e}$を以下の式で計算する
  

  $$\lambda_{e} = \sum_{f} \sum_{s=1}^{S} c(f\vert e;f^{(s)},e{(s)})$$ (9)

  
  

• $t(f\vert e)$を以下の式で再計算する
  

  $$t(f\vert e) = \lambda_{e}^{-1} \sum_{s=1}^{S} c(f\vert e;f^{(s)},e^{(s)})$$ (10)

  $$= \frac{\sum_{s=1}^{S} c(f\vert e;f^{(s)},e^{(s)})}{\sum_{f} \sum_{s=1}^{S} c(f\vert e;f^{(s)},e{(s)})}$$ (11)

  
  

手順4

$t(f\vert e)$が収束するまで，手順2と手順3を繰り返す