model1

式(3)は以下の式に置き換えられる．

$$P(j,a\vert E) = P(m\vert E)\prod_{j=1}^{m}P(a_j\vert a_{1}^{j-1},j_{1}^{j-1},m,E)P(j_{j}\vert a_{1}^{j},j_{1}^{j-1},m,E)$$ (4)

$m$は日本語文の文長を示す．また，$a_{1}^{j-1}$は日本語文の1単語目から$j$-1単語目までの アライメントである．そして$j_{1}^{j-1}$は日本語文の1番目から$j$-1番目までの単語を示す． ここで，Model1では以下を仮定している．

• 日本語文の長さの確率$\epsilon$は，$m$と$E$に依存しない
  $\epsilon \equiv P(m\vert E)$

• アライメントの確率は英語文の長さ$l$にのみ依存する
  $P(a_j\vert a_{1}^{j-1},j_{1}^{j-1},m,E) \equiv (l+1)^{-1}$

• 日本語の翻訳確率 $t(j_{j}\vert e_{a_{j}})$は，日単語に対応する英単語にのみ依存する
  $P(j_{j}\vert a_{1}^{j},j_{1}^{j-1},m,E) \equiv t(j_{j}\vert e_{a_{j}})$

以上の仮定を用いて，式(4)は簡略化することができる．以下に式を示す．

$$P(J,a\vert E) = \frac{\epsilon}{(l+1)^{m}} \prod_{j=1}^{m}t(j_{j}\vert e_{a_{j}})$$ (5)

$$P(J\vert E) = \frac{\epsilon}{(l+1)^{m}} \sum_{a_{1}=0}^{l} \cdots \sum_{a_{m}=0}^{l} \prod_{j=1}^{m}t(j_{j}\vert e_{a_{j}})$$ (6)

$$= \frac{\epsilon}{(l+1)^{m}} \prod_{j=1}^{m} \sum_{i=0}^{l}t(j_{j}\vert e_{i})$$ (7)

model1において，翻訳確率の初期値が0でない場合には， EMアルゴリズムを用いて最適解を推定する．EMアルゴリズムの手順を以下に示す．

手順1

$t(j\vert e)$に初期値を設定する

手順2

日本語と英語の対訳文($J^{(s)}$，$E^{(s)}$)($1 \leq s$ $\leq S$)において，日単語$j$と英単語$e$が対応付けられる回数の期待値を求める． ここで $\delta(j, j_j)$は日本語文$J$において日単語$j$が出現する回数を表す．そして $\delta(e, e_i)$は英語文$E$において英単語$e$が出現する回数を表す．

$$\displaystyle c(j\vert e;J,E) = \frac{t(j\vert e)}{t(j\vert e_0) + \cdots + t(j\vert e_l)} \sum^m_{j=1} \delta(j, j_j) \sum^l_{i=0} \delta(e, e_i)$$ (8)

手順3

英語文$E^{(s)}$において，1回以上出現する英単語$e$に対して，翻訳確率$t(j\vert e)$を計算する．

• 定数$\lambda_{e}$を以下の式で計算する
  

  $$\lambda_{e} = \sum_{j} \sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})$$ (9)

  
  

• 上式で求めた定数$\lambda_{e}$を用いて$t(j\vert e)$を以下の式で再計算する
  

  $$t(j\vert e) = \lambda_{e}^{-1} \sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})$$ (10)

  $$= \frac{\sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})}{\sum_{j} \sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})}$$ (11)

  
  

手順4

$t(j\vert e)$が収束するまで，手順2と手順3を繰り返す