モデル１

式2.3は以下の式に置き換えられる．

$$P(J,a\vert E) = P(m\vert E)\prod_{k=1}^{m}P(a_k\vert a_{1}^{k-1},j_{1}^{k-1},m,E)P(j_{k}\vert a_{1}^{k},j_{1}^{k-1},m,E)$$ (2.4)

$m$ は日本語文の文長を示す．また， $a_{1}^{k-1}$ は日本語文の1単語目から$k$ -1単語目までの アライメントである．そして $j_{1}^{k-1}$ は日本語文の1番目から$k$ -1番目までの単語を示す． ここで，モデル１では以下を仮定している．

• 日本語文の長さの確率$\epsilon$ は，$m$ と$E$ に依存しない
  $\epsilon \equiv P(m\vert E)$

• アライメントの確率は英語文の長さ$l$ にのみ依存する
  $P(a_k\vert a_{1}^{k-1},j_{1}^{k-1},m,E) \equiv (l+1)^{-1}$

• 日本語の翻訳確率 $t(j_{k}\vert e_{a_{k}})$ は，日単語に対応する英単語にのみ依存する
  $P(j_{k}\vert a_{1}^{k},j_{1}^{k-1},m,E) \equiv t(j_{k}\vert e_{a_{k}})$

以上の仮定を用いて，$P(J, a\vert E)$ と$P(J,E)$ は以下のように表される．

$$P(J,a\vert E) = \frac{\epsilon}{(l+1)^{m}} \prod_{k=1}^{m}t(j_{k}\vert e_{a_{k}})$$ (2.5)

$$P(J\vert E) = \frac{\epsilon}{(l+1)^{m}} \sum_{a_{1}=0}^{l} \cdots \sum_{a_{m}=0}^{l} \prod_{k=1}^{m}t(j_{k}\vert e_{a_{k}})$$ (2.6)

$$= \frac{\epsilon}{(l+1)^{m}} \prod_{k=1}^{m} \sum_{i=0}^{l}t(j_{k}\vert e_{i})$$ (2.7)

モデル１において，翻訳確率 $t(j\vert e)$ の初期値が0でない場合には， EMアルゴリズムを用いて最適解を推定する．EMアルゴリズムの手順を以下に示す． ここで，日英の対訳文の文数を$S$ 文とする．

手順1

$t(j\vert e)$ に初期値を設定する

手順2

日本語と英語の対訳文($J^{(s)}$ ，$E^{(s)}$ )($1 \leq s$ $\leq S$ )において，日単語$j$ と英単語$e$ が対応付けられる回数の期待値を求める． ここで $\delta(j, j_k)$ は日本語文$J$ において日単語$j$ が出現する回数を表す．そして $\delta(e, e_i)$ は英語文$E$ において英単語$e$ が出現する回数を表す．

$$\displaystyle c(j\vert e;J,E) = \frac{t(j\vert e)}{t(j\vert e_0) + \cdots + t(j\vert e_l)} \sum^m_{k=1} \delta(j, j_k) \sum^l_{i=0} \delta(e, e_i)$$ (2.8)

手順3

英語文$E^{(s)}$ において，1回以上出現する英単語$e$ に対して，翻訳確率 $t(j\vert e)$ を計算する．

• 定数 $\lambda_{e}$ を以下の式で計算する
  

  $$\lambda_{e} = \sum_{j} \sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})$$ (2.9)

  
  
• 上式で求めた定数 $\lambda_{e}$ を用いて $t(j\vert e)$ を以下の式で再計算する
  

  $$t(j\vert e) = \lambda_{e}^{-1} \sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})$$ (2.10)

  $$= \frac{\sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})}{\sum_{k} \sum_{s=1}^{S} c(j\vert e;J^{(s)},E^{(s)})}$$ (2.11)

  
  

手順4

$t(j\vert e)$ が収束するまで，手順2と手順3を繰り返す