翻訳モデルの概要

翻訳モデルは，日本語の単語列から英語の単語列へと確率的に翻訳を行うためのモデルである．句に基づく翻訳モデルは，IBM翻訳モデル[5]を用いたGIZA++[6]から生成され，以下に示すフレーズテーブルという句の表により管理される．

フレーズテーブルの例

０ $\vert\vert\vert$ , $\vert\vert\vert$ (0) $\vert\vert\vert$ (0) $\vert\vert\vert$ 0.000963391 0.0017823 0.0196078 0.0047559 2.718
０ $\vert\vert\vert$ 10 $\vert\vert\vert$ (0) $\vert\vert\vert$ (0) $\vert\vert\vert$ 0.0540541 0.350932 0.117647 0.0358275 2.718
０ $\vert\vert\vert$ 100 $\vert\vert\vert$ (0) $\vert\vert\vert$ (0) $\vert\vert\vert$ 0.0555556 0.512 0.0588235 0.0405834 2.718
０ $\vert\vert\vert$ 20 $\vert\vert\vert$ (0) $\vert\vert\vert$ (0) $\vert\vert\vert$ 0.0114943 0.306818 0.0196078 0.0256817 2.718
１ ０ $\vert\vert\vert$ 10 $\vert\vert\vert$ (0) (0) $\vert\vert\vert$ (0,1) $\vert\vert\vert$ 0.679245 0.118474 0.257143 0.0346384 2.718　
１ ０ $\vert\vert\vert$ 10th $\vert\vert\vert$ (0) (0) $\vert\vert\vert$ (0,1) $\vert\vert\vert$ 0.5 0.0355998 0.00357143 0.00298755 2.718
１ ０ $\vert\vert\vert$ Ten $\vert\vert\vert$ (0) (0) $\vert\vert\vert$ (0,1) $\vert\vert\vert$ 0.375 0.120536 0.0107143 0.00585105 2.718
１ ０ $\vert\vert\vert$ ten $\vert\vert\vert$ (0) (0) $\vert\vert\vert$ (0,1) $\vert\vert\vert$ 0.685841 0.18536 0.576208 0.0733759 2.718
…

左から，日本語フレーズ，英語フレーズ，日英方向のフレーズ内単語対応，英日方向のフレーズ内単語対応，そして，フレーズ対応の確率値5つである．確率値は，左から，英日方向の翻訳確率，英日方向の単語の翻訳確率の積(IBM翻訳モデル)，日英方向の翻訳確率，日英方向の単語の翻訳確率の積(IBM翻訳モデル)，そして，フレーズペナルティ(値は常に自然対数の底$e$ = 2.718)である．
フレーズテーブルを生成する際，フレーズ内の単語の数を制限するものとして，max-phrase-length(Maximum Phrase Length)が定義されている．例として，max-phrase-lengthが10の場合，日英方向または英日方向の単語列の長さが11以上のフレーズは生成されない．max-phrase-lengthでフレーズ内の単語を制限することで，翻訳精度を向上する場合がある．