デコーダ

デコーダは, 翻訳モデルと言語モデルを用いて, 確率が最大となる翻訳候補を探索し, 出力を行う変換器のことである．代表的なデコーダとして, “Moses” [13]がある．

入力文として “She is a teacher .” が与えられたときの翻訳例を図2.2に示す．

図: デコーダの動作例

日英統計翻訳において, $argmax_eP(e\vert j)P(j)$の確率が最大となる英語文を出力 するために, 適切な順序で日本語と英語の単語対応を得る必要がある．しかし, 適切な日本語文を決定するためには, 計算量が膨大となり, かつ莫大な時間が必 要となる．そこで計算量を削減するために, ビームサーチ法を用いる．

ビームサーチ法とは, 翻訳候補の探索において, 翻訳確率の低い翻訳候補を枝刈 りし, 探索範囲を減退する方法である．探索領域の中で一定の確率以上の翻訳候 補のみを残し, それ以外の翻訳候補は除外する．

ただし, ビームサーチ法は, 切り捨てられた翻訳候補が文章全体で見たときに, 最大の確率を持つ翻訳候補であったという可能性がある．そのため選択した翻訳 文が最適解であるとは限らないという問題がある．