next up previous contents
Next: パターンに基づく統計翻訳2.3 Up: 単語に基づく統計翻訳 2.2 Previous: 言語モデル   目次

デコーダ

デコーダは,翻訳モデルと言語モデルを用いて,確率が最大となる翻訳候補を探索し,出力を行う変換器のことである.代表的なデコーダとして,``Moses'' [5]がある.

英日統計翻訳において, $argmax_eP(e\vert j)P(j)$の確率が最大となる日本語文を出力するために,適切な順序で英語と日本語の単語対応を得る必要がある.しかし,適切な英語文を決定するためには,計算量が膨大となり,かつ莫大な時間が必要となる.そこで計算量を削減するために,ビームサーチ法を用いる.

ビームサーチ法とは,翻訳候補の探索において,翻訳確率の低い翻訳候補を枝刈りし,探索範囲を減退する方法である.探索領域の中で一定の確率以上の翻訳候補のみを残し,それ以外の翻訳候補は除外する.

ただし,ビームサーチ法は,切り捨てられた翻訳候補が文章全体で見たときに,最大の確率を持つ翻訳候補であったという可能性がある.そのため選択した翻訳文が最適解であるとは限らないという問題がある.



2018-03-06