next up previous contents
Next: Pattern Based SMT Up: 従来の研究 Previous: 言語モデル   目次

デコーダ

デコーダは,翻訳モデルと言語モデルを用いて,確率が最大となる翻訳候補を探索し,出力を行う変換器のことである.代表的なデコーダとして,``Moses'' [5]がある.

日英統計翻訳において, $ argmax_eP(e\vert j)P(j)$ の確率が最大となる英語文を出力 するために,適切な順序で日本語と英語の単語対応を得る必要がある.しかし, 適切な日本語文を決定するためには,計算量が膨大となり,かつ莫大な時間が必 要となる.そこで計算量を削減するために,ビームサーチ法を用いる.

ビームサーチ法とは,翻訳候補の探索において,翻訳確率の低い翻訳候補を枝刈 りし,探索範囲を減退する方法である.探索領域の中で一定の確率以上の翻訳候 補のみを残し,それ以外の翻訳候補は除外する.

ただし,ビームサーチ法は,切り捨てられた翻訳候補が文章全体で見たときに, 最大の確率を持つ翻訳候補であったという可能性がある.そのため選択した翻訳 文が最適解であるとは限らないという問題がある.



2015-03-21