next up previous contents
次へ: ビームサーチ法 上へ: 統計翻訳システム 戻る: 歪みペナルティ   目次

デコーダ

デコーダは翻訳モデルと言語モデルの確率が最大となる出力文を探索し,出力する.入力文として,「言語はコミュニケーションの道具である」を与えた場合の探索の例を図2.10に示す.

図: 入力文「言語はコミュニケーションの道具である」の探索例
107#107

デコーダは全く翻訳されていない空の初期仮説から探索を始める.そして,ある仮説において1つのフレーズを選択し,翻訳モデルのフレーズ対を用いて,新しい仮説を作り,そのステップを繰り返す.このとき,翻訳候補の確率を計算し,その翻訳候補のスコアとする.1つのフレーズの選択では,原言語の文で未選択の単語列から語の部分文の文末側に加えていく.仮説は優先順位つきキューで管理し,原言語の文の全ての単語を選択したら探索は終了する.

しかし,文が長くなると,用いるフレーズ対の組み合わせは膨大な数になる.そのため,全ての翻訳候補を探索し,最適な出力文を決定することは困難である.そこで,現在,計算量を減らす手法として,ビームサーチ法とマルチスタック法を組み合わせた手法が一般的に用いられている.

代表的なデコーダにmoses[7]がある.mosesはいくつかのパラメータを設定することができる.


Subsections

平成24年3月23日