パラメータチューニング

デコーダは言語モデルや翻訳モデルに対して重みを与えることができる．例えば，言語モデルに対して高い重みを与え，翻訳モデルに低い重みを与えた場合，デコーダは言語モデルの確率P(e)を重視した翻訳を行う．しかし，各モデルに与える重みを，決定することは難しい．そこで，それぞれのパラメータに対して，パラメータチューニングを行う．パラメータチュ−ニングには，Minimum Error Rate Training(MERT)[15]を用いることが一般的である．MERTは目的の評価関数を最大とするような翻訳結果が選ばれるように，パラメータを調整する．その際，developmentデータと呼ばれる，試し翻訳を行うデータを与え，各文について上位100個程度の翻訳候補を出力し，その候補の中で重みを変え，より良い翻訳候補が上位にくるようにパラメータを調整する．MERTは後述する自動評価法BLEUが最大となる翻訳結果が選ばれる重み 110#110 を計算する．n個のパラメータの最適化は2.25式で表せる．

111#111 (2.25)

ここで，smt(112#112 )はパラメータ112#112 が与えられたときの，デコーダの出力文である．また，BLEU()はBLEUのスコアであり，デコーダの出力文と，入力文に対してあらかじめ用意された正解文 113#113 から計算される．重みの最適化は，具体的には以下の手順で行われる．

手順1

112#112 に初期値を与える．

手順2

112#112 を用いてデコーディングを行い，確率の高い上位N文を出力する．

手順3

上位N文の中でBLEUスコアが高い文が上位にくるよう112#112 を最適化する．

手順4

重みが収束するまで，手順2，手順3を繰り返す．