デコーダのパラメータの最適化

デコーダは言語モデルや翻訳モデルに対して重みを与えることができる．例えば， 言語モデルに対して高い重みを与え，翻訳モデルに低い重みを与えた場合，デコー ダは言語モデルの確率$P(e)$ を重視した出力を行う．しかし，各モデルに与える 重みを，決定することは難しい．そこで，Minimum Error Rate Training(MERT)[14]という手法を用いて重みの最適化を行う．MERTは後 述する自動評価法BLEUが最大となる翻訳結果が選ばれる重み $\hat{\lambda}$ を計算す る．$n$ 個の重みの最適化は以下の式で表せる．

$$\hat{\lambda_{1}^{n}} = \underset{\lambda_{1}^{n}}{argmax} BLEU(smt(\lambda_{1}^{n}),e_{ref})$$ (11)

ここで， $smt(\lambda)$ はパラメータ$\lambda$ が与えられたときの，デコーダ の出力文である．また，$BLEU()$ はBLEUのスコアであり，デコーダの出力文と，入 力文に対してあらかじめ用意された正解文$e_{ref}$ から計算される．重みの最 適化は，具体的には，以下の手順で行われる．

1. $\lambda$ に初期値を与える
2. $\lambda$ を用いてデコーディングを行い，確率の高い上位$N$ 文を出力する
3. 上位$N$ 文の中でBLEUスコアが高い文が上位にくるよう$\lambda$ を最適化 する
4. 重みが収束するまで2，3を繰り返す