パラメータチューニング

デコーダは, 言語モデルや翻訳モデルに対して重みを与えることができる．例えば，言語モデルに対して高い重みを与えると，デコーダは言語モデルの確率$P(e)$ を重視した出力を行う．各モデルに与える重みをパラメータと呼ぶ． このパラメータを最適化するため，MERT(Minimum Error Rate Training)[7]という手法を用いる． MERTは，後述する自動評価法BLEUのスコアが最大となる翻訳結果を出力するようにパラメータ $\hat{\lambda_{1}^{n}}$ の調整を行う．$n$ 個のパラメータ $\hat{\lambda_{1}^{n}}$ の最適化に用いる式を以下に示す．

$${\displaystyle \hat{\lambda_{1}^{n}}} = {arg\displaystyle \max_{\lambda_{1}^{n}} {\mathrm {BLEU}}(smt(\lambda_{1}^{n}),{\mathrm {e_{ref}}})}$$ (2.27)

ここで， $smt(\lambda)$ はパラメータ$\lambda$ が与えられたときの，デコーダの出力文である．また， ${\mathrm {BLEU}}()$ はBLEUのスコアであり，デコーダの出力文と，入力文に対してあらかじめ用意された正解文$e_{ref}$ から計算される． なお，パラメータチューニングにおける入力文として，ディベロップメント文と呼ばれるデータを用いる． ディベロップメント文を試し翻訳し，各文に対して上位$N$ 個の翻訳候補を出力する．そして$N$ 個の中から，より自動評価値が高い翻訳候補が上位に来るようにパラメータ $\hat{\lambda_{1}^{n}}$ を最適化する．試し翻訳とパラメータの調整を繰り返すことで，パラメータチューニングを行う．