パラメータチューニング

デコーダは，言語モデルや翻訳モデルに対して重みを与えることができる．例えば，言語モデルに対して高い重みを与えると，デコーダは言語モデルの確率$P(e)$ を重視した出力を行う．各モデルに与える重みをパラメータと呼ぶ． このパラメータを最適化するために，MERT(Minimum Error Rate Training)[4]という手法を用いる． MERTは，後述する自動評価法BLEU[5]のスコアが最大となる翻訳結果を出力するようにパラメータ $\hat{\lambda_{1}^{n}}$の調整を行う．$n$個のパラメータ $\hat{\lambda_{1}^{n}}$の最適化に用いる式を以下に示す．

$${\displaystyle \hat{\lambda_{1}^{n}}} = {arg\displaystyle \max_{\lambda_{1}^{n}} BLEU(smt(\lambda_{1}^{n}),e_{ref})}$$ (26)

ここで， $smt(\lambda)$ はパラメータ$\lambda$ が与えられたときの，デコーダの出力文である．また，$BLEU()$ はBLEUのスコアであり，デコーダの出力文と，入力文に対してあらかじめ用意された正解文$e_{ref}$ から計算される． なお，パラメータチューニングにおける入力文として，ディベロップメント文と呼ばれるデータを用いる． ディベロップメント文を用いて試し翻訳を行い，各文に対して上位N個の翻訳候補を出力する．そしてN個の中から，より自動評価値が高い翻訳候補が上位に来るようにパラメータに $\hat{\lambda_{1}^{n}}$最適化する．試し翻訳とパラメータの調整を繰り返すことで，パラメータチューニングを行う．