言語モデル

言語モデルは，目的言語の単語列に対して，それらが起こる確率を与えるモデ ルである．日英翻訳では，より英語らしい文に対して高い確率を与えること で，翻訳モデルで翻訳された訳文候補の中から英語として自然な文を選出す る．言語モデルとしては$N$ -gramモデルが代表的である．

尚，学習データに表れない単語連鎖確率値を0.0とすると，テストデータにおい て，目的言語の全ての単語列の確率が0.0になって，単語列が出力されないこと がある．そのため，学習データに存在しない単語連鎖確率は，スムージングに よって0.0以外の確率を割り当てる．代表的なスムージング法として，Backoff やKneser-Neyがある．これらは高次の$N$ -gramに，低次の$N$ -gramと閾値を掛 けて利用する．