言語モデル

言語モデルは，単語または単語列に対して，生成確率を付与するモデルである． 日英翻訳では，言語モデルを用いることで，生成された翻訳候補から英語を選出する． 統計翻訳では一般に，22#22-gramモデルを用いる． 22#22-gramモデルの例を表に示す．なお，表は，2-gram(2単語間)である．

表: 22#22-gramモデルの例

-1.782704 13#13 I am 13#13 -0.04873917

-1.610493 13#13 that is 13#13 -0.01120672

-2.346281 13#13 train goes 13#13 -0.09572452

-1.868116 13#13 woman and 13#13 -0.1343922

表において，一番上の行は，左から， ``I"の後に``am"が続く確率を常用対数で表した値 `` 23#23"， 2-gramで表現された単語列``I am"， バックオフスムージングにより推定された``I"の後に``am"が続く確率を常用対数で表した値 `` 24#24"である．

またバックオフスムージングとは，高次の22#22-gramの値が存在しない場合， 低次の22#22-gramの値から推定する手法である．この低次の確率を改良したスムージングの手法が， Kneser-Neyスムージングである．言語モデルの22#22-gramの作成においては， 一般的にKneser-Neyスムージングが用いられる．