言語モデルの概要

言語モデルは，単語列や文字列に対して，それらが起こる確率を与えるモデルである．日英統計翻訳においては，より英語らしい翻訳候補に対して高い確率を与えることにより，翻訳候補から英語として自然な文を選出する．言語モデルの例を下記に示す．

言語モデルの例

-2.136928 many books -0.09209893
-1.276793 many people -0.142345
-2.582711 many points -0.124561
-2.138576 many questions -0.2320607
…

一番上の行は，左から，manyの後にbooksが来る確率を常用対数$log_{10}$で表した値 $log_{10}(P(books\vert many))$，2-gramで表された単語列many books，バックオフスムージングにより，manyの後にbooksが来る確率を常用対数$log_{10}$で表した値 $log_{10}(P(books\vert many))$である．バックオフスムージングについては，第2.4.3章にて述べる．