言語モデルの概要

言語モデルは，単語列や文字列に対して，それらが起こる確率を与えるモデルである．日英統計翻訳においては，より英語らしい翻訳候補に対して高い確率を与えることにより，翻訳候補から英語として自然な文を選出する．言語モデルの例を下記に示す．

言語モデルの例

-2.210231 American family -0.1563026
-1.961283 American football -0.06711379
-0.6271492 Americans . 3.252243
-0.7939654 Aomori . 3.678212
-0.8880116 Article 15 -0.1335633
-0.9993331 Asia and -0.1789583
-1.696126 Asian affairs 0.01086971
-0.9044766 Asian countries -0.006818749
-1.696126 Asian markets -0.1379688
…

一番上の行は，左から，Americanの後にfamilyが来る確率を常用対数$log_{10}$で表した値 $log_{10}(P(family\vert American))$，2-gramで表された単語列American family，バックオフスムージングにより，Americanの後にfamilyが来る確率を常用対数$log_{10}$で表した値 $log_{10}(P(family\vert American))$である．バックオフスムージングについては，第2.4.3章にて述べる．