言語モデル

言語モデルは，単語列が生じる確率を付与するモデルである．翻訳モデルで生成された翻訳候補から英語として自然な文を選出する．言語モデルは，単言語コーパスから学習される．統計翻訳において，言語モデルは通常，$N$ -gramモデルが用いられる．N-gramモデルは，``単語列 $P(W_{1}^n) = w_{1},w_{2},...,w_{n}$ のi番目の単語$w_{i}$ の生起確率$P(w_{i})$ は直前の単語列 $w_{i-(N-1)},w_{i-(N-2)},...,w_{i-1}$ に依存する''，という仮説に基づくモデルである．以下に計算式を示す．

$$P(W_{1}^n) = \prod^{n}_{i=1} P(w_{i} \mid w^{i-1}_{i-(N-1)})$$ (25)

また， $P(w_{i} \mid w^{i-1}_{i-(N-1)})$ の計算には，以下の式を用いる．なお，$C()$ は単語列の出現数である．

$$P(w_{i} \mid w^{i-1}_{i-(N-1)}) = \frac{C(w^{i}_{i-(N-1)})}{C(w^{i-1}_{i-(N-1)})}$$ (26)

表10に，言語モデルの例を示す．表10の言語モデルは，2-gram(2単語間)のものである．

表: 言語モデルの例

-2.041488 He is -0.000405

-2.804095 He had -0.006078

-2.895682 He made 0.001770

一番上の例に関して，左から，``He"のあとに``is"がくる確率を常用対数で表した値`` $log_{10}(P(is\ \vert\ He))=-2.041488$ ''，2-gramで表された単語列``He is"，バックオフスムージングで推定された，``He"の後に``is"がくる確率を常用対数で表した値`` $log_{10}(P(is\ \vert\ He))=-0.000405$ ''である． ここで，バックオフスムージングとは，高次の$N$ -gramが存在しない場合，低次の$N$ -gramを用いる手法である．この低次の確率を改良したスムージングの手法が，Kneser-Neyスムージングである．言語モデルにおける$N$ -gram作成には，一般的にKneser-Neyスムージングが用いられている．