$N$-gramモデル

言語モデルは，$N$-gramモデルが代表的である．$N$-gramモデルは，``単語列$w_{1}^{n}$= $w_{1},w_{2},...,w_{n}$のi番めの単語$w_{i}$の生起確率$P(w_{i})$は直前の($N$ - 1)単語に依存する''という仮説に基づくモデルである．単語列 $w_{1}w{2}...w{n}$の確率を $P(w_{1}w_{2}...w{n})$とすると，(2.18)の計算式を表現することが可能である．

$$P(w_{1}w_{2}...w_{n})= \prod_{i-1}^{n}P(w_{i}\vert w_{i-N+1},w_{i-N+2},...,w_{i-1})$$ (2.18)

例えば，「I am a sturdent .」という文字列に対する2-gramモデルを以下に示す．

$$P(e = \lq\lq I \ am \ a \ student \ .'') \approx P(I) P(am\vert I) P(a\vert am) P(student\vert a) P(.\vert student)$$

3-gramモデルであれば$P(a\vert I \ am)$，4-gramモデルであれば $P(student\vert I \ am \ a)$というように，(N - 1)単語の次にくる単語が「a」，「student」である確率を考える．

しかし，$N$-gramモデルは局所的な情報であり，文法構造の情報を持たない．例えば日英統計翻訳のような異なる文法構造間の翻訳は，日本語から英語へ文法構造が変化するため，同じ文法構造間の翻訳と比較して，翻訳精度が低下する傾向となる．