N-gramモデル

言語モデルの代表的なモデルとしてN-gramモデルがある．このN-gramモデルとは1次元の単語列 における 番目の単語の生起確率はの直前の単語に依 存するモデルであり，以下の式で表現される．

$$P(w_1^n) = P(c_1) \times P(c_2\vert c_1) \times P(c_3\vert c_1c_2) \cdots$$ (3.23)

$$= \prod^n_{i=1} P(w_i \vert c_1 c_2 c_3 \cdots c_{i-1})$$ (3.24)

$$\simeq \prod^n_{i=1} P(w_i \vert w_{i-N+1},w_{i-N+2}, \cdots ,w_{i-1})$$ (3.25)

``She is cute.''という英語文に対するとした2-gramモデルの 例を以下に示す．

$$P(e = She\ is\ cute\ .) \simeq P(She)P(is\vert She)P(cute\vert is)P(.\vert cute)$$ (3.26)

3-gramモデルであれば ，4-gramモデルであれば となる．また，のモデルをuni-gram，のモデルを bi-gram，のモデルをtri-gramと特有の呼びかたをする．以 上は4-gramなど数値を用いて呼ぶ．一般的にtri-gramの精度が高いとされている． (3.9)式を最尤推定により求めると以下の式となる．

$$P(w_n\vert w_{n-N+1}^{n-1}) = \frac{C(w_{n-N+1}^n)}{C(w_{n-N+1}^{n-1})}$$ (3.27)

この(3.27)式から信頼性の高い値を推定するためには単語列が 多く出現している必要がある．しかし実際には多くの単語列は出現数がと なることが多いため信頼できる値を推定できない場合が多い．したがって，スムー ジングを行う．スムージングとは生起確率がとなるのを防ぐために，大きい確 率値を小さく，小さい確率値を大きくし，確率値の平滑化する手法であり，代表 的な手法にバックオフスムージングがある．バックオフスムージングでは学習デー タに出現しないN-gramを-gramの値から推定を行う．tri-gram の場合には確率が以下の式で推定される．

$$P(w_n\vert w_{n-2}^{n-1}) = \left\{ \begin{array}{ll} \lambda(w_{... ...n-1}) > 0\)}\\ P(w_n\vert w_{n-1}) & \mbox{otherwise}\\ \end{array}\right .$$ (3.28)

はディスカウントと呼ばれる係数であり，出現しないN-gram に対して確率を付与するために，-gramから確率を推定する役割を持つ． は確率の和をにするための正規化係数である． ディスカウント係数を求める方法は多数存在する．例として，``-ndiscount''や ``-kndiscount''や``-ukndiscount''などがある．

N-gramモデルは局所的な情報であり，少ない文法情報しか保持できない． したがって，文法構造が似ている言語間では，部分的な翻訳で十分な翻訳文が生 成でき，翻訳精度が高い傾向がある．また，日本語と英語のような文法構造の異 なる言語間では特異な文が生成される場合があり翻訳精度が低下する傾向がある．