言語モデル

言語モデルは単語の列，文字の列が起こる確率を与えるモデルである．日英翻訳では，より英語らしい文に対して，高い確率を与えることで，翻訳モデルで翻訳された訳文候補の中から英語として自然な文を選出する．

代表的な言語モデルにN-gramがある．N-gramは``単語の列 83#83 のi番目の単語84#84 の生起確率85#85 は直前の86#86 単語に依存する''， という仮説に基づくモデルである．計算式を2.21式に示す．

87#87 (2.21)

例えば，「I eat dinner.」という文字の列に対する2-gramモデルは以下のようになる．

88#88 6#6 89#89

3-gramであれば，「I eat」という2単語の次にくる単語が「dinner」である確率 を考える．なお，学習文に表れないN単語連鎖を確率0として，N-gramモデルを作成すると，性能が悪化する．よって，N-gramモデルはスムージング手法によって0でない確率を割り当てで作成する．代表的なスムージング手法として，バックオフスムージングがある．バックオフスムージングは，高次のN-gramが存在しない場合，低次のN-gramで代用する．この代用する低次の確率を改良した手法が，Kneser-Neyスムージングである．言語モデルにおけるN-gramの作成には一般にKneser-Neyスムージングが用いられている．3gramの例を2.22式に示し，言語モデルの例を表2.4に示す．

90#90 (2.22)

ここで，91#91 をディスカウント係数，92#92 をバックオフ係数と呼ぶ．

表: 言語モデルの例

-1.557193 Because of

-1.92458 absence from

-0.8959993 account for

例えば，1番目の行は 93#93 を意味している．

言語モデルの学習に用いた英文の例を2.5に示し，各スムージングのパラメータを用いたときの，2-gramまでの範囲で作成した言語モデルの例を表2.6に示す．

表: 言語モデル作成に用いた英文の例

Faith can movemountains .

Please move over more to the right .

His way of thinking goes too far .

She has learned a good deal of literature .

A computer employs the two digits of the binary system .

As you know , the Hong Kong Textile Show falls on April 24 .

表: スムージングパラメータ別の言語モデルの例

パラメータukndiscountを用いた場合の例

-3.202558 the boy

-2.963157 the child

-2.298372 at all

パラメータkndiscountを用いた場合の例

-3.179705 the boy

-2.978517 the child

-2.283957 at all

パラメータndiscountを用いた場合の例

-3.068275 the boy

-3.068275 the child

-1.493827 at all

デフォルトのパラメータ(Good-Tuning-discounting)を用いた場合の例

-3.385125 the boy

-3.385125 the child

-2.405329 at all