next up previous contents
Next: 翻訳モデル Up: 統計翻訳 Previous: 単語に基づく統計翻訳   Contents

言語モデル

言語モデルは,単語列の生成確率を付与するモデルである.日英翻訳では,翻訳モデルを用いて生成された翻訳候補から,英語として自然な文を選出するために用いる.統計翻訳では一般的に,12#12-gram モデルを用いる.12#12-gramモデルとは``単語列 13#13 の 14#14 番目の単語 15#15 の生起確率 16#16 は直前の(17#17)の単語列 18#18に依存する''という仮説に基づくモデルである.単語列19#19の生起確率 20#20 の計算式を以下に示す.


21#21 5#5 22#22 (3)
  7#7 23#23 (4)
  5#5 24#24 (5)

また, 25#25 は以下の式で計算される.ここで 26#26 は単語列 27#27 が出現する頻度を表す.



28#28     (6)



Hiroto Yasuba 2019-05-08