next up previous contents
次へ: -gramモデル 上へ: 言語モデル 戻る: 言語モデル   目次

言語モデルの概要

言語モデルは単語列の生じる確率を与えるモデルである.日英機械翻訳では翻訳 候補から英語として尤もらしい文を選出する.統計翻訳では,一般に,$N$-gram モデルを用いる.図2.3に言語モデルの例を示す.
図 2.3: 2-gramの例
\begin{figure}\centering
\begin{tabular}{\vert lcl\vert}
\hline
-2.321799&about ...
...-0.1131216\\
-1.923688&about to&-0.0686989\\
\hline
\end{tabular}
\end{figure}

2.3において,1列目が単語の連鎖確率を常用対数で表したもの,2列 目が連鎖する単語,3列目がバックオフスムージングで推定した単語の連鎖確率 である.バックオフスムージングについては,2.3.2.2節で述べる.


平成24年3月30日