単語に基づく統計翻訳の問題点

以下に, IBM翻訳モデルを用いて得た英日方向における単語対応の例と, 日英方向における単語対応の例を示す．また, ●は単語が対応した箇所を示す．

表: 英日方向の単語対応

	He	went	to	kyoto	on	business
彼	●
は
仕事						●
で					●
京都				●
に
行っ		●
た

表: 日英方向の単語対応

	He	went	to	kyoto	on	business
彼	●
は			●
仕事						●
で					●
京都				●
に		●			●
行っ		●
た		●

表2.1は日本語単語 “は” と “に” と “た”に対応する英単語が存在しない．一方で, 表2.2は全ての単語に対して対応がとれている．単語に基づく統計翻訳は対応する単語が存在しない場合, 何も無い状態から単語の発生確率を計算する．このため単語翻訳確率の信頼性が問題となっている．よって現在句に基づく統計翻訳が行われている．