単語に基づく統計翻訳の問題点

以下に,IBM翻訳モデルを用いて得た英日方向における単語対応の例と,日英方向における単語対応の例を示す.また,●は単語が対応した箇所を示す.


表: 英日方向の単語対応
  He went to kyoto on business
彼 ●          
は            
仕事           ●
で         ●  
京都       ●    
に            
行っ   ●        
た            


表: 日英方向の単語対応
  He went to kyoto on business
彼 ●          
は     ●      
仕事           ●
で         ●  
京都       ●    
に   ●     ●  
行っ   ●        
た   ●        

表2.1は日本語単語 “は” と “に” と “た”に対応する英単語が存在しない.一方で,表2.2は全ての単語に対して対応がとれている.単語に基づく統計翻訳は対応する単語が存在しない場合,何も無い状態から単語の発生確率を計算する.このため単語翻訳確率の信頼性が問題となっている.よって現在句に基づく統計翻訳が行われている.