未知語

統計翻訳において，学習データが十分であっても，未知語が出力される場合がある． フレーズテーブル作成にgrow-diag-final-andを利用した翻訳において，未知語が出力された例を表5.1に示す．フレーズテーブルの作成方法および各ヒューリスティックの詳細については，2.5節に記述している．また，翻訳の際に利用されたアライメントを表5.2に示す．

表: 未知語の出力例

入力文	ライオン が 調教 師 に 歯向かっ た 。
参照文	The lion rose up against its trainer .
出力文	The lion 調教 turned against his teacher .

表: ベースラインのアライメント

日本語句	英語句
ライオン が	The lion
調教	調教
に 歯向かっ	turned against
師	his teacher
た 。	.

表5.1において，``調教"が翻訳されず，未知語として出力されている．表5.1の翻訳で用いたフレーズテーブルの一部を表5.3に示す．

表: フレーズテーブル(grow-dial-final-and)の一部

日本語句	ライオン は 調教 師 に かみつい た 。
英語句	The lion bit his trainer the arm .
日本語句	調教 師 に かみつい た
英語句	bit his trainer the arm
日本語句	調教 師 は
英語句	The trainer
日本語句	調教 師 は ライオン を 飼い 馴らし た
英語句	The trainer tamed the lion .

表5.3より，``調教"のアライメントは存在するが，grow-diag-fianl-andのヒューリステックを利用しているため，このフレーズテーブルに``調教"１単語に対応するフレーズは存在しない． 一方，intersectionを利用して作成したフレーズテーブルでは，``調教"の１単語に対応するフレーズが存在する．intersectionを用いたフレーズテーブルの例を表5.4に示す．

表: フレーズテーブル(intersection)の一部

日本語句	調教
英語句	The trainer
日本語句	調教
英語句	bit his trainer
日本語句	調教
英語句	his trainer
日本語句	調教
英語句	trainer