next up previous contents
次へ: 提案手法 上へ: 句に基づく統計翻訳における未知語処理の1手法 戻る: 背景および目的   目次

未知語

統計翻訳において,学習データが十分であっても,未知語が出力される場合がある. フレーズテーブル作成にgrow-diag-final-andを利用した翻訳において,未知語が出力された例を表5.1に示す.フレーズテーブルの作成方法および各ヒューリスティックの詳細については,2.5節に記述している.また,翻訳の際に利用されたアライメントを表5.2に示す.


表: 未知語の出力例
入力文 ライオン が 調教 師 に 歯向かっ た 。
参照文 The lion rose up against its trainer .
出力文 The lion 調教 turned against his teacher .


表: ベースラインのアライメント
日本語句 英語句
ライオン が The lion
調教 調教
に 歯向かっ turned against
his teacher
た 。 .

5.1において,``調教"が翻訳されず,未知語として出力されている.表5.1の翻訳で用いたフレーズテーブルの一部を表5.3に示す.


表: フレーズテーブル(grow-dial-final-and)の一部
日本語句 ライオン は 調教 師 に かみつい た 。
英語句 The lion bit his trainer the arm .
日本語句 調教 師 に かみつい た
英語句 bit his trainer the arm
日本語句 調教 師 は
英語句 The trainer
日本語句 調教 師 は ライオン を 飼い 馴らし た
英語句 The trainer tamed the lion .

5.3より,``調教"のアライメントは存在するが,grow-diag-fianl-andのヒューリステックを利用しているため,このフレーズテーブルに``調教"1単語に対応するフレーズは存在しない. 一方,intersectionを利用して作成したフレーズテーブルでは,``調教"の1単語に対応するフレーズが存在する.intersectionを用いたフレーズテーブルの例を表5.4に示す.


表: フレーズテーブル(intersection)の一部
日本語句 調教
英語句 The trainer
日本語句 調教
英語句 bit his trainer
日本語句 調教
英語句 his trainer
日本語句 調教
英語句 trainer


next up previous contents
次へ: 提案手法 上へ: 句に基づく統計翻訳における未知語処理の1手法 戻る: 背景および目的   目次
平成25年2月12日