未知語の影響

人手評価において，未知語の影響により，翻訳品質が低下している文が多かった． よって，各翻訳システムの出力文において，未知語が含まれる文数を調査した． 結果を表に示す．また例を表に示す．

=3pt

表: 未知語の含む文の数

ルールベース翻訳	ハイブリッド翻訳	句に基づく統計翻訳	階層型統計翻訳
307	433	3079	2889

=0pt

表: 動詞の誤訳の例2

入力文	このページはインキがにじんでいた。
ルールベース翻訳	As for this page, ike was blurred .
句に基づく統計翻訳	The インキ にじん in this page .

表より，句に基づく統計翻訳と階層型統計翻訳は他の2つのシステムに比べて， 未知語を含んでいる文が2400文以上多く出力されている． 一方，ルールベース翻訳とハイブリッド翻訳の比較では，未知語を含んでいる文の差は100文程度しかなく， 大きな差異はみられない．しかし，ルールベース翻訳とハイブリッド翻訳の対比較評価では大きな差異が存在している． したがって，自動評価の問題として，未知語以外に原因があると考えている．