従来手法の出力において, 未知語を含んでいた文章における提案手法の評価

入力文において, 従来手法で翻訳を行った際に出力文に日本語が含まれていた文に着目し, 本手法の未知語処理における有用性を検証する. 人手評価の結果を表5.10に示す. 表5.11に○と判断した出力の具体例を示す.

表: 人手評価の結果

○	△	$\times$
10	32	2

表: 〇の出力例

入力文

彼 は 麻薬 所持 の 疑い で 検挙 さ れ た 。

参照文

He was arrested for having drugs .

従来手法

He was arrested on suspicion of 麻薬 所持 .

提案手法

He was arrested on suspicion of accepting drugs .

表4.6と比較すると, 評価$\times$の出力文は2文まで大きく減少している. したがって, 未知語処理における本手法の有用性が証明された. また, 本手法で正しい出力がされない文章は従来手法の出力で日本語を含まない文章に多いことがわかる. つまり, 未知語が存在しない文章の翻訳の際に本手法は精度が低くなる.

以上より, 事前に未知語出力用変換テーブルを作成するのではなく, 予め従来手法で翻訳を行った後, 翻訳できなかった部分のみを取り出してNMTによって翻訳を行うという手法ならば精度が向上すると考えられる.