提案手法の翻訳精度に関するまとめ

今回の実験では，自動評価では提案手法はMosesより翻訳精度が低かった．人手評価では提案手法の方がMosesより翻訳精度が高かった．自動評価は参照文の一致度合いを利用して，翻訳精度を計算する．そのため，評価値が低下した原因は翻訳精度が低下したためではない可能性がある．出力文中に目的言語以外の単語を出力したため評価値が低下したとも考えられる．自然言語では表現の曖昧性や多様性が存在するため，一つの参照文に基づいた自動評価結果は信頼性が低い．一方，人手評価は評価者が表現の曖昧性や多様性を考慮するため，この問題が少ない．

このような点も考慮した．第I部で，未知語を出力しないTDSMTはmosesと同等の翻訳精度であった．しかし，未知語を出力するTDSMTでは翻訳精度は向上し，mosesを上回る翻訳精度となったとかんがえられる．