next up previous contents
Next: 人手評価 Up: 自動評価 Previous: 自動評価法   Contents

自動評価結果

提案手法で出力可能であった入力文606文で翻訳実験を行った.提案手法とmosesの出力文に対して,自動評価を行った.結果を6.2.1に示す.
Table 6.1: 提案手法とMosesの自動評価結果
手法 BLEU[10] METEOR[11] RIBES[12]
moses 0.191 0.477 0.739
提案手法 0.105 0.354 0.666

6.2.1により,すべての評価値で提案手法はmosesより翻訳精度が低かった.mosesと比較して,提案手法は未知語として,出力文に原言語単語を出力する割合が高い.自動評価では参照文と一致度合いのみで評価を行うため,未知語が多い提案手法の方が評価値が下がったと考えている.



Hiroto Yasuba 2019-05-08