本研究における自動評価と人手評価の差

本研究では，主語省略文に対する翻訳を評価する必要がある．主語省略文に対する翻訳において，自動評価では，出力文の主語と正解文の主語が一致しない場合，翻訳精度が低くなる．よって，本研究において，自動評価結果は実際の翻訳精度よりも低くなる．表2.6に例を示す．

表: 主語不一致の文例

入力文	昼食 を たっぷり 取っ た 。
正解文	I had a big lunch .
出力文	He had a big lunch .
出力文のBLEU値	0.7598

一方，人手評価では，入力文が主語に関する情報を含まない場合，提案手法の出力文の主語と正解文の主語の不一致を無視して評価を行っている．