人手評価法

本研究では，人手による評価として，対比較評価を用いる．対比較評価では，``入力文"，``正解文"，``調査対象手法の出力文"，``ベースラインの出力文"が与えられ，調査対象手法の出力文とベースラインの出力文の比較を行う．自動評価は正解文に近い文の評価が高い．一方で，人手評価は入力文に対する翻訳文として確からしい文の評価を行う．そのため，自動評価と比較して評価の精度が高いと考えている．