問題点

先行研究は，人手評価と自動評価に差があると報告した． 人手評価は，参照文を必ずしも必要とせず，文全体に対し，重要な単語の意味や文法が正しいか評価を行う． 一方，自動評価は，参照文を必ず必要とし，単語または単語列に対し，出力文と参照文を比較して一致する割合で評価を行う．

表4.4の例文で，人手評価と自動評価にどのように差が生じるか解説する．

=3pt

表: 例文

入力文	ホラー映画を見るのは楽しくありません。
出力文	It is fun to see the horror movie .
参照文	It is not fun to watch the horror movie .

表4.4において，人手評価は，入力文と出力文を比較する．出力文の意味は，``ホラー映画を見るのは楽しいです。"であり，入力文の``ホラー映画を見るのは楽しくありません。"と意味が逆転しているので，評価は低い．

一方，表4.4において，自動評価は，出力文と参照文を比較する．その時，出力文と参照文の，アンダーラインが引かれている``It is"，``fun to"，``the horror movie ."を比較し，文の大部分が一致しているので，評価は高い．

よって，人手評価と自動評価に差が生じる．