人手評価

人手評価として，対比較評価がある． 対比較評価は，二つの文を相対的に比較して，どちらがより正しい文であるかを人手で選択する評価方法である． 二つの翻訳システムの出力で優劣を判断する場合に有効である．

対比較を行う例を表3.1に示す． 日本語の入力文に対し手法Aと手法Bで日英翻訳を行う場合を考える． 手法Aと手法Bを比較すると，正しい翻訳をしている文は手法Bである． この場合，評価者によって，表3.2の選択肢から「手法B○」が選択される．

人手評価は評価者によって評価に差が出てくる可能性がある． しかし，正解文を用意しておき，参照して対比較評価を行うことで，信頼性を高める．

表: 対比較例評価出力例1

例1
入力文	これ は 卒業 論文 です 。
正解文	This is a graduation thesis.
手法A	This is a student yearbook.
手法B	This is a thesis of graduation.

表: 対比較評価基準例2

手法A○	手法Aの方が良い
手法B○	手法Bの方が良い
差なし	手法Aと手法Bの出力文の単語対応や伝わる意味に差がない
同一出力	手法Aと手法Bの出力文が完全一致