人手評価

人手評価として，対比較評価がある． 対比較評価は，二つの文を相対的に比較して，どちらがより正しい文であるかを人手で選択する評価方法である． 二つの翻訳システムの出力で優劣を判断する場合に有効である．

対比較を行う例を表2.3に示す． 表2.3より，``手法A"と``手法B"を比較すると，正しい翻訳をしている文は``手法B"である． よって，この場合は評価者によって，表2.4の選択肢から``手法B○"が選択される． また，``手法A"と``手法B"の対比較評価を100文に対して行った場合の結果の例を表2.5に示す．表2.5では``手法B"が優れていると見て取ることができる．

また，人手評価は評価者によって評価に差が出てくる可能性がある． しかし，表2.3のように正解文を用意しておき，参照して対比較評価を行うことで，信頼性を高める．

表: 対比較例評価出力例

例1
入力文	これ は 卒業 論文 です 。
正解文	This is a graduation thesis.
手法A	This is a student yearbook.
手法B	This is a thesis of graduation.

表: 対比較評価基準例

手法A○	手法Aの方が良い
手法B○	手法Bの方が良い
差なし	手法Aと手法Bの出力文の単語対応や伝わる意味に差がない
一致	手法Aと手法Bの出力文が完全一致

表: 対比較評価結果例

=8pt