人手評価

人手評価は，翻訳結果を人手で判断し，評価を行う方法である．人手評価は，文法や意味の正確な評価が可能であり，信頼性が高い.しかし人手評価には，時間や人件費などのコストが大きい．よって，大量の文の評価は極めて困難である．
人手評価には，翻訳の適切性と流暢性を評価する方法や，2文の翻訳間で翻訳精度の優劣を判断する対比較評価がある．本研究では，評価者が異なる場合でも，同様の評価結果となることが多い，対比較評価を行う．対比較評価における評価例を表2.4と表2.5に示す．

表: 対比較評価の例1

入力文	私 は 山 に 登っ た 。
正解文	I climbed a mountain .
出力文1	I climbed the mountain .
出力文2	I to the mountain .

表2.4の例では，出力文1は適切に翻訳している．一方，出力文2は，動詞を出力していない．よって，出力文2よりも出力文1のほうが翻訳精度が優れていると判断する．

表: 対比較評価の例2

入力文	彼 は 仕事 で 京都 へ 行っ た 。
正解文	He went to Kyoto on business .
出力文1	He went to the .
出力文2	He went work to .

表2.5の例では，出力文1と出力文2の両方は，適切な翻訳ではない．よって，出力文1と出力文2は，翻訳精度に差がないと判断する．