人手評価

本研究では人手評価として，対比較評価を用いる． 対比較評価は，二つの文を相対的に比較して，どちらの品質がより優れているかを人手で選択する評価方法である．対比較を行う出力例を表3.1に，評価基準を表3.2示す．

表: 対比較の出力例

入力文	I'm always ready to help .
正解文	いつ でも 喜ん で お手伝い し ます 。
ベースライン	私 に は いつも まし た 。
提案手法	いつ でも 助け ます 。

表: 対比較の評価基準

ベースライン○	ベースラインの出力文が提案手法の出力文より翻訳品質が優れている
提案手法○	提案手法の出力文がベースラインの出力文より翻訳品質が優れている
差なし	2つの出力文の翻訳品質に明確な差がない
同出力	2つの出力文が完全に同じ

表3.1では，ベースラインの出力文と提案手法の出力文を比較すると，提案手法の出力結果の方が優れている．よって，この例では表3.2において``提案手法○''を選択する．また，統計翻訳における対比較評価では，翻訳品質を比較するため，必ずしも意味が通る文である必要がない．よって``差なし''や``同出力''では，どちらも意味が通る文である場合と，どちらも意味が通らない文である場合が存在する．