人手評価

本研究では, 人手評価として，対比較評価を行う. 対比較評価は，二つの文を相対的に比較して，どちらがより正しい文であるかを人手で選択する評価方法である． 二つの翻訳システムの出力で優劣を判断する場合に有効である． 今回は二つの翻訳システムの翻訳結果1万文からランダムに100文選択し, 対比較する.

比較対象の翻訳結果がベースラインの翻訳結果より劣っている場合は``ベースライン○''とする. 比較対象の翻訳結果がプログラムで自動的に作成したパターンを追加する手法より優れている場合は``自動作成○'' とする. 比較対象の翻訳結果が人手で作成したパターンの翻訳結果を追加する手法より優れている場合は``人手作成○'' とする. また, 比較する2つの翻訳結果に変化が見られたが, 翻訳品質が優劣を問わず伝わる意味が変わらない場合は,``差なし''とし, 翻訳結果が一語一句同じ出力の場合,``同一出力''とする.