next up previous contents
次へ: 先行研究 上へ: 評価方法 戻る: METEOR   目次

人手評価法

ベースラインの翻訳結果と提案手法の翻訳結果からそれぞれランダムに100文ずつ抽出し,対比較評価を行う.
提案手法の翻訳結果がベースラインの翻訳結果より優れている場合は``提案手法○''とする. 一方,提案手法の翻訳結果がベースラインの翻訳結果より劣っている場合は``ベースライン○''とする. また,提案手法の翻訳結果とベースラインの翻訳結果に変化が見られたが,翻訳品質がどちらも変わらない場合は,``差なし''とし,提案手法の翻訳結果とベースラインの翻訳結果が同じ場合,``同一出力''とする.



平成23年3月23日