next up previous contents
次へ: 提案手法 上へ: 実験結果 戻る: 自動評価結果   目次

人手評価結果

先行研究の翻訳結果からランダムに100文抽出し,ベースラインとの対比較評価を行った. 人手評価において,``先行研究○''は先行研究手法がベースラインより優れている場合とし,``ベースライン○''は先行研究手法がベースラインより劣っている場合とする. 先行研究(鳥バンク)の人手評価において,``変化なし''は先行研究手法とベースラインの翻訳結果が変化しなかった場合とする. また,先行研究(英辞郎)の人手評価において,``差なし''は先行研究手法とベースラインの翻訳結果に変化はあったが,文質が変わらなかった場合とし,``同一出力''は先行研究手法の出力とベースラインの出力が同じである場合とする. 先行研究(鳥バンク)の人手評価結果を表3.8に示し,先行研究(英辞郎)の人手評価結果を3.9に示す.


表: 対比較実験結果(鳥バンク)
  先行研究○ ベースライン○ 変化なし
単文 5 23 72
重文複文 15 35 50


表: 対比較実験結果(英辞郎)
  先行研究○ ベースライン○ 差なし 同一出力
単文 5 3 4 88
重文複文 9 0 5 86



平成23年3月23日