人手対比較評価結果

各手法の出力文10,000文より無作為に抽出した100文に対して人手対比較評価を行った． 評価結果を表7.2および表7.3に示す． また，人手対比較評価に関する表記の説明を以下に示す．

• ベースライン○

  比較する出力文に対してベースラインの出力文の方がより入力文の意味に近い

• +人手対訳句○

  比較する出力文に対して+人手対訳句の出力文の方がより入力文の意味に近い

• +自動対訳句○

  比較する出力文に対して+自動対訳句の出力文の方がより入力文の意味に近い

• 差なし

  比較する両手法の出力文には正確性において差がない

• 一致

  比較する両手法の出力文が完全に同ー

表: ベースラインと+人手対訳句の人手対比較評価結果(100文)

ベースライン○	+人手対訳句○	差なし	一致
14文	44文	38文	4文

表: ベースラインと+自動対訳句の人手対比較評価結果(100文)

ベースライン○	+自動対訳句○	差なし	一致
10文	29文	56文	5文

表7.2および表7.3より，人手対比較評価では，2つの対訳句追加手法はいずれもベースラインと比較して高い翻訳精度であることがわかる．さらに，翻訳精度の向上は，+人手対訳句の方が+自動対訳句と比較して大きいことが確認できる． また，+自動対訳句において，自動評価の向上はあまり大きくない一方で，人手対比較評価では大きく向上したことが確認できる．