人手対比較評価結果

出力文10,000文より100文を抽出し,人手対比較評価を行った.人手対比較評価は, +多変数対訳句および +1変数対訳句の出力文とベースラインの出力文とを比較し,より入力文の意味が読み取れる(正確である)と考えられる文を○とした. +多変数対訳句の人手対比較評価結果を表10.9に, +1変数対訳句の人手対比較評価結果を表10.10に示す.


表: ベースラインと+多変数対訳句の人手対比較評価結果(100文)
ベースライン○ +多変数対訳句○ 差なし 同一出力
15 24 51 8


表: ベースラインと+1変数対訳句の人手対比較評価結果(100文)
ベースライン○ +1変数対訳句○ 差なし 同一出力
17 30 37 16

結果として,+1変数対訳句の手法の翻訳精度について, 自動評価ではほとんど差が見られなかったが, 人手対比較評価ではベースライン○の17に対して+自動対訳句(森本ら)○は30となり,精度が向上していることが確認できる.

また,+多変数対訳句の手法と+1変数対訳句の手法との比較では,+1変数対訳句の方が +多変数対訳句よりも翻訳精度の向上が大きいことが確認できる.