出力文10,000文より100文を抽出し,人手対比較評価を行った.人手対比較評価は,
+多変数対訳句および
+1変数対訳句の出力文とベースラインの出力文とを比較し,より入力文の意味が読み取れる(正確である)と考えられる文を○とした.
+多変数対訳句の人手対比較評価結果を表10.9に,
+1変数対訳句の人手対比較評価結果を表10.10に示す.
表:
ベースラインと+多変数対訳句の人手対比較評価結果(100文)
ベースライン○ |
+多変数対訳句○ |
差なし |
同一出力 |
15 |
24 |
51 |
8 |
表:
ベースラインと+1変数対訳句の人手対比較評価結果(100文)
ベースライン○ |
+1変数対訳句○ |
差なし |
同一出力 |
17 |
30 |
37 |
16 |
結果として,+1変数対訳句の手法の翻訳精度について,
自動評価ではほとんど差が見られなかったが,
人手対比較評価ではベースライン○の17に対して+自動対訳句(森本ら)○は30となり,精度が向上していることが確認できる.
また,+多変数対訳句の手法と+1変数対訳句の手法との比較では,+1変数対訳句の方が
+多変数対訳句よりも翻訳精度の向上が大きいことが確認できる.