+ループ1対訳句および+ループ2対訳句の実験について,出力文10,000文より100文を抽出し,人手対比較評価を行った.人手対比較評価は,+ループ1対訳句および+ループ2対訳句の出力文とベースラインの出力文とを比較し,より入力文の意味が読み取れる(正確である)と考えられる文を○とした.
+ループ1対訳句の人手対比較評価結果を表10.20に,
+ループ2対訳句の人手対比較評価結果を表10.21
に示す.
表:
ベースラインと+ループ1対訳句の人手対比較評価結果(100文)
ベースライン○ |
+ループ1対訳句○ |
差なし |
同一出力 |
26 |
19 |
40 |
15 |
表:
ベースラインと+ループ2対訳句の人手対比較評価結果(100文)
ベースライン○ |
+ループ2対訳句○ |
差なし |
同一出力 |
27 |
20 |
38 |
15 |
自動評価および人手対比較評価の
結果として,+ループ1対訳句および+ループ2対訳句の手法の翻訳精度について,
翻訳精度の向上は認められなかった.