next up previous contents
次へ: 人手評価 上へ: 自動評価 戻る: 日英翻訳   目次

英日翻訳

重文複文コーパスを用いた実験における,ベースラインとプログラムで自動的に作成した対訳パターンを追加する手法と, 人手で作成した対訳パターンを追加する手法の自動評価結果をPSMTは表6.3に, HSMTは表6.4に示す.


表: PSMTへの英日パターン追加実験の自動評価
コーパス タイプ BLUE NIST METEOR RIBES TER WER
単文 ベースライン 0.1775 4.4882 0.4505 0.7667 0.6698 0.6904
  タイプA 0.1856 4.6836 0.4623 0.7714 0.6543 0.6749
+自動作成 タイプB 0.1847 4.6807 0.4589 0.7674 0.6570 0.6799
単文 タイプC 0.1851 4.6705 0.4610 0.7691 0.6578 0.6805
  タイプD 0.1832 4.6636 0.4614 0.7731 0.6571 0.6789
コーパス タイプ BLUE NIST METEOR RIBES TER WER
重文複文 ベースライン 0.1430 4.2909 0.3992 0.7042 0.7553 0.7935
  タイプA 0.1511 4.3939 0.4054 0.7145 0.7432 0.7783
+自動作成 タイプB 0.1425 4.3977 0.3996 0.7083 0.7393 0.7755
重文複文 タイプC 0.1499 4.2948 0.3975 0.7133 0.7509 0.7849
  タイプD 0.1462 4.3040 0.3977 0.7096 0.7491 0.7842
  タイプA 0.1444 4.2002 0.3909 0.7102 0.7541 0.7881
+人手作成 タイプB 0.1444 4.3313 0.3987 0.7108 0.7479 0.7840
重文複文 タイプC 0.1436 4.2766 0.3974 0.7107 0.7484 0.7736

プログラムで自動的に作成した対訳パターンでは単文, 重文複文のどちらにおいてもタイプAが良い結果となった. 人手で作成した対訳パターンではタイプBが良い結果となった.


表: HSMTへの英日パターン追加実験の自動評価
コーパス タイプ BLUE NIST METEOR RIBES TER WER
単文 ベースライン 0.1773 4.5406 0.4559 0.7680 0.6711 0.6933
  タイプA 0.1895 4.7402 0.4684 0.7746 0.6491 0.6703
+自動作成 タイプB 0.1845 4.7151 0.4609 0.7705 0.6527 0.6741
単文 タイプC 0.1896 4.7289 0.4675 0.7733 0.6504 0.6711
  タイプD 0.1861 4.6806 0.4613 0.7717 0.6544 0.6757
コーパス タイプ BLEU NIST METEOR RIBES TER WER
重文複文 ベースライン 0.1487 4.3448 0.4033 0.7191 0.7427 0.7749
  タイプA 0.1516 4.3957 0.4078 0.7251 0.7372 0.7682
+自動作成 タイプB 0.1494 4.3837 0.4039 0.7215 0.7381 0.76.98
重文複文 タイプC 0.1491 4.3440 0.4048 0.7164 0.7454 0.7803
  タイプD 0.1504 4.3660 0.4072 0.7204 0.7393 0.7716
  タイプA 0.1495 4.4297 0.4056 0.7235 0.7265 0.7567
+人手作成 タイプB 0.1511 4.4338 0.4077 0.7230 0.7295 0.7614
重文複文 タイプC 0.1453 4.2948 0.3980 0.7149 0.7415 0.7736

プログラムで自動的に作成したパターンでは単文, 重文複文のどちらにおいてもタイプAが良い結果となった. 人手で作成したパターンではタイプCでベースラインより劣っている.


next up previous contents
次へ: 人手評価 上へ: 自動評価 戻る: 日英翻訳   目次
平成26年3月7日