next up previous contents
次へ: 英日翻訳 上へ: 自動評価 戻る: 自動評価   目次

日英翻訳

重文複文コーパスを用いた実験における,ベースラインとプログラムで自動的に作成した対訳パターンを追加する手法と, 人手で作成した対訳パターンを追加する手法の自動評価結果をPSMTは表6.1に, HSMTは表6.2に示す. なお, 以降の各表ではプログラムで自動的に作成した対訳パターンを追加する手法を``+自動作成'', 人手で作成した対訳パターンを追加する手法を``+人手作成''と表記する.


表: PSMTへの日英パターン追加実験の自動評価
コーパス タイプ BLEU NIST METEOR RIBES TER WER
単文 ベースライン 0.1360 4.7929 0.4527 0.7077 0.7070 0.7367
  タイプA 0.1416 4.8830 0.4621 0.7110 0.6982 0.7261
+自動作成 タイプB 0.1377 4.7564 0.4508 0.7106 0.7038 0.7305
単文 タイプC 0.1409 4.8617 0.4593 0.7158 0.6943 0.7210
  タイプD 0.1413 4.9209 0.4638 0.7133 0.6906 0.7161
コーパス タイプ BLEU NIST METEOR RIBES TER WER
重文複文 ベースライン 0.1235 4.4858 0.4147 0.6729 0.7693 0.8085
  タイプA 0.1285 4.6931 0.4310 0.6733 0.7701 0.8049
+自動作成 タイプB 0.1269 4.5582 0.4198 0.6764 0.7665 0.8037
重文複文 タイプC 0.1263 4.5613 0.4223 0.6799 0.7616 0.7994
  タイプD 0.1259 4.5731 0.4217 0.6785 0.7653 0.8026
  タイプA 0.1256 4.4770 0.4150 0.6691 0.7704 0.8067
+人手作成 タイプB 0.1268 4.5170 0.4132 0.6725 0.7682 0.8046
重文複文 タイプC 0.1212 4.3935 0.4007 0.6652 0.7775 0.8123


プログラムで自動的に作成した対訳パターンを追加する手法は, 各手法でばらつきがある. 人手で作成した対訳パターンを追加する手法は, タイプBが良い結果となった.


表: HSMTへの日英パターン追加実験の自動評価
コーパス タイプ BLEU NIST METEOR RIBES TER WER
単文 ベースライン 0.1397 4.9137 0.4607 0.7236 0.6849 0.7096
  タイプA 0.1453 4.9526 0.4622 0.7221 0.6851 0.7101
+自動作成 タイプB 0.1448 4.9329 0.4636 0.7215 0.6892 0.7143
単文 タイプC 0.1441 4.9745 0.4674 0.7261 0.6818 0.7073
  タイプD 0.1425 4.9085 0.4613 0.7232 0.6905 0.7160
コーパス タイプ BLEU NIST METEOR RIBES TER WER
重文複文 ベースライン 0.1250 4.5517 0.4215 0.6797 0.7646 0.8007
  タイプA 0.1341 4.4660 0.4287 0.6811 0.7556 0.7901
+自動作成 タイプB 0.1293 4.6061 0.4263 0.6821 0.7617 0.7967
重文複文 タイプC 0.1293 4.5358 0.4203 0.6779 0.7606 0.7954
  タイプD 0.1293 4.6773 0.4305 0.6855 0.7552 0.7900
  タイプA 0.1295 4.5894 0.4233 0.6836 0.7586 0.7932
+人手作成 タイプB 0.1291 4.5759 0.4207 0.6829 0.7620 0.7971
重文複文 タイプC 0.1251 4.4357 0.4088 0.6717 0.7741 0.8078

プログラムで自動的に作成した対訳パターンでは単文においてはタイプC, 重文複文においてはタイプDが良い結果となった. 人手で作成した対訳パターンではタイプAが良い結果となった.
next up previous contents
次へ: 英日翻訳 上へ: 自動評価 戻る: 自動評価   目次
平成26年3月7日