next up previous contents
次へ: 10000文での自動評価結果 上へ: 単文テストデータの自動評価結果 戻る: 英日文パターンに照合した文のみの評価   目次

各ランクとベースラインの比較

単文において,パターン翻訳を用いて翻訳されたAランク379文と,ベースラインシステムで翻訳された379文のBLEU値とNIST値の比較結果を表7.2に示す.
表: Aランクの翻訳文とベースラインの比較
  BLEU NIST
Aランク 0.5664 6.9185
ベースライン 0.5434 6.7248

パターン翻訳を用いて翻訳されたBランク247文と,ベースラインシステムで翻訳された247文のBLEU値とNIST値の比較結果を表7.3に示す.

表: Bランクの翻訳文とベースラインの比較
  BLEU NIST
Bランク 0.2993 4.4478
ベースライン 0.3097 4.2523

パターン翻訳を用いて翻訳されたCランク292文と,ベースラインシステムで翻訳された292文のBLEU値とNIST値の比較結果を表7.4に示す.

表: Cランクの翻訳文とベースラインの比較
  BLEU NIST
Cランク 0.2228 3.9444
ベースライン 0.2466 3.9138

パターン翻訳を用いて翻訳されたDランク2,334文と,ベースラインシステムで翻訳された2,334文のBLEU値とNIST値の比較結果を表7.5に示す.


表: Dランクの翻訳文とベースラインの比較
  BLEU NIST
Dランク 0.0686 3.0176
ベースライン 0.1674 3.8581

上記の結果から,提案手法より得たAランクの翻訳文はベースラインと比較してBLEU値が2.3%向上している.B〜Dランクはベースラインと比較してBLUE値の低下が認められたが,単文におけるパターン翻訳はAランクの翻訳文に関して特に高い翻訳精度が得られた.



eki takashi 平成24年3月13日