next up previous contents
次へ: 人手評価 上へ: 実験結果 戻る: 実験結果   目次

自動評価

日英統計翻訳の出力文の評価は自動評価法のBLEU,NIST,METEORを用いる. また,英日統計翻訳の出力文の評価は自動評価法のBLEU,NISTを用いる. 日英統計翻訳の結果を表6.2に示す. 英日統計翻訳の結果を表6.3に示す.


表: 自動評価結果(日英翻訳)
  単文 重文複文
      BLEU NIST METEOR BLEU NIST METEOR
ベースライン 0.1091 3.982 0.4597 0.0916 3.627 0.2645
提案手法(鳥バンク) 0.1068 3.839 0.4566 0.0894 3.382 0.2526
提案手法(英辞郎) 0.1114 3.989 0.4625 0.0944 3.626 0.2667


表: 自動評価結果(英日翻訳)
  単文 重文複文
      BLEU NIST BLEU NIST
ベースライン 0.1519 4.114 0.1132 3.487
提案手法(鳥バンク) 0.1522 4.088 0.1102 3.354
提案手法(英辞郎) 0.1527 4.109 0.1157 3.511

結果より,提案手法(英辞郎)はベースラインと比べてBLEU,METEORのいずれの自動評価においてもスコアが向上し,提案手法の有効性を確認することができた. しかし,提案手法(鳥バンク)は日英翻訳の単文のBLEUのみベースラインの評価値より優れているという結果になった.



平成23年3月23日