next up previous contents
次へ: 人手による評価 上へ: 実験結果 戻る: 実験結果   目次


自動評価結果

自動評価にはBLEU,NIST,METEORを用いる.表7.1に日本語テスト文10,000文での結果,表7.2にパターンに適合した日本語テスト文での結果を示す.尚,表7.2中の``パターン''はパターン翻訳のみでの翻訳結果を示している.



表: 10,000文での自動評価結果
単文
  BLEU NIST METEOR
ベースライン 0.1130 4.5211 0.3160
提案手法 0.1101 4.5131 0.3175
重文複文
  BLEU NIST METEOR
ベースライン 0.0947 4.0980 0.3021
提案手法 0.0977 4.1406 0.3049


表: パターン翻訳を通した出力文での自動評価結果
単文(1,143文)
  BLEU NIST METEOR
ベースライン 0.2218 5.2390 0.4363
提案手法 0.1821 4.8417 0.4426
パターン 0.1630 4.5314 0.4230
重文複文(349文)
  BLEU NIST METEOR
ベースライン 0.2814 5.1235 0.4562
提案手法 0.3618 5.8849 0.5438
パターン 0.3384 5.7004 0.5326

単文の場合には提案手法の評価値がベースラインよりも低くなっている.一方,重文複文では提案手法の評価値がベースラインよりも高く,提案手法の有効性が見られる.


next up previous contents
次へ: 人手による評価 上へ: 実験結果 戻る: 実験結果   目次
平成24年3月23日