next up previous
次へ: 文献目録 上へ: 機械翻訳における文一致率による評価 A New Evaluation 戻る: 提案手法の問題点

おわりに

従来の自動評価は,文全体に対して評価を行わず,文に存在する部分的な単語に対し て評価を行う.結果,動詞のような重要な単語が抜け落ちた翻訳結果でも,大 部分の単語が正解文と一致していれば,高いスコアを算出してしまう問題があ る.そこで本研究では,正解文と出力文の単語が完全に一致する文数を, 新たな自動評価法として提案した.結果として,提案手法は人手評価と高い相 関が得られた.そして,他の自動評価方法より高かった.これは,提案手法の 有効性を示している.しかし,実験の量が少ないため,信頼性がまだ低いと考 えている.今後は,より多くの実験をおこないたい.また複数の 正解文を利用した場合や,複数の出力文を利用した場合の提案方法を調査し, 人手評価と比較を行いたい.




Jin'ichi Murakami 平成25年6月26日