はじめに

現在，機械翻訳の翻訳品質の評価において，数多くの自動評価方法が提案されている．

多くの評価方法は，翻訳された最尤の出力文と参照文から単語の順列や出現頻度を見て評価を行う． つまり，最尤の出力文1文に対して評価を行っている[1]． しかし，実際に翻訳を行う際には，複数の出力文の中から最適な文を選び，翻訳を行うことがある． 翻訳品質の評価において，複数の出力文を使用する評価方法は見当たらない．

一方，情報検索においては，入力文1文に対し，複数の文を出力する． 出力された複数の文に対し，評価指標を使用して評価を行う． 評価指標の一つとしてMRR[2]がある． そこで，本研究では，機械翻訳において，MRRを参考にして， 複数の出力文を使用する自動評価方法を提案した． 人手評価に対する自動評価の相関係数を調査した結果， 提案手法の結果と1文出力の結果を比較しても， 人手評価に対する自動評価の相関係数に差はあまり見られなかった． しかし，単文の英日翻訳において， 提案手法の結果は1文出力の結果と比較すると， 人手評価に対する自動評価の相関係数が向上した． ここで，本論文の構成を以下に示す． 第章で，翻訳システムの説明を行う． 第章で，自動評価と人手評価の説明を行う． 第章で，MRRの説明を行う． 第章で，提案手法の説明を行う． 第章で，実験環境の説明を行う． 第章で，実験の結果を示す． 第章で，本研究の考察を述べる． 第章で，結論を述べる．