現在,機械翻訳システムの翻訳品質の評価において,複数の評価手法が提案されている.翻訳品質の評価手法には,人手評価と自動評価がある.しかし,人手評価と自動評価には差がある[1].
松本ら[2]らは,人手評価の自動評価に差がある原因として,以下を報告している.人手評価は,文全体の単語を比較し,動詞のような重要な単語に着目し評価する.一方,自動評価は,出力文と参照文を部分的に比較している.よって,人手評価と自動評価に差が生じる.
そこで本研究では,人手評価と自動評価に差がでるのは,自動評価が出力文と参照文の文全体で評価せず,部分的な単語の比較で評価をおこなうことに原因があると仮定する.そして,出力文と参照文の文一致数で翻訳品質を評価する,新たな自動評価法を提案する.文一致数とは,出力文と参照文において,文を構成する単語が完全に一致する文数である.文一致数の評価により,文全体で評価が可能である.また本研究では,提案手法の有効性を,提案手法と人手評価の相関で調査する.
ここで,本論文の構成を以下に示す. 第10章で,翻訳システムの説明を行う. 第章で,自動評価と人手評価の説明を行う. 第章で,人手評価と自動評価の違いについて述べる. 第章で,提案手法の説明を行う. 第章で,実験環境の説明を行う. 第章で,提案手法と人手評価の結果を示す. 第章で,本研究の考察を述べる. 第章で,追加実験の結果を示す. 第章で,結論を述べる.