現在，機械翻訳システムの翻訳品質の評価において，複数の評価手法が提案されている．評価手法には，大きく分けて２つある．人手評価と自動評価である．人手評価は，文全体を人手で評価する．よって大量の文を処理する際，コストが高いデメリットがある．一方，自動評価は，文の参照文と出力文を機械的に比較し評価する．よって大量の文を処理する際，コストが低いメリットがある．しかし，過去の研究で，人手評価と自動評価の評価に差がでると報告されている．そこで本研究では，文一致を使用する新たな自動評価法を提案した．文一致とは，出力文と参照文の完全一致である．参照文は，入力文の対訳の正解文である．提案手法は，文一致を使用することで，人手評価と同様に文全体で自動評価が可能である．
そして，日英方向における単文の，ルールベース翻訳，句に基づく統計翻訳，階層型統計翻訳，2種類のハイブリッド翻訳について，翻訳実験と人手評価をおこなった．提案手法と人手評価の相関を調査した結果，提案手法と人手評価に差が確認された．よって，提案手法は人手評価に近い自動評価法ではないと判明した．また翻訳実験の際，出力文を自動評価法であるBLEU，NIST，METEOR，RIBESのスコアを求め，提案手法との相関係数を調査した．結果，提案手法と他の自動評価法は，高い数値で正に相関していることが判明した．
また，異なる翻訳システムを使用すると，提案手法と他の自動評価法はどのような結果を示すか調査するため，追加実験をおこなった．追加実験は，句に基づく統計翻訳の学習文に，フレーズ対を追加した実験である．入力文は単文，重文複文の2種類で実験を行った．結果，入力文に重文複文を使用した場合，提案手法と他の自動評価法は，高い数値で正に相関していることが判明した．
今後は，提案手法にマルチリファレンスとN-bestを使用した実験を検討する．