文によって節から節のように,自動評価結果と人手評価結果が相違してしまう. 節から節のように人が見て翻訳品質に差がない文対の一方が過大評価されてしまうことがある. 原因として,現在の自動評価法は単語対応で評価してしまうため,出力文と正解文の一部の単語が一致していればスコアが高くなるからではないかと考える. この問題の解決策として,評価方法として比較的信頼性の高い人手での対比較評価を行うようにするか,単語対応での自動評価法だけではなく,人手評価法に近い自動評価法を考案することであると考える.