例７

自動評価結果における提案手法(鳥バンク)の大幅な向上の例を示す．

表の英日翻訳の重文複文コーパスで ``差無し" と判断した文と，その文の自動評価結果を表に示す．

表: 差無しと判断した例4(英日翻訳 重文複文)

		BLEU	NIST	RIBES
入力文	Apprehensive of failure , no one will make the attempt .
正解文	失敗 を 恐れ て 指 を 染める 者 が 無い 。
提案手法	失敗 を 恐れ て だれ も し た 。	0.2527	1.634	0.9036
(鳥バンク)
提案手法	Apprehensive の 試み は 失敗 を する だろ	0.0000	0.9026	0.0000
(英辞郎)	う 。

表において，すべての自動評価法において，提案手法(鳥バンク)は提案手法(英辞郎)よりも優れている． 特に，BLEUスコアでは提案手法(鳥バンク)と提案手法(英辞郎)の差は ``0.2527"である．

対比較評価ではどちらも差が無いと判断できるが，出力文によっては自動評価結果が過大評価される場合がある． これが重文複文コーパスの翻訳実験の自動評価結果において，提案手法(鳥バンク)が提案手法(英辞郎)よりも大幅に翻訳精度が向上した原因ではないかと考えられる．