表の日英翻訳の重文複文コーパスで ``差無し" と判断した文と,その文の自動評価結果を表に示す.
BLEU | NIST | RIBES | METEOR | ||
入力文 | 試験 日 が 迫っ て 、学生 達 | ||||
は 、 懸命 に 勉強 を し 始め | |||||
た 。 | |||||
正解文 | As the exam is coming near , | ||||
students started studying | |||||
hard . | |||||
提案手法 | The day of the students , and | 0.2464 | 2.210 | 0.8429 | 0.6226 |
(鳥バンク) | started studying hard . | ||||
提案手法 | The days on the test , and | 0.0000 | 1.195 | 0.4458 | 0.6242 |
(英辞郎) | began to study hard , the | ||||
students . |
表において,METEOR以外のすべての自動評価法において,提案手法(鳥バンク)は提案手法(英辞郎)よりも優れている. 特に,BLEUスコアでは提案手法(鳥バンク)と提案手法(英辞郎)の差は ``0.2464"である.