評価文 | 人手評価 | |
入力文 | 彼の妹はとてもかわいい。 | |
出力文 | His younger sister is so cute . | 5 |
参照文 | His younger sister is so pretty . |
表8.5において,人手評価は,入力文と出力文を比較し,単語の意味と文法が正しいので,高い評価をする.しかし,提案手法は,出力文と参照文を比較し,文一致していないので,低い評価をする.
出力文中の"cute"は,参照文中の"pretty"と,ほとんど同じ意味である.しかし,違う表現をされている.よって,提案手法では,翻訳品質が高い表8.5の出力文でも,低い評価をしてしまうという問題点がある.
本節で示した提案手法の問題点は,マルチリファレンスやN-bestを使用することで解決する可能性がある.