言語モデルの | Closed | Open | ||||
N-gram | BLEU | NIST | METEOR | BLEU | NIST | METEOR |
1-gram | 0.699 | 10.377 | 0.839 | 0.059 | 3.754 | 0.293 |
2-gram | 0.789 | 10.623 | 0.856 | 0.113 | 4.401 | 0.366 |
3-gram | 0.847 | 11.104 | 0.895 | 0.135 | 4.580 | 0.386 |
4-gram | 0.852 | 11.121 | 0.890 | 0.139 | 4.595 | 0.388 |
5-gram | 0.853 | 11.132 | 0.901 | 0.139 | 4.597 | 0.389 |
6-gram | 0.853 | 11.128 | 0.901 | 0.139 | 4.593 | 0.388 |
7-gram | 0.853 | 11.128 | 0.901 | 0.139 | 4.593 | 0.388 |
8-gram | 0.853 | 11.128 | 0.901 | 0.139 | 4.593 | 0.388 |
9-gram | 0.853 | 11.128 | 0.901 | 0.139 | 4.593 | 0.388 |
結果から,Closedテスト,Openテストともに,5-gramのとき翻訳精度が最も高くなっ ていることがわかる.また,5-gram以上では翻訳精度が変化しない.1-gramと 5-gramにおいて,翻訳精度が向上した例を以下に示す.
N-gramを変更したときの翻訳精度向上の例1 | |
---|---|
入力文 | 花子 は 、 悲し そう に 俯い て い た 。 |
正解文 | Hanako appeared sad and downcast . |
出力文(1-gram) | . Hanako appeared sad and downcast |
出力文(5-gram) | Hanako appeared sad and downcast . |
N-gramを変更したときの翻訳精度向上の例2 | |
---|---|
入力文 | 部屋 に 小鳥 が 飛び込ん で き た 。 |
正解文 | A bird flew into the room . |
出力文(1-gram) | A the room into I have a . |
出力文(5-gram) | Birds came into the room . |
N-gramを変更したときの翻訳精度向上の例3 | |
---|---|
入力文 | その 旅客機 は 機首 を 下げ た 。 |
正解文 | That passenger plane lowered its nose . |
出力文(1-gram) | the The airliner dropped its nose . |
出力文(5-gram) | The plane has dropped its nose . |