パラメータチューニングに使用するdevelopデータは100文及び1000文であり,翻訳候補の上位制限を100個とする.また,distortion-weightは0.2,distortion-limitは-1(無制限)とする.パラメータチューニングを行った結果を表6.3に,その翻訳例を以下に示す.
チューニング | 通常の日英統計翻訳 | 提案方法 | ||||
BLEU | NIST | METEOR | BLEU | NIST | METEOR | |
なし | 0.1187 | 4.0886 | 0.3563 | 0.1193 | 4.1076 | 0.3615 |
develop100文 | 0.1070 | 4.1488 | 0.3456 | 0.1089 | 4.0178 | 0.3504 |
develop1000文 | 0.1209 | 4.1859 | 0.3725 | 0.1150 | 4.1713 | 0.3722 |
パラメータチューニングを行った結果,提案方法はチューニングする前の時と比較して翻訳精度が低下した.本来ならば,チューニングを行った場合は翻訳精度が向上する.提案方法をチューニングした場合,翻訳精度が低下した原因を,以下に推測する.
パラメータチューニングの翻訳例 | |
例1 | |
入力文(通常) | 母 は わたし の 誕生 日 に チョコレート ケーキ を 焼い て くれ た 。 |
入力文(提案方法) | 母 は 焼い て くれ た わたし の 誕生 日 に チョコレート ケーキ を 。 |
正解文 | Mother baked a chocolate cake for my birthday . |
出力文(通常) | My mother gave me a loss for my birthday cake chocolate . |
出力文(通常 deve100) | My mother chocolate a loss for my birthday cake me . |
出力文(通常 deve1000) | My mother gave me a loss for my birthday cake chocolate . |
出力文(提案方法) | My mother baked me some chocolate on my birthday cake . |
出力文(提案方法 deve100) | My mother gave me to chocolate baked birthday cake . |
出力文(提案方法 deve1000) | My mother gave me baked chocolate on my birthday cake . |
例2 | |
入力文(通常) | 彼 の 商売 は なかなか 繁盛 し た 。 |
入力文(提案方法) | 彼 の 商売 は 繁盛 し た なかなか 。 |
正解文 | His business has prospered . |
出力文(通常) | His business is quite 繁盛 said . |
出力文(通常 deve100) | His business made quite 繁盛 . |
出力文(通常 deve1000) | His business made quite 繁盛 . |
出力文(提案方法) | His business prospered very . |
出力文(提案方法 deve100) | His business prospered die hard . |
出力文(提案方法 deve1000) | His business prospered die hard . |
例3 | |
入力文(通常) | 乗客 は 重傷 を 負っ た 。 |
入力文(提案方法) | 乗客 は 負っ た 重傷 を 。 |
正解文 | The passenger was badly injured . |
出力文(通常) | The passengers were seriously injured . |
出力文(通常 deve100) | The passengers were seriously injured . |
出力文(通常 deve1000) | The passengers were seriously injured . |
出力文(提案方法) | He got the passengers were seriously injured . |
出力文(提案方法 deve100) | the passengers got seriously injured . |
出力文(提案方法 deve1000) | The passengers were seriously injured seriously . |
deve100 : developデータ100文 |