ペナルティの影響

表9.20に提案手法における，ペナルティの値を変化させたときの自動評価の結果を示す．

表: ペナルティによる自動評価の変化

ペナルティ	BLEU	NIST	METEOR
元のスコア	0.1215	4.1668	0.3735
109#109 1/4	0.1222	4.1773	0.3749
109#109 1/2	0.1222	4.1799	0.3749
109#109 2	0.1218	4.1671	0.3732
109#109 4	0.1229	4.1821	0.3736

表9.20において，ペナルティを変化させると，BLEUスコアで0.004%，NISTスコアで0.128%，METEORスコアで0.017%の変動がある．よって，本研究において与えるペナルティが適切でなかったと考える．今後は単語によるペナルティだけではなく，フレーズや頻度も考慮に入れた適切なペナルティを考えていきたい．