RSMT(第5)の性能を評価するためにOpen-NMTの1bestと性能を比較した.
また,人手評価の結果からRSMTが誤った出力をする原因を考察した.
実験に使用するデータは第6章と同様とする.
比較のために用いるRSMTの結果は,人手評価で最も○が多かったPMIの結果を用いる.
また,第8章の人手評価は対比較評価で行う.
人手評価の基準を下記に示す.
- RSMT○ : RSMTの出力文が,NMTの出力文より優れている
- NMT○ : NMTの出力文が,RSMTの出力文より優れている
- 差なし : 出力文の優劣に差がつけがたい
- 同一 : 出力文が同一である
Subsections