関連研究

NMTにおける低頻度語の問題を扱う研究は複数存在する． Luongら[10]は対訳学習文中の単語アライメントの頻度によって対訳単語辞書を構築する手法を提案している． この手法では，Attention確率を使用せずに対訳学習文の低頻度語を置き換える記号を操作することによって出力文中の未知語を入力文中の原言語単語と対応付けている．これにより，0.48ポイントのBLEUスコアの向上が確認されている．

関沢ら[5]は低頻度語を同義な高頻度語に言い換える低頻度語処理の手法を提案している． これは前処理として対訳学習文中の低頻度語を言い換え辞書を用いて同義の高頻度語に置き換える前処理を行う手法である． これにより，0.08ポイントのBLEUスコアの向上が確認されている．