Next: 関連研究
Up: ニューラルネットワーク
Previous: LSTM
目次
seq2seq[5]はNCMモデルのフレームワークである．seq2seqのネットワーク構造を図2.3に示す．
入力文の各単語が時系列的に入力され，中間層であるLSTMブロックはその時点までの文脈情報を次の中間層へ渡す．
通常のRNNでは中間層から出力層への出力があるが，seq2seqの入力文側では使用しない．
入力文側では最後に文末記号<eos>を読み込み，出力文側の処理へ移る．
出力文側では，通常のRNNと同じように，中間層は次の中間層へフィードバックを出力し、
同時に出力層への出力を行う．
学習時は，出力を教師データと比較して損失を計算する．出力側の入力データは教師データとなる．
推論時は，出力は文字列(単語)の出力となり，出力側の入力データは直前の中間層の出力となる．
2018-02-28
![\includegraphics[width=13cm]{EncoderDecoder.eps}](img25.png)