RNN

再帰型ニューラルネット(RNN)は，内部に有向閉路を持つニューラルネットの総称である． この構造により，RNNは情報を一時的に記憶し振る舞いを動的に変化させることが可能となる． RNNは各時刻$t$につき1つの入力$x_{t}$を受け取り，同時に1つの出力$y_{t}$を返す． 出力を計算する際，RNNが過去に受け取った入力が反映される． 図2.1はRNNを順伝播のネットワークに展開したものである． 中間層の入力値$z_{t}$は以下の式で表される．$f$は活性化関数である．

$$z_t = f(Ux_t + Wz_{t-1})$$

図 2.1: RNNデータ入出力