Attentionモデルの枠組み

Attentionモデルでは3式の条件付き確率を5式により定義する．

ここで，は時刻での隠れ層の状態であり，6式により計算される．

確率は，Encoder-Decoderモデルと異なり，各目的言語単語について文脈ベクトルにより状態付けられる．文脈ベクトルはアノテーション系列 に依存し，Encoderにより入力文と対応付けられる． 各アノテーションは特に入力文中の番目の単語付近の情報を強く保有しており，さらに全入力文の情報を保持している．また，7式に示す文脈ベクトルはアノテーションの重み付き和により計算される．

各アノテーションの重みは

により計算される．ここで

は番目付近の入力の対応およびi番目の出力の適合を示す値であり，アライメントモデルと呼ばれる．この値はを出力する直前のRNNの隠れ層の状態および入力文中の番目のアノテーションに基づいている．