12.5 注意力机制革命：Bahdanau注意力与Luong注意力

12.5 注意力机制革命：Bahdanau注意力与Luong注意力

注意力机制的提出是序列到序列学习领域的一次根本性革命，它有效解决了传统编码器-解码器架构中的“信息瓶颈”问题。该机制允许解码器在生成输出的每一个时间步，动态地、有选择地聚焦于输入序列的不同部分，而非依赖于单一的、固定维度的上下文向量。这种模仿人类认知中“选择性关注”的思想，极大地提升了模型处理长序列和复杂依赖关系的能力。在神经网络机器翻译的发展历程中，Bahdanau等人[1]与Luong等人[2]的工作分别代表了注意力机制的开创性引入与系统性改进，奠定了现代注意力模型的基础。

12.5.1 核心思想与基本框架

传统编码器-解码器模型将整个输入序列X=(x1,x2,…,xT)X = (x_1, x_2, \ldots, x_T)X=(x1​,x2​,…,xT​)压缩为一个固定长度的上下文向量ccc。当处理长句子时，该向量难以承载全部必要信息，导致模型性能下降。注意力机制的核心思想是：在解码的每一步ttt，为解码器生成一个独特的、与当前步相关的上下文向量ctc_tct​。

其基本框架包含三个核心步骤：

1. 计算注意力分数：度量解码器当前状态sts_tst​与编码器所有隐藏状态hih_ihi​之间的相关性。
2. 计算注意力权重：将注意力分数通过Softmax函数归一化，得到权重向量αti\alpha_{ti}αti​，满足∑i=1Tαti=1\sum_{i=1}^{T} \alpha_{ti} = 1∑i=1T​αti​=1。权重αti\alpha_{ti}αti​表示在生成第ttt个目标词时，对第iii个源语言词的关注程度。
3. 生成上下文向量：对编码器隐藏状态进行加权求和，得到当前步的动态上下文向量ctc_tct​：
   ct=∑i=1Tαtihi c_t = \sum_{i=1}^{T} \alpha_{ti} h_ict​=i=1∑T​αti​hi​

最终，解码器在预测下一个词yty_tyt​时，不仅依赖于自身的隐藏状态sts_tst​和上一个词yt−1y_{t-1}yt−1​，更关键地依赖于这个动态生成的上下文向量ctc_tct​。条件概率写为：
P(yt∣y<t,X)=g(yt−1,st,ct) P(y_t | y_{<t}, X) = g(y_{t-1}, s_t, c_t)P(yt​∣y<