12.4 编码器-解码器架构：机器翻译的历史性突破

12.4 编码器-解码器架构：机器翻译的历史性突破

编码器-解码器架构是序列到序列学习任务的基石性框架，其在机器翻译领域的成功应用，标志着神经网络方法开始全面超越传统的统计方法，成为自然语言处理的主流范式。该架构的核心思想是将源语言序列的语义信息压缩为一个固定维度的上下文向量，再由此向量生成目标语言序列，从而实现了端到端的、数据驱动的翻译模型构建。

12.4.1 历史背景与范式转变

在编码器-解码器架构兴起之前，主流的机器翻译方法是基于短语的统计机器翻译。SMT的核心流程包括：对源语言句子进行词对齐、抽取短语翻译规则、基于大规模双语语料估计规则概率，最后在解码时利用语言模型和目标语言模型进行搜索，生成最优翻译[1]。SMT严重依赖于人工设计的特征和平行语料的质量，且其流水线式的系统各模块间存在误差传递问题。

循环神经网络，特别是长短时记忆网络在序列建模上的成功，为机器翻译提供了新的思路。2014年，Cho等人[2]和Sutskever等人[3]几乎同时独立提出了基于RNN的编码器-解码器框架，实现了从源语言序列到目标语言序列的直接映射。这一范式转变的核心在于：将翻译问题重新定义为一个条件序列生成问题，利用神经网络强大的表征学习能力，自动从数据中学习语言间的映射规律，摆脱了对显式规则和特征的依赖。

12.4.2 架构核心：编码器与解码器

编码器-解码器架构由两个核心的RNN组成：编码器和解码器。

12.4.2.1 编码器

编码器负责读取并理解整个源语言序列X=(x1,x2,...,xT)X = (x_1, x_2, ..., x_T)X=(x1​,x2​,...,xT​)。它通常是一个RNN（如LSTM或GRU），按顺序处理每个源语言词xtx_txt​，并更新其隐藏状态。在处理完序列的最后一个词xTx_TxT​后，编码器最终的隐藏状态hTh_ThT​被认为编码了整个输入序列的语义摘要，即上下文向量ccc：
c=q(h1,h2,...,hT) c = q({h_1, h_2, ..., h_T})c=q(h1​,h2​,...,hT​)
其中，qqq是一个函数。在最简单的形式中，cc