手推RNN与LSTM反向传播：从BPTT到梯度消失的数学原理

1. 从"能跑就行"到"心里有底"：为什么还要手推RNN/LSTM的反向传播

刚入门深度学习那会儿，我调包调得飞起，model.fit()一按，梯度自己就更新了，损失曲线往下掉就开心，不降就换学习率、加层、换优化器，纯纯的炼丹玄学。直到有一次训练一个序列预测模型，梯度要么爆炸成NaN，要么衰减到几乎不动，调参调到怀疑人生。那时候我才意识到，光会调API是不够的，得把反向传播这条链子从头到尾捋一遍，知道梯度到底是怎么从损失函数一路"流"回每个参数的。

这篇内容就是把我自己推导RNN和LSTM反向传播的完整过程整理出来。核心关键词是RNN、LSTM、反向传播、BPTT、梯度消失、门控机制。它解决的不是"怎么调用框架"的问题，而是"为什么梯度会消失""LSTM的门到底怎么挡住梯度衰减""时间步展开后梯度怎么累加"这些底层疑问。适合已经会用PyTorch或TensorFlow搭RNN、但对手推梯度还没底的人，也适合正在准备面试、被问到"LSTM为什么能缓解梯度消失"想给出数学解释的人。

我不会只甩一堆公式就完事，而是按"先搭骨架、再填血肉、最后验证"的思路来。RNN的反向传播是理解一切序列模型的基础，LSTM是在它之上加了门控，所以我会先把RNN的BPTT推透，再过渡到LSTM，最后用数值梯度检验来验证推导对不对。整个过程你可以拿纸笔跟着走一遍，走完你会发现，那些曾经觉得神秘的"梯度消失"，其实就是链式法则里一串小于1的数连乘而已。

提示：这篇偏理论推导，但每一步我都会说清楚"为什么这么写"，不会让你对着公式干瞪眼。建议边看边在纸上写，效果比纯读强十倍。

2. RNN前向传播：把时间步展开成一条链

2.1 单个时间步的计算图长什么样

在推反向之前，必须先把前向的计算图理清楚，因为反向传播本质就是沿着计算图倒着走一遍链式法则。RNN的核心思想是"隐藏状态在时间步之间传递"，所以它的计算图是一条链，每个时间步共享同一组参数。

先定义符号，这套符号后面全程沿用，别嫌烦，符号乱了推导必崩：

• 输入序列 $x = (x_1, x_2, ..., x_T)$，其中 $x_t \in \mathbb{R}^{d}$ 是第 $t$ 步的输入向量
• 隐藏状态 $h_t \in \mathbb{R}^{H}$，$h_0$ 通常初始化为全零向量
• 输出 $\hat{y}_t \in \mathbb{R}^{K}$，$K$ 是输出维度
• 参数：输入到隐藏的权重 $W_{xh} \in \mathbb{R}^{H \times d}$，隐藏到隐藏的权重 $W_{hh} \in \mathbb{R}^{H \times H}$，隐藏到输出的权重 $W_{hy} \in \mathbb{R}^{K \times H}$，偏置 $b_h \in \mathbb{R}^{H}$、$b_y \in \mathbb{R}^{K}$

单个时间步的前向计算是：

$$ a_t = W_{xh} x_t + W_{hh} h_{t-1} + b_h $$

$$ h_t = \tanh(a_t) $$

$$ o_t = W_{hy} h_t + b_y $$

$$ \hat{y}_t = \text{softmax}(o_t) $$

这里有个关键点：参数 $W_{xh}$、$W_{hh}$、$W_{hy}$ 在所有时间步是共享的。这意味着反向传播时，每个时间步都会对同一组参数产生梯度贡献，最终参数梯度是所有时间步梯度之和。这是RNN反向传播和普通前馈网络最大的区别，也是很多人第一次推容易漏掉的地方。

2.2 损失函数与整体目标

假设做的是分类任务，每个时间步都有输出和标签，总损失是所有时间步损失之和：

$$ L = \sum_{t=1}^{T} L_t $$

其中 $L_t$ 是第 $t$ 步的交叉熵损失：

$$ L_t = -\sum_{k=1}^{K} y_{t,k} \log \hat{y}_{t,k} $$

为什么要用求和而不是平均？其实平均只是多乘一个 $1/T$ 的常数，对梯度方向没影响，推导时用求和更干净。这个总损失 $L$ 就是我们要求梯度的目标，反向传播要算的是 $\frac{\partial L}{\partial W_{xh}}$、$\frac{\partial L}{\partial W_{hh}}$、$\frac{\partial L}{\partial W_{hy}}$ 以及偏置的梯度。

注意：如果你的任务只在最后一个时间步有输出（比如情感分类取最后隐状态），那损失就只有 $L_T$，反向传播的路径会短很多。这里按最一般的情况推，即每个时间步都有损失，这样推出来的结论更通用。

3. RNN反向传播（BPTT）：梯度是怎么沿时间链倒着流的

3.1 从softmax和输出层开始往回走

反向传播从损失开始。先算输出层的梯度，这部分和普通神经网络一样。对于softmax加交叉熵的组合，有个非常漂亮的结论：

$$ \frac{\partial L_t}{\partial o_t} = \hat{y}_t - y_t $$

这个结论的推导是softmax求导的经典结果，这里不展开，记住它就行——预测值减真实值，干净利落。有了这个，输出层参数的梯度就好算了。因为 $o_t = W_{hy} h_t + b_y$，所以：

$$ \frac{\partial L}{\partial W_{hy}} = \sum_{t=1}^{T} \frac{\partial L_t}{\partial o_t} h_t^\top = \sum_{t=1}^{T} (\hat{y}_t - y_t) h_t^\top $$

$$ \frac{\partial L}{\partial b_y} = \sum_{t=1}^{T} (\hat{y}_t - y_t) $$

看到那个求和符号了吗？这就是参数共享的体现。每个时间步都贡献一份梯度，最后加起来。$W_{hy}$ 只连接隐藏层和输出层，不跨时间步，所以它的梯度相对简单，不涉及时间上的递归。

3.2 隐藏状态的梯度：递归链式法则登场

真正麻烦的是隐藏状态 $h_t$ 的梯度，因为 $h_t$ 既影响当前步的输出 $o_t$，又影响下一步的隐藏状态 $h_{t+1}$。所以 $h_t$ 的梯度有两条来源：

$$ \frac{\partial L}{\partial h_t} = \frac{\partial L_t}{\partial h_t} + \frac{\partial L}{\partial h_{t+1}} \cdot \frac{\partial h_{t+1}}{\partial h_t} $$

第一项是当前步输出传回来的梯度，第二项是未来步通过 $h_{t+1}$ 传回来的梯度。这就是BPTT（Backpropagation Through Time）的核心递归式。定义 $\delta_t = \frac{\partial L}{\partial h_t}$ 为隐藏状态的误差项，那么：

$$ \delta_t = W_{hy}^\top (\hat{y}t - y_t) + W{hh}^\top , \text{diag}(1 - h_{t+1}^2) , \delta_{t+1} $$

这里用到了 $\tanh$ 的导数：$\frac{\partial h_{t+1}}{\partial a_{t+1}} = 1 - h_{t+1}^2$（因为 $h = \tanh(a)$，而 $\tanh'(a) = 1 - \tanh^2(a) = 1 - h^2$）。最后一步 $t = T$ 时，没有未来项，所以 $\delta_T = W_{hy}^\top (\hat{y}_T - y_T)$。

这个递归式要从后往前算：先算 $\delta_T$，再算 $\delta_{T-1}$，一直倒推到 $\delta_1$。这就是为什么叫"通过时间的反向传播"——时间维度上是从后往前的。

3.3 参数梯度：所有时间步的贡献累加

有了 $\delta_t$，参数梯度就水到渠成了。因为 $a_t = W_{xh} x_t + W_{hh} h_{t-1} + b_h$，而 $h_t = \tanh(a_t)$，所以 $\frac{\partial L}{\partial a_t} = \delta_t \odot (1 - h_t^2)$，记这个为 $\delta_t^{a}$。那么：

$$ \frac{\partial L}{\partial W_{xh}} = \sum_{t=1}^{T} \delta_t^{a} x_t^\top $$

$$ \frac{\partial L}{\partial W_{hh}} = \sum_{t=1}^{T} \delta_t^{a} h_{t-1}^\top $$

$$ \frac{\partial L}{\partial b_h} = \sum_{t=1}^{T} \delta_t^{a} $$

三个公式长得几乎一样，区别只在"乘的是谁"：$W_{xh}$ 乘输入 $x_t$，$W_{hh}$ 乘上一步隐状态 $h_{t-1}$，偏置直接累加。这种对称性不是巧合，而是因为它们在计算图里处于同一层，只是输入来源不同。

3.4 梯度消失的数学根源：连乘小于1的雅可比

现在到了最关键的部分——为什么RNN会梯度消失？看 $\delta_t$ 的递归式，从 $\delta_T$ 往 $\delta_1$ 传的过程中，每往前一步就要乘一个 $W_{hh}^\top , \text{diag}(1 - h^2)$。从 $t$ 到 $T$ 的梯度传播，本质上是这个雅可比矩阵连乘 $T - t$ 次：

$$ \frac{\partial h_T}{\partial h_t} = \prod_{i=t+1}^{T} W_{hh}^\top , \text{diag}(1 - h_i^2) $$

$\tanh$ 的导数 $1 - h^2$ 取值范围是 $(0, 1]$，最大值是1（当 $h=0$ 时），大多数时候都小于1。如果 $W_{hh}$ 的谱半径也小于1，那么这一串连乘会以指数速度趋近于零。这就是梯度消失：越早的时间步，梯度越小，参数几乎更新不动，模型学不到长距离依赖。

反过来，如果 $W_{hh}$ 的谱半径大于1，连乘会指数爆炸，就是梯度爆炸。这两个问题是一体两面的，根源都在于"连乘"这个结构。理解这一点，你就明白了LSTM要解决的核心矛盾：如何让梯度在时间维度上传播时，不要被反复乘以一个小于1的因子。

实操心得：实际训练中梯度爆炸比梯度消失好处理，因为爆炸会直接表现为loss变NaN，你能立刻发现，用梯度裁剪（gradient clipping）就能压住。梯度消失是"温水煮青蛙"，loss慢慢不降，你以为是模型容量不够，其实是梯度根本传不回去。所以遇到长序列任务loss卡住，先怀疑梯度消失。

4. LSTM的反向传播：门控机制如何改写梯度链

4.1 LSTM前向：四个门和一条细胞状态高速公路

LSTM在RNN基础上引入了细胞状态$c_t$ 和三个门（遗忘门、输入门、输出门）。先过一遍前向，符号要重新定义清楚：

• 遗忘门：$f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)$
• 输入门：$i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)$
• 候选细胞状态：$\tilde{c}t = \tanh(W_c [h{t-1}, x_t] + b_c)$
• 细胞状态更新：$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$
• 输出门：$o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)$
• 隐藏状态：$h_t = o_t \odot \tanh(c_t)$

其中 $\sigma$ 是sigmoid函数，$\odot$ 是逐元素相乘。为了推导简洁，把 $[h_{t-1}, x_t]$ 拼接后的权重记作 $W_f, W_i, W_c, W_o$，它们各自包含对 $h_{t-1}$ 和 $x_t$ 两部分。

LSTM最精妙的设计就是细胞状态那条线：$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$。这是一条加法的更新路径，而不是RNN里那种"乘完再tanh"的路径。加法在反向传播时的导数非常友好，这是LSTM缓解梯度消失的关键。

4.2 细胞状态的梯度：加法路径的威力

反向传播还是从损失开始，输出层梯度和RNN一样，$\frac{\partial L_t}{\partial o_t} = \hat{y}_t - y_t$。然后算 $h_t$ 的梯度，同样有两条来源（当前输出 + 未来步）：

$$ \frac{\partial L}{\partial h_t} = W_{hy}^\top (\hat{y}t - y_t) + \frac{\partial L}{\partial h{t+1}} \frac{\partial h_{t+1}}{\partial h_t} $$

接下来是重点——细胞状态 $c_t$ 的梯度。$c_t$ 影响两个地方：当前步的 $h_t$（通过 $h_t = o_t \odot \tanh(c_t)$），以及下一步的 $c_{t+1}$（通过 $c_{t+1} = f_{t+1} \odot c_t + ...$）。所以：

$$ \frac{\partial L}{\partial c_t} = \frac{\partial L}{\partial h_t} \odot o_t \odot (1 - \tanh^2(c_t)) + \frac{\partial L}{\partial c_{t+1}} \odot f_{t+1} $$

记 $\delta_t^c = \frac{\partial L}{\partial c_t}$，那么递归式是：

$$ \delta_t^c = \frac{\partial L}{\partial h_t} \odot o_t \odot (1 - \tanh^2(c_t)) + \delta_{t+1}^c \odot f_{t+1} $$

请仔细看第二项：$\delta_{t+1}^c \odot f_{t+1}$。从 $c_{t+1}$ 往 $c_t$ 传梯度，只需要乘一个遗忘门 $f_{t+1}$，而不是像RNN那样乘一个矩阵再乘tanh导数。$f_{t+1}$ 是sigmoid输出，范围在 $(0,1)$，但它是一个可学习的、逐元素的门。当 $f_{t+1}$ 接近1时，梯度几乎原封不动地传回去；当它接近0时，梯度被截断。这意味着网络可以自己学会在需要记住长距离信息时把遗忘门开大，让梯度顺畅流过。

这就是LSTM缓解梯度消失的核心机制：细胞状态的梯度传播路径上只有逐元素的乘法（遗忘门），没有矩阵连乘，也没有反复的tanh压缩。梯度不会因为矩阵谱半径的问题被指数衰减，衰减与否由网络自己控制。

4.3 各个门的梯度：sigmoid导数的逐元素应用

有了 $\delta_t^c$，各个门的梯度就能推了。先算输出门和候选状态的梯度。因为 $h_t = o_t \odot \tanh(c_t)$：

$$ \frac{\partial L}{\partial o_t} = \frac{\partial L}{\partial h_t} \odot \tanh(c_t) $$

$$ \frac{\partial L}{\partial \tilde{c}_t} = \delta_t^c \odot i_t $$

然后过激活函数的导数。sigmoid的导数是 $\sigma'(z) = \sigma(z)(1 - \sigma(z))$，tanh的导数是 $1 - \tanh^2$。所以门激活前的梯度：

$$ \frac{\partial L}{\partial z_o} = \frac{\partial L}{\partial o_t} \odot o_t \odot (1 - o_t) $$

$$ \frac{\partial L}{\partial z_i} = \delta_t^c \odot \tilde{c}_t \odot i_t \odot (1 - i_t) $$

$$ \frac{\partial L}{\partial z_f} = \delta_t^c \odot c_{t-1} \odot f_t \odot (1 - f_t) $$

$$ \frac{\partial L}{\partial z_{\tilde{c}}} = \delta_t^c \odot i_t \odot (1 - \tilde{c}_t^2) $$

这里 $z$ 表示各门激活函数之前的线性输出。注意遗忘门的梯度里有个 $c_{t-1}$，这很直观：$c_{t-1}$ 越大，遗忘门对 $c_t$ 的影响越大，梯度也越大。

4.4 参数梯度汇总与时间步累加

最后，每个门的权重梯度都是"激活前梯度"乘"输入"再对所有时间步求和。以遗忘门为例，$z_f = W_f [h_{t-1}, x_t] + b_f$，所以：

$$ \frac{\partial L}{\partial W_f} = \sum_{t=1}^{T} \frac{\partial L}{\partial z_f^{(t)}} [h_{t-1}, x_t]^\top $$

$$ \frac{\partial L}{\partial b_f} = \sum_{t=1}^{T} \frac{\partial L}{\partial z_f^{(t)}} $$

输入门、输出门、候选状态同理，只是把下标换成对应的。四个门的参数梯度形式完全一致，这就是LSTM虽然结构复杂但推导有规律的地方——每个门都是"线性变换 + 激活 + 逐元素操作"的套路。

为了让你一眼看清RNN和LSTM在梯度传播上的本质区别，我整理了一张对比表：

注意：LSTM缓解梯度消失不等于完全消除。如果遗忘门长期学成接近0的值，梯度照样传不回去。而且LSTM参数多，训练数据少时容易过拟合。所以实际选型时，短序列任务用RNN或GRU可能更划算，长序列再上LSTM。

5. 数值梯度检验：怎么确认自己推的公式没写错

5.1 为什么一定要做梯度检验

手推公式最大的风险是符号写错、转置搞反、求和漏项。这些错误在纸上看不出来，但代码一跑就全乱套。梯度检验（gradient checking）是验证推导正确性的黄金标准，原理简单粗暴：用数值微分近似真实梯度，和你推导的解析梯度对比，误差足够小就说明推对了。

数值微分的中心差分公式：

$$ \frac{\partial L}{\partial \theta_i} \approx \frac{L(\theta_i + \epsilon) - L(\theta_i - \epsilon)}{2\epsilon} $$

$\epsilon$ 取一个很小的值，比如 $10^{-5}$ 或 $10^{-7}$。中心差分比前向差分精度高一个量级，误差是 $O(\epsilon^2)$。然后比较数值梯度和解析梯度的相对误差：

$$ \text{rel_error} = \frac{|g_{\text{num}} - g_{\text{ana}}|}{|g_{\text{num}}| + |g_{\text{ana}}|} $$

相对误差小于 $10^{-6}$ 说明推导完全正确，小于 $10^{-4}$ 基本可用，大于 $10^{-2}$ 肯定有bug。

5.2 一个可复现的检验流程

下面这段伪代码展示了检验的完整流程，你可以照着用numpy实现：

import numpy as np def numerical_grad(f, theta, eps=1e-5): """数值梯度：对每个参数做中心差分""" grad = np.zeros_like(theta) it = np.nditer(theta, flags=['multi_index']) while not it.finished: idx = it.multi_index old = theta[idx] theta[idx] = old + eps loss_plus = f(theta) theta[idx] = old - eps loss_minus = f(theta) theta[idx] = old grad[idx] = (loss_plus - loss_minus) / (2 * eps) it.iternext() return grad def check_gradient(analytic_grad, numerical_grad, tol=1e-6): """对比解析梯度和数值梯度""" diff = np.linalg.norm(analytic_grad - numerical_grad) norm = np.linalg.norm(analytic_grad) + np.linalg.norm(numerical_grad) rel_error = diff / (norm + 1e-12) print(f"相对误差: {rel_error:.2e}") return rel_error < tol

检验时有个坑：先关掉dropout、batch norm等随机性操作，否则每次前向结果不一样，数值梯度会乱跳。另外，检验用的网络要小，隐藏层维度设成3、5这种小数字，序列长度设成4、5，参数少才能快速跑完。参数一多，数值梯度要算两倍参数量的前向，慢得让人崩溃。

5.3 检验中常见的失败原因排查

梯度检验失败时，别急着怀疑推导，先按这个顺序排查：

1. 符号错误：最常见。检查每个 $\odot$ 是不是写成了矩阵乘，每个转置是不是漏了。RNN里 $W_{hh}^\top$ 和 $W_{hh}$ 差一个转置，梯度方向完全不同。
2. 求和漏项：参数共享意味着每个时间步都要累加梯度，漏掉任何一个时间步都会导致误差。
3. 激活函数导数写错：sigmoid导数是 $o(1-o)$，tanh导数是 $1-h^2$，这两个别搞混。LSTM里门用sigmoid，候选状态用tanh，导数形式不一样。
4. 初始隐状态处理：$h_0$ 和 $c_0$ 通常初始化为零，它们不参与梯度更新，但反向传播时 $\delta_0$ 要正确终止，别多算一步。
5. 数值精度问题：$\epsilon$ 太大截断误差大，太小浮点误差大。$10^{-5}$ 到 $10^{-7}$ 之间试几个值，看哪个相对误差最小。

我自己的经验是，第一次推LSTM反向传播时，遗忘门的梯度里漏了 $c_{t-1}$ 这一项，梯度检验相对误差卡在 $10^{-2}$ 下不去，排查了半天才发现。所以检验不通过时，重点看那些"看起来理所当然"的项，往往就是它们出问题。

6. 推导之外的实战体会：这些坑我替你踩过了

6.1 梯度裁剪到底裁什么

梯度爆炸时用梯度裁剪，但裁的是什么？是把所有参数的梯度拼成一个向量，算它的L2范数，如果超过阈值就整体缩放：

$$ g \leftarrow g \cdot \frac{\text{threshold}}{|g|} $$

阈值一般设1到5之间。注意是整体缩放，不是逐参数裁剪，逐参数裁剪会改变梯度方向，破坏优化方向。这个操作在LSTM里几乎是标配，因为即使有门控，长序列训练时梯度爆炸依然可能发生。

6.2 为什么LSTM参数初始化这么讲究

LSTM有四个权重矩阵，如果都用同样的初始化，训练初期容易不稳定。实践中遗忘门的偏置 $b_f$ 通常初始化为1或更大的正数，这样训练初期遗忘门接近1，细胞状态默认"记住"而不是"遗忘"，梯度能顺畅回传。这个技巧叫"遗忘门偏置初始化"，是很多序列任务能训起来的关键细节，论文里不一定强调，但工程上非常有用。

6.3 双向和深层LSTM的梯度有什么不同

双向LSTM有两个方向的反向传播，各自独立算梯度然后相加。深层LSTM则是层与层之间也有梯度传递，第 $l$ 层的输入梯度来自第 $l+1$ 层的回传。这两者叠加后，梯度路径变得非常复杂，梯度消失的风险也更大。所以深层双向LSTM通常需要配合残差连接或层归一化来稳定训练。理解单层单方向的推导后，这些扩展只是把同样的逻辑重复叠加，核心机制没变。

6.4 从推导到面试：怎么把这件事讲清楚

如果面试被问到"LSTM为什么能缓解梯度消失"，别一上来就背公式。我通常这样组织回答：先说RNN梯度消失的根源是雅可比矩阵连乘导致指数衰减；再说LSTM的细胞状态更新是加法结构，梯度回传路径上只有逐元素的遗忘门乘法，没有矩阵连乘；最后点出遗忘门是可学习的，网络能自己决定梯度保留多少。三步讲完，逻辑闭环，比堆公式有说服力得多。手推过一遍的人，讲这些的时候底气完全不一样。

整个推导走下来，你会发现RNN和LSTM的反向传播没有想象中那么可怕，无非是链式法则在时间维度上的展开，加上门控带来的逐元素操作。真正有价值的是推导过程中建立起来的直觉：知道梯度从哪来、往哪去、在哪一步被衰减。有了这个直觉，调参不再是玄学，遇到梯度问题也能快速定位。我个人在实际操作中的体会是，凡是训练不收敛的序列模型，先把梯度范数打印出来看一眼，比盲目调学习率有效得多。