深度学习的前向传播和反向传播是神经网络训练的核心机制，前者负责生成预测结果，后者负责根据误差优化模型参数，二者共同构成一个完整的训练迭代循环。
一、前向传播（Forward Propagation）
前向传播是神经网络从输入到输出的推理过程，通过逐层计算得到预测结果：
输入层接收数据
将原始数据（如图像、文本）转换为数值向量作为输入，例如图像被转换为像素值组成的张量。隐藏层计算与转换
- 线性加权组合：每一层神经元接收上一层输出作为输入，通过权重矩阵与输入向量的矩阵乘法，加上偏置向量，完成线性变换：
z=W⋅x+b\mathbf{z} = \mathbf{W} \cdot \mathbf{x} + \mathbf{b}z=W⋅x+b
其中z\mathbf{z}z称为预激活值，是激活函数的输入。 - 非线性激活：通过激活函数（如ReLU、Sigmoid）对线性结果进行非线性转换，赋予网络学习复杂模式的能力：
a=f(z)\mathbf{a} = f(\mathbf{z})a=f(z)
激活函数通过引入非线性，将数据从原始低维空间映射到高维空间，使原本线性不可分的数据变得可分。
- 线性加权组合：每一层神经元接收上一层输出作为输入，通过权重矩阵与输入向量的矩阵乘法，加上偏置向量，完成线性变换：
输出层生成预测
输出层接收隐藏层的输出，经过最终的线性变换和激活函数（如Softmax用于分类任务），生成预测结果y^\hat{\mathbf{y}}y^。损失计算
将预测结果与真实标签比较，计算损失函数值（如均方误差MSE或交叉熵损失），用于衡量模型预测的准确性。
二、反向传播（Backward Propagation）
反向传播是神经网络从输出到输入的参数优化过程，通过计算梯度更新模型参数：
计算损失函数梯度
首先计算损失函数对输出层的梯度∂L∂o\frac{\partial \mathcal{L}}{\partial \mathbf{o}}∂o∂L，这是反向传播的起点。梯度反向传递
- 从输出层开始，利用链式法则逐层计算损失函数对隐藏层参数的梯度：
∂L∂W(2)=∂L∂o⋅h⊤\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(2)}} = \frac{\partial \mathcal{L}}{\partial \mathbf{o}} \cdot \mathbf{h}^\top∂W(2)∂L=∂o∂L⋅h⊤
∂L∂W(1)=∂L∂h⋅x⊤\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(1)}} = \frac{\partial \mathcal{L}}{\partial \mathbf{h}} \cdot \mathbf{x}^\top∂W(1)∂L=∂h∂L⋅x⊤
其中h\mathbf{h}h是隐藏层输出，x\mathbf{x}x是输入。 - 梯度传递过程中，每个节点的误差梯度由上一层传来的梯度与当前层的激活函数导数相乘得到。
- 从输出层开始，利用链式法则逐层计算损失函数对隐藏层参数的梯度：
参数更新
根据计算出的梯度，使用优化算法（如梯度下降）更新网络参数：
W=W−η⋅∂L∂W\mathbf{W} = \mathbf{W} - \eta \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{W}}W=W−η⋅∂W∂L
其中η\etaη是学习率，控制参数更新的步长。正则化项处理
如果包含正则化项（如L2正则化），还需计算正则化项对参数的梯度并加入更新过程。
三、前向传播与反向传播的关系
| 特性 | 前向传播 | 反向传播 |
|---|---|---|
| 方向 | 输入层 → 输出层 | 输出层 → 输入层 |
| 计算内容 | 预测值 (y^\hat{\mathbf{y}}y^) | 梯度 (∂L∂W\frac{\partial \mathcal{L}}{\partial \mathbf{W}}∂W∂L) |
| 核心操作 | 矩阵乘法 + 激活函数 | 链式法则 + 梯度累加 |
| 计算复杂度 | O(参数量) | O(参数量)（近似） |
| 框架支持 | 自动执行 | 自动微分（autograd） |
这两个过程构成一个完整的训练迭代：前向传播生成预测并计算损失，反向传播计算梯度并更新参数。通过多次迭代这一过程，神经网络能够不断调整参数，使损失函数逐渐减小，最终达到模型的优化目标。
在实际应用中，现代深度学习框架（如PyTorch、TensorFlow）会自动构建计算图（Computational Graph）来追踪计算过程，实现高效的自动微分，大大简化了反向传播的实现。理解这两个过程的原理，有助于更好地设计网络架构、调试模型问题以及优化训练效率。
