Python实现BP神经网络：彻底搞懂误差反向传播与梯度下降

简介：BP神经网络是机器学习中经典的多层前馈模型，其核心在于通过反向传播不断调整权重以降低预测误差。针对想从代码层面理解这一过程的Python开发者与入门学习者，这份PDF资源以“原理+实现”的方式，系统讲解了三层网络的结构设计、Sigmoid激活函数的选取、含正则化项的交叉熵代价函数，以及反向传播中梯度的计算与权重更新，并给出可参考的Python代码片段，覆盖矩阵初始化、前向传播、代价计算等关键模块。示例中特意保留了偏置单元、矩阵维度等实现细节，可帮助读者避开常见坑点；代码中正则化项的写法也值得反复推敲，能够直观理解模型复杂度与过拟合的关系。在此基础上，读者可以修改隐藏层节点数、输出类别数，快速适配不同的多分类任务。压缩包内共有1个PDF文档，包体大小约373KB，内容集中、便于快速阅读；该资料目前已有6974人学习下载，在同类入门资源中具有较高人气。

1. 用Python实现BP神经网络：先搞懂损失如何流动

BP神经网络在今天已经不算新话题，但深度学习框架把梯度计算封装得太彻底，导致很多人能调出模型，却说不清误差是怎么从输出端流回输入端的。自己用Python写一套BP神经网络，不需要TensorFlow，也不需要PyTorch，只需NumPy加几十行代码，就能把前向传播、反向传播和梯度下降完整串起来。下面围绕一个可运行的最小实现，先画BP神经网络结构图，再写矩阵运算代码，最后用拟合曲线验证效果，并给出几个调参和排错技巧。这份内容面向有Python基础、想从零理解神经网络内部原理的工程师和学生，读完可以直接把代码改成自己的数据任务。

2. 画BP神经网络结构图并用Python实现前向传播

2.1 BP神经网络结构图：层、权重和矩阵维度

先解释一个容易混淆的概念：BP不是某种新的网络结构，而是“误差反向传播”训练算法的缩写。网络本身可以是一个普通的多层前馈网络，结构上只有输入层、隐藏层、输出层。很多人谈到“BP神经网络结构图”时，默认画的是单隐藏层网络，因为它最能说明误差信号如何逐层传回，往下加层只是重复同样的计算。

在动手写代码前，先把结构图和矩阵形状对应起来。以单隐藏层为例，输入层、隐藏层、输出层的变量可以固定成下面这张表：

这里所有变量都按“行为样本、列为特征”排列。m是一次传入网络的样本数，实际训练时可以从几十到几百。隐藏层神经元个数hidden_size是个超参数：太小，网络表达力不够；太大，训练变慢且容易过拟合。初学时从8或16开始，按倍数往上试是比较常见的路径。

2.2 从零开始的前向传播Python代码：激活函数与矩阵乘法

下面是一个最小BP神经网络类的Python实现，先看初始化、激活函数和前向传播：

import numpy as np class BPNetwork: def __init__(self, input_size, hidden_size, output_size, lr=0.05): self.lr = lr # 权重初始化乘以0.5，避免sigmoid一上来就进入饱和区 self.W1 = np.random.randn(input_size, hidden_size) * 0.5 self.b1 = np.zeros((1, hidden_size)) self.W2 = np.random.randn(hidden_size, output_size) * 0.5 self.b2 = np.zeros((1, output_size)) def sigmoid(self, x): return 1 / (1 + np.exp(-x)) def sigmoid_derivative(self, a): # 注意参数a是sigmoid的输出，不是输入z return a * (1 - a) def forward(self, x): self.z1 = x @ self.W1 + self.b1 self.a1 = self.sigmoid(self.z1) self.z2 = self.a1 @ self.W2 + self.b2 self.a2 = self.sigmoid(self.z2) return self.a2

这段代码里最关键的是forward方法把中间变量z1、a1、z2、a2全部保存到self上，这是为下一章反向传播准备的。@是NumPy的矩阵乘法，x @ self.W1要求x的列数等于self.W1的行数，所以输入样本必须按“行为样本、列为特征”排好。self.b1形状是(1, hidden_size)，广播机制会把这一行偏置加到每一行样本的运算结果上。

参数说明：

• lr是学习率，默认0.05。学习率太大，loss会震荡甚至变成NaN；太小，收敛慢。
• 权重缩放倍数0.5没有严格公式，关键目的是让隐藏层的输入不要落到Sigmoid饱和区。更讲究一点，可以除以np.sqrt(hidden_size)。
• 偏置可以初始化为0，因为权重的随机性已经打破了神经元的对称性；没必要把偏置也随机初始化。

2.3 为什么向量化写法比逐个神经元更新更实用

在BP神经网络结构图里，每个圆圈是一个神经元，但代码不要真的逐个神经元去算加权和。向量化写法把整个隐藏层看作一次矩阵乘法，既缩短代码，也大幅减少运行时间。例如输入有300个样本、隐藏层16个神经元，用for循环内层要循环16次；用矩阵乘法，一次x @ W1就得到300行16列的结果。

常见的误用是把x写成一维数组再参与矩阵乘法。一维数组(300,)和(1, 300)在NumPy里行为不同，x @ W1会直接报维度错误。建议在进入网络前一律使用x.reshape(-1, input_size)，保证输入是二维矩阵。向量化的另一个好处是方便调隐藏层大小：把hidden_size从8改成16，只需要改初始化参数，forward和backward的代码完全不用动。这也是很多生产代码可以用同一个类跑不同结构的原因。

3. 误差反向传播：BP神经网络的训练核心

3.1 从损失函数到输出层梯度的反向传播推导

前向传播做完，需要一个指标来衡量预测值到底差了多少。这里用均方误差（MSE），公式是 L = mean((y_pred - y)^2)。训练目标就是让L越来越小，因此要算出每个权重对L的偏导数，再用梯度下降去更新。

以输出层权重W2为例，链式法则把梯度分成三份：

∂L/∂W2 = (∂L/∂a2) × (∂a2/∂z2) × (∂z2/∂W2)

第一项是损失对预测值的导数，第二项是Sigmoid在z2处的导数，第三项是z2对W2的导数。手写反向传播时不需要真的把所有偏导数展开，而是定义两个误差信号：

delta2 = (∂L/∂a2) × sigmoid'(z2)

delta1 = (delta2 @ W2.T) × sigmoid'(z1)

delta2是输出层收到的误差信号，delta1则把这个信号通过W2转置传回隐藏层。得到delta之后，梯度就是“上一层的输出”与“当前层的delta”做矩阵乘法。这个流程也是“反向传播”名字的由来：误差从输出端出发，一层一层往输入层回传。

3.2 在Python中实现backward：delta怎么在层间流动

下面是和上一章类配套的backward方法：

def backward(self, x, y, y_pred): m = x.shape[0] # 损失 L = mean((y_pred - y)^2) # 所以 dL/dy_pred = 2 * (y_pred - y) / m delta2 = 2 * (y_pred - y) * self.sigmoid_derivative(self.a2) / m # 把输出层误差传回隐藏层 delta1 = (delta2 @ self.W2.T) * self.sigmoid_derivative(self.a1) # delta2已经包含1/m，矩阵乘法一步求出梯度 grad_W2 = self.a1.T @ delta2 grad_b2 = np.sum(delta2, axis=0, keepdims=True) grad_W1 = x.T @ delta1 grad_b1 = np.sum(delta1, axis=0, keepdims=True) # 梯度下降更新 self.W2 -= self.lr * grad_W2 self.b2 -= self.lr * grad_b2 self.W1 -= self.lr * grad_W1 self.b1 -= self.lr * grad_b1

这段代码里有几个容易写错的地方。第一，delta2里的2和/m来自MSE损失的平均值，如果损失函数用的是np.mean，这个常数就必须带上；如果换成np.sum，/m要去掉。第二，sigmoid_derivative的入参是a2而不是z2，因为Sigmoid的导数可以写成a*(1-a)，直接用激活后的值，少一次exp计算。第三，delta1是用delta2 @ self.W2.T回传的，注意是转置，方向不能反，否则维度不匹配。

如果想用交叉熵损失代替MSE，输出层的激活函数一般会换成Softmax，此时delta2会简化成(y_pred - y)/m，不再需要乘Sigmoid导数。很多开源代码里写的是后一种形式，抄到自己的MSE场景里会导致梯度计算错误。这也是手写神经网络时最容易踩的坑：激活函数、损失函数、梯度表达式三者必须成套出现。

3.3 梯度下降参数更新：学习率、批大小与迭代次数

上面的参数更新方式叫批量梯度下降，每一步用全部样本计算梯度。实际训练BP神经网络时，批大小直接决定梯度的噪声程度：

这个小示例最好先跑批量梯度下降，因为只有几百个样本，一次矩阵乘法就完成一次更新。学习率的选择可以用下面的小实验来感觉：

np.random.seed(42) x = np.linspace(-2, 2, 200).reshape(-1, 1) y = np.sin(x) net = BPNetwork(1, 8, 1, lr=0.1) for epoch in range(3000): y_hat = net.forward(x) loss = np.mean((y_hat - y) ** 2) net.backward(x, y, y_hat) if epoch % 500 == 0: print(epoch, round(loss, 6))

这里输入x范围是-2到2，没有归一化，目标y是sin(x)并且没有映射到0到1。由于输出层用了Sigmoid，预测值被限制在0到1之间，网络很难拟合负的y值。所以实战中要先对输入和输出做归一化，或者去掉输出层的Sigmoid。下一章的拟合曲线示例会同时处理这两点。

4. 用BP神经网络拟合曲线：训练脚本与可视化

4.1 准备训练数据：生成样本与归一化

为了直观验证网络有没有学到规律，构造一个带噪声的正弦函数数据集。正弦曲线是典型的非线性关系，单层线性模型无法拟合出波浪形状，而BP神经网络可以。数据生成函数可以写成这样：

def make_dataset(n=300, noise=0.05): x = np.linspace(-3, 3, n).reshape(-1, 1) y = np.sin(x) + noise * np.random.randn(n, 1) # 归一化到0~1，避免sigmoid饱和 x_norm = (x - x.min()) / (x.max() - x.min()) y_norm = (y - y.min()) / (y.max() - y.min()) return x, x_norm, y_norm

把x和y都映射到0到1的原因有两个。第一，输出层使用Sigmoid时输出范围就是0到1，目标值超过这个区间会导致loss永远降不下去。第二，输入归一化后，隐藏层神经元在初始化阶段就不容易进入Sigmoid的饱和区，反向传播能拿到更大的梯度信号。如果跳过这一步，经常会看到loss在前几百轮几乎不动。

数据集还要划分成训练集和测试集。300个样本里，前240个训练，后60个验证，顺序打乱不是必须的，因为数据本身随机。如果对全部数据训练，拟合曲线会看起来非常好，但无法判断是学到了规律还是背下了噪声。

4.2 BP神经网络完整可运行的Python代码

下面把数据生成、网络定义、训练循环拼在一起，是一段可以直接复制运行的完整Python代码：

import numpy as np import matplotlib.pyplot as plt class BPNetwork: def __init__(self, input_size, hidden_size, output_size, lr=0.05): self.lr = lr self.W1 = np.random.randn(input_size, hidden_size) * 0.5 self.b1 = np.zeros((1, hidden_size)) self.W2 = np.random.randn(hidden_size, output_size) * 0.5 self.b2 = np.zeros((1, output_size)) def sigmoid(self, x): return 1 / (1 + np.exp(-x)) def sigmoid_derivative(self, a): return a * (1 - a) def forward(self, x): self.z1 = x @ self.W1 + self.b1 self.a1 = self.sigmoid(self.z1) self.z2 = self.a1 @ self.W2 + self.b2 self.a2 = self.sigmoid(self.z2) return self.a2 def backward(self, x, y, y_pred): m = x.shape[0] delta2 = 2 * (y_pred - y) * self.sigmoid_derivative(self.a2) / m delta1 = (delta2 @ self.W2.T) * self.sigmoid_derivative(self.a1) grad_W2 = self.a1.T @ delta2 grad_b2 = np.sum(delta2, axis=0, keepdims=True) grad_W1 = x.T @ delta1 grad_b1 = np.sum(delta1, axis=0, keepdims=True) self.W2 -= self.lr * grad_W2 self.b2 -= self.lr * grad_b2 self.W1 -= self.lr * grad_W1 self.b1 -= self.lr * grad_b1 # 准备数据 np.random.seed(42) x = np.linspace(-3, 3, 300).reshape(-1, 1) y = np.sin(x) + 0.05 * np.random.randn(300, 1) x_norm = (x - x.min()) / (x.max() - x.min()) y_norm = (y - y.min()) / (y.max() - y.min()) net = BPNetwork(1, 16, 1, lr=0.1) train_x, train_y = x_norm[:240], y_norm[:240] for epoch in range(3000): y_pred = net.forward(train_x) loss = np.mean((y_pred - train_y) ** 2) net.backward(train_x, train_y, y_pred) if epoch % 500 == 0: print(f"epoch {epoch}, loss {loss:.6f}")

运行后，loss应该从某个0.2左右的值开始，逐渐降到0.01附近。如果一开始就是NaN，把学习率从0.1改成0.01；如果下降很慢，把隐藏层从16改成32。这里train_x使用的是前240个样本，测试数据还没参与训练循环，这是判断拟合效果的前提。

参数说明：

• 隐藏层16个神经元：足够拟合正弦曲线，又不会完全贴合噪声；
• 学习率0.1：对这批小数据是安全的，不需要额外做学习率衰减；
• 训练3000轮：网络简单，收敛慢，实际工作里会用早停替代固定轮数。

4.3 绘制BP神经网络拟合曲线，比较不同隐藏层大小

训练结束后的可视化是检验代码是否写对的直观手段。下面代码把原始散点和预测曲线画在同一张图上：

y_pred_test = net.forward(x_norm) plt.scatter(x, y, s=8, alpha=0.5, label='sample') plt.plot(x, y_pred_test, color='red', linewidth=2, label='BP fit') plt.legend() plt.show()

在这个示例中，红色预测曲线应该沿着正弦曲线穿过噪声点，两端稍有偏离是正常的，因为样本点少且带噪声。下面是一组固定随机种子的实验结果，隐藏层大小对拟合的影响非常明显：

如果还想看训练过程，可以把每个epoch的loss存进列表，最后画一个plt.plot(loss_history)。正常曲线是快速下降后趋于平缓，如果曲线突然反弹，说明学习率太大或训练集出现了异常样本。loss曲线的形状和拟合曲线同样重要，排查问题时两条线要对照着看。

5. 梯度检查、早停与四个排错项

5.1 用数值梯度检查确认反向传播代码正确

手写BP网络最大的风险是公式写反、矩阵维度错位却看不出来。数值梯度检查是一种很实用的验证方法：对某个权重W[i,j]分别加eps和减eps，重新走前向传播，得到两个损失值，再用差分公式算出近似梯度，与反向传播算出的梯度对比。

eps = 1e-6 loss_plus = compute_loss_with_perturbed_weight(net, x_norm, y_norm, 0, i, j, eps) loss_minus = compute_loss_with_perturbed_weight(net, x_norm, y_norm, 0, i, j, -eps) numerical_grad = (loss_plus - loss_minus) / (2 * eps) relative_error = abs(numerical_grad - grad_W1[i, j]) / (abs(numerical_grad) + abs(grad_W1[i, j]) + 1e-8)

relative_error小于1e-7通常说明反向传播实现正确。检查时抽几个权重点即可，不用全矩阵跑，因为每跑一次都要重新前向传播，很耗时。如果相对误差在1e-3量级，先检查损失函数里的常数因子是否和backward一致，再检查矩阵转置方向。

5.2 早停与随机种子：防止BP神经网络过拟合

数据量小的时候，训练轮数过多会让模型记住噪声。常见做法是每训练一定轮数就在测试集上算一次loss，连续多次不下降就提前停止，这就是早停。另一个让结果可复现的技巧是固定np.random.seed(42)，否则每次运行得到的初始权重不同，同一套参数可能给出完全不同的loss曲线。调参时固定随机种子，才能公平比较不同隐藏层大小和学习率的效果。

5.3 不收敛时的四个检查项

这四个检查项能够覆盖新手写BP神经网络时遇到的大部分问题。最后补充一个不起眼但很实用的技巧：对比两个隐藏层大小时，必须用同一套随机种子和同一份数据划分，否则差值可能只是初始化噪声引起的，不能归因于参数变化。

本文还有配套的精品资源，点击获取