简介：这份资源面向计算机、人工智能、电子信息等相关专业的学生与开发者，提供一套基于卷积神经网络识别交通标志的完整Python项目，可用于课程设计、毕业设计、大作业或初期项目立项演示。项目以GTSRB交通标志数据集为训练与测试基础，代码经过实际运行验证，功能正常，适合作为入门深度学习的实战练习。压缩包共9个文件，包含5个Python源码文件、2个CSV数据文件、1个XML配置文件及1份Markdown项目说明，整体约310KB，体积轻便，便于快速下载与本地部署。源码按数据预处理、模型构建、训练与评估等环节拆分，配合说明文档可帮助读者理解CNN在图像分类任务中的完整流程，掌握数据读取、网络搭建、模型训练与性能评估等关键步骤。目前已有170人学习，适合希望积累计算机视觉项目经验、完善简历或完成学业任务的读者参考借鉴。
1. 从一张模糊的路牌说起：CNN 识别交通标志到底在解决什么问题
开车经过路口，限速 60 的圆牌被树影遮了一半，人眼都要愣一下，更别说让机器认。基于 CNN 识别交通标志这件事，本质就是让卷积神经网络在一堆 32×32 的小图里，把「限速 60」「禁止掉头」「前方施工」这些类别分清楚。它解决的不是炫技问题，而是自动驾驶和辅助驾驶里最基础的一环：环境感知。GTSRB（German Traffic Sign Recognition Benchmark）是这个方向最经典的公开数据集，五万多张实拍图、43 个类别，光照、遮挡、倾斜、模糊全都有，拿它练手最接近真实路况。这篇笔记面向两类人：刚学完 cnn卷积神经网络 想找个完整项目练手的，以及手里有 python源码 但跑不通、不知道参数怎么调的。我会把数据怎么读、模型怎么搭、训练怎么不翻车、结果怎么验证，一条条讲清楚。
2. GTSRB 数据集拆解与 python 环境准备：别急着跑代码
2.1 GTSRB 的目录结构和类别分布
GTSRB 原始压缩包解压后，通常长这样：GTSRB/Final_Training/Images/下面按类别编号分成 43 个文件夹，从00000到00042，每个文件夹里是若干张.ppm格式的图片，外加一个GT-00000.csv记录每张图的 ROI 区域和尺寸。测试集在GTSRB/Final_Test/Images/，图片混在一起，标签在GT-final_test.csv里。这里第一个坑就来了：训练集图片尺寸不统一，从 15×15 到 250×250 都有，而 CNN 需要固定输入。常见做法是统一缩放到 32×32，这也是原始论文的基准尺寸。
类别分布极度不均衡。限速 30（类别 1）有 2000 多张，而限速 120（类别 8）只有 1000 出头，某些稀有类别甚至不到 200 张。如果你直接按顺序喂数据，模型会偏向多数类。我一般会先统计一遍分布，再决定要不要做重采样或类别加权。
import os import pandas as pd from collections import Counter # 统计训练集每个类别的图片数量 train_dir = "GTSRB/Final_Training/Images" class_counts = {} for cls in sorted(os.listdir(train_dir)): cls_path = os.path.join(train_dir, cls) if os.path.isdir(cls_path): imgs = [f for f in os.listdir(cls_path) if f.endswith(".ppm")] class_counts[cls] = len(imgs) # 打印分布，看看有没有严重不均衡 for k, v in class_counts.items(): print(f"类别 {k}: {v} 张") print("最多:", max(class_counts.values()), "最少:", min(class_counts.values()))这段代码只做一件事：把每个类别的图片数量数出来。os.listdir遍历目录，endswith(".ppm")过滤掉 CSV 文件。跑完你会看到最多和最少差十倍以上，这就是后面要处理不均衡的依据。参数上没什么可调的，但注意路径里的Final_Training别写成Final_Test，两个目录结构一样，很容易搞混。
2.2 python 环境与依赖安装：vscode 和 pycharm 都适用
环境这块，python下载安装教程 网上一搜一大把，我不重复。重点说版本和依赖。这个项目用 Python 3.8 到 3.10 都行，3.11 以上某些老版本 TensorFlow 会报错。深度学习框架二选一：TensorFlow/Keras 或者 PyTorch。原始 python源码 大多基于 Keras，因为写起来短。我建议先用 Keras 跑通，再考虑换 PyTorch。
依赖清单如下，直接 pip 装：
# 创建虚拟环境，避免污染全局 python -m venv venv # Windows 激活 venv\Scripts\activate # Linux/Mac 激活 source venv/bin/activate # 安装核心依赖 pip install numpy pandas matplotlib opencv-python pip install tensorflow==2.10.0 pip install scikit-learnopencv-python用来读.ppm图片，虽然 PIL 也能读，但 cv2 在批量处理时更快。scikit-learn用来做混淆矩阵和分类报告。TensorFlow 版本我锁在 2.10，是因为再往上tf.keras.preprocessing.image.ImageDataGenerator的一些参数行为有变化，老代码容易出玄学问题。如果你用 vscode配置python 环境，记得在设置里把解释器指向 venv 里的 python，否则终端装完了编辑器里还是找不到包。pycharm配置python环境 同理，在 Project Interpreter 里选 venv。
提示：装完 TensorFlow 后跑一句
python -c "import tensorflow as tf; print(tf.__version__)"，能打印出版本号才算成功。如果报 DLL 错误，多半是 Visual C++ 运行库没装。
2.3 把 ppm 读进来并转成 numpy 数组
.ppm格式 cv2 直接支持，但要注意颜色通道顺序。cv2 默认读进来是 BGR，而 matplotlib 显示和大多数预训练模型期望的是 RGB。训练时如果通道顺序搞反，模型也能收敛，但准确率会莫名其妙低几个点，这种问题最难查。
import cv2 import numpy as np def load_image(path, size=(32, 32)): # cv2 读取，得到 BGR img = cv2.imread(path) if img is None: raise ValueError(f"读不到图片: {path}") # 缩放到固定尺寸 img = cv2.resize(img, size, interpolation=cv2.INTER_AREA) # BGR 转 RGB img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) return img # 测试一张 sample = load_image("GTSRB/Final_Training/Images/00000/00000_00000.ppm") print(sample.shape, sample.dtype) # 期望 (32, 32, 3) uint8cv2.resize的interpolation参数在小图缩放时建议用INTER_AREA，它比默认的INTER_LINEAR更少产生锯齿。cvtColor那一步千万别省。返回的 dtype 是 uint8，后面送进模型前要除以 255 归一化到 0 到 1，这个在数据生成器里做。
3. 用 Keras 搭一个能打的 CNN：结构、参数与训练策略
3.1 卷积基与分类头的分层设计
cnn基本结构 就三块：卷积层提特征、池化层降维、全连接层做分类。但具体堆几层、每层多少卷积核，直接决定模型能不能在 GTSRB 上跑到 95% 以上。我一般用三个卷积块，每个块里两个 3×3 卷积加一个 2×2 最大池化，卷积核数量从 32 翻到 64 再翻到 128。这个配置在 32×32 输入上参数量适中，不会过拟合得太厉害。
from tensorflow.keras import layers, models def build_cnn(num_classes=43): model = models.Sequential([ # 第一块：32 个卷积核，提取边缘和颜色 layers.Conv2D(32, (3, 3), activation="relu", padding="same", input_shape=(32, 32, 3)), layers.Conv2D(32, (3, 3), activation="relu", padding="same"), layers.MaxPooling2D((2, 2)), layers.Dropout(0.25), # 第二块：64 个卷积核，提取形状和纹理 layers.Conv2D(64, (3, 3), activation="relu", padding="same"), layers.Conv2D(64, (3, 3), activation="relu", padding="same"), layers.MaxPooling2D((2, 2)), layers.Dropout(0.25), # 第三块：128 个卷积核，提取高层语义 layers.Conv2D(128, (3, 3), activation="relu", padding="same"), layers.Conv2D(128, (3, 3), activation="relu", padding="same"), layers.MaxPooling2D((2, 2)), layers.Dropout(0.25), # 分类头 layers.Flatten(), layers.Dense(256, activation="relu"), layers.Dropout(0.5), layers.Dense(num_classes, activation="softmax") ]) return model model = build_cnn() model.summary()padding="same"保证卷积后尺寸不变，这样池化前特征图不会缩得太快。每个卷积块后加Dropout(0.25)，全连接层后加Dropout(0.5)，这是防过拟合的常规操作。Flatten把 4×4×128 的特征图拉成 2048 维向量，再进 256 维全连接。最后一层 43 个神经元对应 43 类，softmax 输出概率。model.summary()跑一下，参数量大概在 100 万出头，不算大，普通显卡甚至 CPU 都能训。
3.2 数据增强与类别加权：让模型别偏科
前面说了类别不均衡，解决办法有两个：一是用ImageDataGenerator做在线增强，旋转、平移、缩放、亮度调整，让少数类在每轮训练里被「造」出更多样本；二是算类别权重，让损失函数对少数类更敏感。两个一起用效果最好。
from tensorflow.keras.preprocessing.image import ImageDataGenerator from sklearn.utils.class_weight import compute_class_weight import numpy as np # 训练集增强配置 train_datagen = ImageDataGenerator( rescale=1./255, # 归一化到 0-1 rotation_range=15, # 随机旋转 ±15 度 width_shift_range=0.1, # 水平平移 10% height_shift_range=0.1, # 垂直平移 10% zoom_range=0.1, # 缩放 10% brightness_range=(0.8, 1.2), # 亮度扰动 validation_split=0.2 # 划出 20% 做验证 ) # 假设 X_train, y_train 已经加载好 # 这里用 flow 从内存数组生成 train_gen = train_datagen.flow( X_train, y_train, batch_size=64, subset="training" ) val_gen = train_datagen.flow( X_train, y_train, batch_size=64, subset="validation" ) # 计算类别权重 class_weights = compute_class_weight( class_weight="balanced", classes=np.unique(y_train), y=y_train ) class_weight_dict = dict(enumerate(class_weights))rescale=1./255把像素值压到 0 到 1，这是 CNN 训练的标配，不做的话收敛极慢。rotation_range=15别设太大，交通标志旋转 30 度以上就不像真实场景了。validation_split=0.2从训练集里切验证集，注意flow的subset参数要和生成器里的validation_split配合。compute_class_weight的balanced模式会自动按类别频率反比给权重，少数类权重高，多数类权重低。这个字典在model.fit里通过class_weight传进去。
3.3 编译、训练与回调：早停和降学习率
编译时优化器选 Adam，学习率从 0.001 开始。损失函数用分类交叉熵，因为标签是整数不是 one-hot，所以用sparse_categorical_crossentropy。回调里加两个：EarlyStopping防止过拟合，ReduceLROnPlateau在验证损失不降时降学习率。
from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint model.compile( optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"] ) callbacks = [ EarlyStopping(monitor="val_loss", patience=8, restore_best_weights=True), ReduceLROnPlateau(monitor="val_loss", factor=0.5, patience=4, min_lr=1e-6), ModelCheckpoint("best_model.h5", monitor="val_accuracy", save_best_only=True) ] history = model.fit( train_gen, epochs=50, validation_data=val_gen, class_weight=class_weight_dict, callbacks=callbacks )patience=8意思是验证损失连续 8 轮不降就停，restore_best_weights=True保证停的时候回到最好的那轮权重，不用后悔药。ReduceLROnPlateau的factor=0.5每次把学习率砍半，patience=4比早停的耐心值小，这样先降学习率再考虑停。ModelCheckpoint把验证准确率最高的模型存成best_model.h5，后面测试直接加载这个文件。训练轮数设 50 是上限，实际早停可能二三十轮就结束了。
4. 训练完不算完：评估、可视化与常见翻车排查
4.1 在测试集上算准确率、混淆矩阵和分类报告
训练时看到的验证准确率是切出来的，真正要报告的是在Final_Test上的结果。测试集标签在 CSV 里，读进来和预测结果对齐。
import pandas as pd from sklearn.metrics import classification_report, confusion_matrix import numpy as np # 读测试集标签 test_csv = pd.read_csv("GTSRB/GT-final_test.csv", sep=";") test_labels = test_csv["ClassId"].values test_paths = ["GTSRB/Final_Test/Images/" + f for f in test_csv["Filename"].values] # 批量加载测试图 X_test = np.array([load_image(p) for p in test_paths]) / 255.0 # 加载最好的模型并预测 model.load_weights("best_model.h5") preds = model.predict(X_test, batch_size=64) pred_labels = np.argmax(preds, axis=1) # 输出报告 print(classification_report(test_labels, pred_labels, digits=4)) print(confusion_matrix(test_labels, pred_labels))sep=";"是因为 GTSRB 的 CSV 用分号分隔，不是逗号，这个细节不注意会读成一整列。load_image返回 uint8，除以 255 归一化，和训练时一致。classification_report会给出每个类别的精确率、召回率、F1，重点看召回率低的类别，往往是那些样本少或者长得像的。混淆矩阵能看出哪两类互相误判，比如限速 60 和限速 80 经常混。
4.2 训练曲线怎么读：过拟合和欠拟合的信号
把history里的准确率和损失画出来，比只看最终数字有用得多。
import matplotlib.pyplot as plt fig, axes = plt.subplots(1, 2, figsize=(12, 4)) axes[0].plot(history.history["accuracy"], label="train") axes[0].plot(history.history["val_accuracy"], label="val") axes[0].set_title("Accuracy") axes[0].legend() axes[1].plot(history.history["loss"], label="train") axes[1].plot(history.history["val_loss"], label="val") axes[1].set_title("Loss") axes[1].legend() plt.show()如果训练准确率一直涨、验证准确率早早平了甚至往下掉，两条线开口越来越大，就是过拟合，该加 Dropout 或加数据增强。如果两条线都低还贴在一起，那是欠拟合，模型容量不够，得加层或加卷积核。如果验证损失震荡得厉害，多半是 batch size 太小或学习率太高。
4.3 避坑与排查：五个血泪教训
现象一：训练准确率卡在 10% 以下不动。原因通常是标签没对齐，比如图片路径和标签顺序错位，或者归一化忘了做。解决：先拿 100 张图过一遍模型，看预测分布是不是均匀随机，再检查X_train和y_train的索引是否一一对应。
现象二：验证准确率比训练准确率高很多。这听起来是好事，但往往是验证集太小或者和训练集有重叠。GTSRB 的validation_split是从训练集尾部切的，如果数据按类别排序过，切出来的验证集可能只包含某几类。解决：切之前先shuffle，或者手动用train_test_split分层抽样。
现象三：模型在测试集上准确率比验证集低一大截。常见原因是测试集图片的预处理和训练不一致，比如训练用了 RGB，测试忘了转，或者缩放插值方式不同。解决：把训练和测试的预处理写成一个函数，两边都调它，别复制粘贴。
现象四：显存爆了，报 OOM。batch size 设太大，或者图片没缩放直接送进网络。解决：把 batch size 从 64 降到 32 甚至 16，确认输入是 32×32 而不是原始尺寸。如果还爆，用tf.keras.mixed_precision开混合精度。
现象五：训练到一半 loss 变成 NaN。学习率太高，或者数据里有脏图（全黑、全白、损坏）。解决：把学习率降到 1e-4，加clipnorm=1.0梯度裁剪，再写个脚本扫一遍图片，把标准差为 0 的图剔掉。
注意：
.ppm文件用 PIL 读有时候会报UnidentifiedImageError，换 cv2 基本都能解决。如果 cv2 也读不了，用file命令看下文件头是不是真的 ppm。
5. 从 95% 到 98%：几个我反复验证过的提分技巧
第一个技巧是在卷积块之间加 BatchNormalization。原始结构里卷积后直接 ReLU，如果输入分布偏移，训练会不稳。在Conv2D和activation之间插一层BatchNormalization，再把activation显式写成layers.Activation("relu")，收敛更快，最终准确率通常能涨 1 到 2 个点。代价是训练稍慢，但值得。
# 改造后的卷积块示例 layers.Conv2D(64, (3, 3), padding="same", use_bias=False), layers.BatchNormalization(), layers.Activation("relu"),use_bias=False是因为 BatchNorm 自带偏置，再加卷积偏置是冗余的。
第二个技巧是测试时增强（TTA）。对每张测试图做几次小变换（水平翻转、轻微平移），分别预测再平均概率。交通标志左右翻转后语义可能变（比如左转和右转），所以翻转要慎用，但平移和缩放是安全的。
def predict_with_tta(model, img, n=5): preds = [] for _ in range(n): # 随机平移 ±2 像素 dx, dy = np.random.randint(-2, 3, size=2) M = np.float32([[1, 0, dx], [0, 1, dy]]) shifted = cv2.warpAffine(img, M, (img.shape[1], img.shape[0])) shifted = shifted / 255.0 preds.append(model.predict(shifted[np.newaxis, ...], verbose=0)) return np.mean(preds, axis=0)n=5是次数，太多没必要，5 次已经能平滑掉随机误差。warpAffine做平移，边界默认填充黑色，对 32×32 小图影响可控。
第三个技巧是用学习率预热。前 3 轮把学习率从 1e-5 线性升到 1e-3，再正常训练。这个在 Keras 里用LearningRateScheduler回调实现，能避免训练初期 loss 震荡。我试过在 GTSRB 上，预热能让最终准确率稳定提升 0.5 个点左右，尤其是 batch size 较大的时候。
最后一个习惯：每次改结构或参数，只改一个变量，跑完记录结果。我见过太多人一次改三四个地方，结果好了不知道哪个起作用，坏了也不知道哪个背锅。用一个简单的 CSV 记下实验编号、改动内容、验证准确率、测试准确率，几轮下来你就知道哪些技巧对这个数据集真正有效。这个习惯比任何单个技巧都值钱。
希望帮到你。
本文还有配套的精品资源，点击获取
