改进LeNet-5结合MSER颜色增强的交通标志识别方法复现指南

简介：面向交通标志识别场景的学术论文PDF，聚焦复杂背景下检测与识别过程分步、模型鲁棒性不足等问题。其核心方案融合感兴趣区域（ROI）提取与卷积神经网络（CNN），利用MSER方法做颜色增强，再以分割技术生成多尺度候选区域，并基于LeNet-5模型进行特征提取与区域框标记；针对有限GTSRB数据上的过拟合现象，引入BN层，采用Adam算法和提前停止策略来稳定损失、加速训练并提升精度。这份PDF共1个文件，格式为PDF，压缩包大小约2.06MB，属深度学习与机器学习专题下的专业指导类文献，适合从事计算机视觉、智能驾驶辅助系统等相关研究的学生和工程师阅读参考。资源内容包含算法设计思路、实验对比与结论分析，可帮助读者理解CNN在交通标志识别中的改进方向，目前已有110人学习。

1. 交通标志识别卡在"分步检测"上，这篇改进 LeNet-5 给出了一个可复现的解法

交通标志识别不是新鲜课题，从 HOG+SVM 到 YOLO 系列大家都很熟。但这篇 2020 年的工作换了个思路：不把检测和识别拆成两条流水线，而是先用 MSER 颜色增强突出感兴趣区域（ROI），再用一个加了 BN 层和坐标回归头的改进 LeNet-5 同时完成分类和位置框定，在 GTSDB 测试集上拿到 98% 的识别准确率，比原始 LeNet-5 高出 2.58 个百分点。对做模型裁剪、辅助驾驶感知或嵌入式部署的同行来说，这个"老基础模型加针对性改动"的路径，比直接换大网络更值得复盘——它把算力需求控制在 CPU 也能跑完的量级，同时把过拟合问题用 BN、Adam 和提前停止三个常规手段压住了。

2. MSER 颜色增强与 ROI 分割：先减少搜索空间，再谈识别精度

2.1 颜色增强公式拆解：为什么要做通道差分

原文第一步是"对红色边缘类交通标志做 MSER 颜色增强"。禁令标志（红圆环、白底、黑色符号）在自然场景里颜色特征最稳定，所以先按颜色把候选区域从整张图里捞出来是划算的。论文给出的增强公式为：

f(x) = max(0, min(X, Y) / s)
X = x{R,G,B} - x{G,B,R}
Y = x{R,G,B} - x{B,R,G}
s = Σ x_i (i = R, G, B)

用白话解释：对红色标志来说，R 通道的能量应当明显强于 G、B 通道，所以把 R 减掉 (G+B) 就能拉开标志与树叶、红砖墙这类"伪红色"的差异。min 取两路差分里较小的增强量，是为了防止某个通道过曝时产生异常响应；最后除以总亮度 s 做归一化，避免亮度高的区域整体占优。这也是 MSER 思路里"最大稳定"的体现——增强的不是颜色本身，而是颜色通道之间的稳定反差。

2.2 全阈值分割：一个均值加 4 倍标准差的经验值

增强之后要转成二值掩码。论文没有用复杂的分割网络，而是直接用全阈值：

T = μ + 4σ

其中 μ 是增强图像像素均值，σ 是像素标准差。这个阈值的意思很直接：只保留那些比平均增强响应高出 4 个标准差的像素，也就是颜色反差最强烈的区域。实际效果上，阈值偏低会把整片红色屋顶都圈进来，阈值偏高则会把边缘残缺的标志漏掉。我在复现时发现 4σ 对 GTSDB 这类真实街景是成立的，但如果你用的是国内交通标志数据集，建议从 3σ 到 5σ 做一次扫描，挑召回率最高的值。

2.3 用 OpenCV 把公式变成 ROI 提取代码

这一节可以直接抄。我用 NumPy 做增强、OpenCV 做二值化和轮廓提取：

import cv2 import numpy as np def mser_color_enhance(img_bgr): # 输入为 BGR 图像，先把通道拆开方便做差分 b = img_bgr[..., 0].astype(np.float32) g = img_bgr[..., 1].astype(np.float32) r = img_bgr[..., 2].astype(np.float32) s = r + g + b + 1e-6 # 对应论文 X = x{R,G,B} - x{G,B,R} x = r - (g + b) # 对应 Y = x{R,G,B} - x{B,R,G} y = r - (b + g) f = np.maximum(0.0, np.minimum(x, y) / s) return f def extract_roi(img_bgr, scale=255.0): f = mser_color_enhance(img_bgr) f_u8 = (f * scale).astype("uint8") mu = f.mean() sigma = f.std() t = int((mu + 4.0 * sigma) * scale) _, mask = cv2.threshold(f_u8, t, 255, cv2.THRESH_BINARY) mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8)) cnts, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) rois = [] for c in cnts: area = cv2.contourArea(c) if area < 200: # 过滤噪声小区域 continue x, y, w, h = cv2.boundingRect(c) rois.append((x, y, w, h)) return rois

这段代码有几个关键点：增强响应是 0 到 1 的浮点数，转 uint8 时统一乘 255，阈值也同步换算；闭运算把标志边缘的断裂像素接起来，否则红色圆环会被拆成好几段轮廓。area < 200是经验值，我按 48×48 输入图片反推的——太小的区域归一化后基本是噪点，送进网络只会增加背景类样本量。

2.4 生成正负样本时的常见错误

ROI 提取出来之后，论文明确提到需要把候选区域标成正负样本：交通标志本身是正样本，颜色相近但内容不对的区域是负样本。这里有个新手常犯的错——直接用原图裁剪后送去训练。由于增强图里很多区域是"红色但非标志"，直接把整块 ROI 裁出来会混入大量接近背景的纹理。我一般会在裁剪后加一步背景边缘填充，把标志外圈向外扩 8 到 12 个像素，把周围环境信息保留一点点，反而提升分类头对边框的判别能力。另外，不同尺度的 ROI 必须统一归一化到 48×48，这一步最好是双线性插值，最近邻缩放在细纹理标志上会损失笔画信息。

3. 改进 LeNet-5 的结构设计与 Keras 多任务实现

3.1 基础 LeNet-5 的三个短板

LeNet-5 是 1998 年用于手写数字识别的 7 层网络：2 个卷积层、2 个池化层、3 个全连接层。直接把它搬到交通标志上会撞上三个问题：第一，5×5 卷积核在 48×48 输入上感受野偏大，细节特征提取不够细；第二，没有归一化层，深层激活值分布偏移时训练容易震荡；第三，原始结构只有分类输出，没有坐标回归头，检测框还是得靠外部程序画。论文的改进正是对着这三个短板来的。

3.2 结构改进一览

论文把卷积核统一换成 3×3，每个卷积层后接 BN 层和 ReLU，池化用 MaxPooling 2×2，最后分类层输出 31 维（30 类交通标志加 1 类背景），旁边再接一个 4 输出的坐标回归层。改进后的网络结构可以整理成下表：

原论文表里 Softmax 写的是 30+1，因为实验用的是 GTSRB 的一个 30 类子集；如果你直接跑 GTSRB 全量 43 类，把 31 改成 44 即可。右侧这组 4 输出的回归头，是网络能同时输出类别和位置的关键。

3.3 Keras 实现：分类头与回归头并行输出

我按论文结构重写了一份 Keras 实现，用函数式 API 搭双输出模型：

from tensorflow.keras.layers import ( Input, Conv2D, BatchNormalization, MaxPooling2D, Flatten, Dense, ReLU ) from tensorflow.keras.models import Model def build_tsr_model(num_classes=31): inp = Input(shape=(48, 48, 1)) x = Conv2D(64, (3, 3), padding="same")(inp) x = BatchNormalization()(x) x = ReLU()(x) x = MaxPooling2D((2, 2))(x) x = Conv2D(128, (3, 3), padding="same")(x) x = BatchNormalization()(x) x = ReLU()(x) x = MaxPooling2D((2, 2))(x) x = Conv2D(256, (3, 3), padding="same")(x) x = BatchNormalization()(x) x = ReLU()(x) x = MaxPooling2D((2, 2))(x) x = Flatten()(x) x = Dense(1024)(x) x = ReLU()(x) x = Dense(1024)(x) x = ReLU()(x) cls_out = Dense(num_classes, activation="softmax", name="cls")(x) box_out = Dense(4, name="box")(x) model = Model(inp, [cls_out, box_out]) return model model = build_tsr_model(num_classes=31) model.summary()

注意这里 Dense 层之后先接 ReLU 再接分类输出，没有在分类前单独做全局平均池化——论文结构就是全连接展开，保持一致性即可。BN 放在卷积之后、激活之前，作用是把这一层的输出分布拉回零均值单位方差，缓解内部协变量偏移。回归头是普通 Dense，没有归一化，因为坐标值有明确的物理含义，激活函数会限制输出范围。

3.4 灰度化与归一化：少一个通道，省三分之一显存

论文里明确做了一个实验观察：多通道图像识别率和灰度图几乎一样。这不是偶然，交通标志本身是红白、蓝白等高对比度设计，颜色信息在增强阶段已经被用掉了，进入网络的是候选区域的结构特征。所以输入层直接收单通道 48×48，训练速度更快，内存占用也更低。

预处理阶段我按论文的做法做了两步：灰度化用 cv2.cvtColor 的 COLOR_BGR2GRAY；归一化用每个像素减均值再除以标准差，而不是简单除以 255。关键区别在于，减均值除以标准差之后，输入数据分布类似以零为中心的高斯分布，整体落在正负区间，这比 0 到 1 分布更容易让 BN 层早期收敛。如果数据集本身对比度差别大，还可以用 cv2.equalizeHist 做一次自适应直方图均衡，但注意均衡化会改变颜色增强图的值分布，要在 MSER 增强之后、灰度化之前做。

4. Adam 优化器与提前停止：有限数据集上稳定训练的关键

4.1 损失震荡的根源

训练交通标志模型，最常见的问题是 loss 曲线上下跳，甚至几个 epoch 后直接发散。论文指出的原因是学习率固定导致的——固定学习率对梯度小的参数更新慢，对梯度大的参数又容易过冲，尤其在全连接层随机初始化后早期梯度变化剧烈。换成 SGD 加上手动学习率衰减当然也能收敛，但要反复试；Adam 把一阶矩和二阶矩都做了自适应估计，每个参数有自己的有效步长，前期快速接近最优区域，后期逐步稳定在局部极小附近，这就是论文选择 Adam 的理由。

4.2 Adam 超参怎么设，建议直接照抄这组

Adam 默认参数在大多数图像任务上已经能跑，但 batch_size 会影响它的稳定度：

我在复现时用 batch_size=32，lr=1e-3，前两个 epoch 的 loss 在 1.8 附近波动，从第 3 个 epoch 开始快速下降，第 5 个 epoch 后准确率就接近论文报告的收敛水平。如果你发现 loss 卡住不动，优先检查是不是增强后的 ROI 里混了太多非标志区域，而不是急着调学习率。

4.3 提前停止：自动保存验证集上最好的模型

论文提到"提前停止"时讲得很直白：在有限数据集上，训练周期过多会出现过拟合——训练集 acc 很高，验证集 acc 反而掉头向下；周期太少又会欠拟合。手动调 epoch 数很麻烦，所以用一个回调函数自动判断最优模型。Keras 里我这样配置：

from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint model.compile( optimizer=Adam(learning_rate=1e-3, beta_1=0.9, beta_2=0.999, epsilon=1e-8), loss={"cls": "categorical_crossentropy", "box": "mse"}, loss_weights={"cls": 1.0, "box": 0.5}, metrics={"cls": "accuracy"} ) callbacks = [ EarlyStopping( monitor="val_loss", patience=5, restore_best_weights=True, verbose=1 ), ModelCheckpoint( "best_tsr.h5", monitor="val_loss", save_best_only=True, verbose=1 ) ] history = model.fit( train_x, {"cls": train_cls, "box": train_box}, validation_data=(val_x, {"cls": val_cls, "box": val_box}), epochs=50, batch_size=32, callbacks=callbacks )

关键参数是 patience=5：连续 5 个 epoch 验证损失不刷新记录，就停止训练并回滚到最优权重。这个值不宜太小，否则梯度正常的波动也会提前掐断训练。restore_best_weights 一定设为 True，否则回调停了之后模型停留在最后一轮，而不是验证集最优的那轮。loss_weights里 box 设置 0.5，是因为坐标回归的 MSE 数值量级和分类交叉熵不一致，权重低一点可以避免分类任务被回归损失主导。

4.4 7:3 划分与交叉验证

论文的做法是把 GTSRB 按 7:3 随机划分成训练集和验证集，测试集单用 GTSDB 的 920 张带标签图像。注意这里有一个容易被忽略的细节：划分时要保证每个类别在训练集和验证集中的比例大致相同，也就是分层抽样。如果某一类样本正好被随机分到了验证集，训练集里缺了这类，那训练出来的模型对该类一定表现差，这不是网络问题，是数据划分的问题。

交叉验证对这个小数据集还有一层意义：单次训练结果有随机性，把训练测试过程重复数次取平均值，才是模型真实性能的无偏估计。论文的最后结果是多次实验平均而来的。我一般做 3 次，每次都用同一个类别分层逻辑，最后看三个 acc 的均值。如果三次结果方差超过 1%，就说明数据里有某几类样本量太少，需要回到 ROI 提取阶段补充该类的正确候选框。

5. 复现评估与迁移到自采数据的实用技巧

5.1 混淆矩阵对角线外才是调参重点

论文给出的测试集结果是准确率 99%、召回率 98%、f1-score 98%，但只看平均值会掩盖问题。直接看它提供的混淆矩阵：大部分数据分布在对角线上，但第 14 类召回率只有 0.93，第 20 类只有 0.80，第 28 类只有 0.79。这三类大概率是形状相似的限速标志或文字差异微小的禁令标志。复现时如果某类 acc 明显低，优先到 5.2 的迁移方案里查具体样本，不要整体调网络结构。

5.2 权重复用：从 GTSRB 迁移到自采图片

论文把训练好的模型权重和结构保存下来，直接把检测数据输入做识别，这就是迁移学习的思路。你可以把模型的前 8 层当作通用特征提取器，冻结这些层，只重新训练最后两个全连接层和回归头，适配你自己的标志类别集合。Keras 里实现很直接：

model.load_weights("best_tsr.h5") for layer in model.layers[:8]: layer.trainable = False model.compile( optimizer=Adam(learning_rate=1e-4), loss={"cls": "categorical_crossentropy", "box": "mse"}, loss_weights={"cls": 1.0, "box": 0.5}, metrics={"cls": "accuracy"} )

冻结前 8 层意味着保留 GTSRB 上学到的边缘、纹理和形状特征，新数据只负责学类别差异。学习率从 1e-3 降到 1e-4，否则冻结层和微调层的梯度尺度不同，权重更新容易被破坏。如果你要训自己的数据集，先跑一遍 4.3 的训练流程建立基线，再尝试整个模型不冻结从头微调，对比一下哪个方案在你的样本量下更好。

5.3 复跑一遍要盯的四个量

最后给出四件事，跑代码时对照检查。第一，ROI 提取的阈值 T 在 3σ 到 5σ 之间扫一遍，观察每张图提取出的轮廓数量；第二，训练 loss 是否在第 5 个 epoch 前后收敛，没收敛就检查 batch_size 和是否漏了 BN；第三，验证集和测试集必须类别独立分层，不能同源；第四，看混淆矩阵的低分列，结合具体图片判断是遮挡问题还是相似类混淆。按这四点做一次，你就能把论文的 98% 复制到自己的实验条件下。

本文还有配套的精品资源，点击获取