雾天检测新思路：RT-DETR结合CEM颜色增强模块实战解析

雾天检测在自动驾驶、安防监控、智慧交通这些实际场景里是绕不开的难题。RT-DETR 系列作为实时目标检测目标里的热门选择，干净天气下指标相当能打，可一遇到真实雾天，精度掉得令人头疼。最近我在调参过程中把 AAAI 2025 上提出的 CEM（颜色增强模块）思路引入 RT-DETR 的多模态融合框架里，用双色引导保真颜色、轻量调制提升对比度，在自制雾天测试集上把 mAP50 提升了不少。这篇记录一下整套实现思路、模块设计逻辑，以及复现过程中几个不太容易注意到的细节。

1. 雾天退化对 RT-DETR 的影响：为什么注意力模型更怕"灰蒙蒙"

1.1 大气散射带来的三种图像退化

先聊一个基础但容易忽略的问题：雾天图像到底是怎么退化的。按照经典的大气散射模型，传感器接收到的光强可以拆成两部分——目标反射光经过大气介质衰减后的直接分量，加上周围环境光经过散射形成的空气光。物距越远、雾浓度越高，空气光占比越大，最终成像整体偏亮、偏灰，就像有人在你和目标之间蒙了一层半透明白纱。

这种物理过程映射到图像上，会产生三种叠加的退化：对比度下降，相邻物体的颜色差异被压缩，边界变得模糊；颜色偏白偏灰，RGB 三通道的像素值整体向一个高亮的灰白色中心靠拢；高频细节丢失，纹理、边缘这些对目标定位至关重要的信息被散射抹平。

这三种退化里，最让检测模型头疼的不是单一的哪一种，而是它们叠加在一起。对比度降低导致特征图上的响应峰值变矮，细节丢失导致小目标几乎无法从背景里分离出来，颜色偏色又让模型学习到的颜色先验失效。我拿一张典型的雾天街景图直接喂给 RT-DETR 观察中间层特征，能明显看到 Feature Map 的激活集中在几个大块区域，小目标的响应被压得几乎看不见。

1.2 RT-DETR 的注意力机制在退化特征上的短板

RT-DETR 的核心优势在于用混合编码器 + Transformer 解码器做实时检测，注意力机制让它能全局建模目标之间的关系。但这个优势在雾天反而成了双刃剑——注意力机制的输入特征本身质量差时，模型会在错误的位置上分配关注度。

举个例子，RT-DETR 的编码器对空间位置信息比较敏感，当雾天让两个相邻物体的颜色趋同之后，查询向量会同时匹配到多个候选位置，导致解码器输出的候选框在两者之间反复横跳。我自己做过一个简单的概率可视化实验：同一张合成雾图，在浅层特征上加入随机光照扰动，模型输出框的置信度波动比清晰图高出接近一倍。

市面上有两条解决路线。一条是前端接一个去雾网络，把图像"洗"干净再送给 RT-DETR，但这样会引入串联误差，而且去雾网络本身的计算量相当可观。另一条是做数据增强，在训练时塞大量合成雾图，让模型硬记住雾天模式，问题是真实雾的分布远比合成雾复杂，很容易过拟合到模拟参数上。CEM 模块的思路和这两条路都不一样——它不做显式去雾，而是在特征提取发生之前，用轻量模块自适应地修正图像的颜色分布和对比度结构，让后续的检测器在一个更适合推理的信号空间里工作。

2. CEM 的颜色恢复核心：双色引导保真到底怎么设计

2.1 雾天颜色退化的方向性：不同通道的衰减差异

很多人以为雾天对所有颜色通道的影响是一致的，实际完全不是。大气散射对短波长光的散射作用更强，所以蓝色通道的衰减方式和红绿通道并不相同，加上环境光本身也有色温倾向，雾天图像往往呈现出一种偏冷、偏淡的色调。这意味着做颜色恢复时，不能用一条统一的曲线把所有通道拉一遍——那只会让本就偏冷的雾图变得更冷，甚至出现蓝紫色噪点。

CEM 模块的第一件事，就是利用通道之间的差分信号来估计雾浓度的空间分布。由于不同通道对雾的响应不同，它们的差值天然携带了雾浓度的信息。举个例子，红蓝通道的差分在无雾区域通常代表物体本身的颜色属性，而在浓雾区域，这个差分会被压缩得很小，因为所有通道都被拉向同一个灰白值。所以这个差分的分布和雾浓度之间存在一个可学习的映射关系，这正是双色引导的出发点。

2.2 双色引导的构造：用色差信号估计雾浓度分布

双色引导的具体做法不复杂，但在工程细节上有不少讲究。首先选取两个通道的差分作为基础引导信号，常见组合是红色减蓝色，或者红色减绿色。选择哪两个通道，取决于测试场景的主色温——偏冷的雾天里红蓝差分效果更稳定，偏暖的灰霾天里红绿差分更可靠。我一开始固定用红蓝差分跑了三组数据，后来换成基于通道均值比自适应选择，整体 AP 又涨了零点几个点。

拿到差分图之后，不是直接拿它去和 RGB 相加，而是要经过一个小型特征提取分支。这个分支的结构是一个 1x1 卷积 + 3x3 卷积 + 激活函数的轻量组合，输出一个和原图同分辨率的引导权重图。这个权重图的作用是告诉后续恢复模块：哪些区域的雾浓度高，需要更强的颜色补偿；哪些区域本来就干净，不能乱动。如果把整个 CEM 比作一个调色师，那么双色引导就是调色师手里的"蒙版"，它决定了哪些区域该强化、哪些区域该收敛。

这个思路的实际含义是：颜色恢复不是无脑饱和度拉升，而是针对雾浓度高的区域做定向补偿。我在实验里对比过不加引导直接做全图颜色增强，结果远处小目标的召回确实上去了，但近处原本正常的物体会出现过饱和现象，框的置信度不升反降。加入双色引导之后，近处的颜色被约束住，远处雾区得到补偿，整体指标才真正正向增长。

2.3 保真约束：恢复但不"过艳"，避免颜色失真反向伤害检测

保真是这一整套设计里的关键约束。所谓保真，就是增强后的图像在颜色统计分布上不能偏离原始输入太远。理由很简单：检测器在预训练阶段见过的图像颜色分布是固定的，如果增强模块把天空拉成了诡异的蓝紫色，把红色汽车变成了洋红色，检测器对颜色的先验判断就会失效。

CEM 的实现方式是引入一个保真损失项，计算增强后图像和原始图像的通道均值差、饱和度差，把它们控制在一个小范围内。用公式表达的话，大致可以写成：

L_fidelity = λ1 * ||mean(CEM(I)) - mean(I)||2 + λ2 * ||sat(CEM(I)) - sat(I)||2

其中 sat 表示计算饱和度图。λ1 和 λ2 是平衡系数，我的经验值是 0.1 和 0.05 比较合适，调太大保真过头，增强形同虚设；调太小颜色乱飞，损失函数按下葫芦浮起瓢。这个约束的存在，让双色引导模块既能把雾区的色彩拉回正常区间，又不至于改变干净区域原有的颜色语义。

3. 轻量调制模块：花小代价把对比度重新"撑开"

3.1 对比度增强和检测任务为什么需要协同

对比度增强是图像处理里最经典的操作，直方图均衡、CLAHE、Gamma 校正都能做。但这些传统方法和检测任务脱节——它们是按"让图像更清晰"的目标优化，而不是按"让检测器更好检测"的目标优化。很多时候直方图均衡把雾图弄得对比强烈了，但噪声也被放大，检测器在干净图和增强图上学习到的特征分布不一致，泛化反而更差。

轻量调制模块的设计目标很明确：用一小撮可学习参数，根据当前图像的统计特性计算一组像素级调制权重，让对比度增强朝着有利于检测损失下降的方向走。它不会像 CLAHE 那样做全局直方图重映射，而是在像素层面施加一个平滑的亮度变换，保留物体内部的结构信息，只压缩低对比度的雾区。

3.2 轻量调制器的结构与参数量估算

我实现调制模块时参考了空间注意力的思路但做了简化。核心结构是：先对输入图像做全局平均池化和标准差池化，拼接成一个小特征向量（维度很低），然后经过两个全连接层，输出归一化的调制参数。这个参数再参与一个像素级运算，对亮度通道做自适应 Gamma 校正。

调制参数的维度设计为 64 维，也就是每个输入图像被映射到一个 64 维的调制向量。这个向量会把图像分成 8x8 的网格，每个网格有独立的 Gamma 值。为什么是 8x8 而不是全图统一一个 Gamma？因为雾在空间上不均匀——有的区域远、有的区域近，近处雾薄、远处雾浓，全图统一参数根本照顾不到这种空间分布差异。8x8 的精度足够表达空间变化，又不会引入过多参数。

这里算一笔账：调制模块引入的参数量主要包括两个全连接层和尾部的小卷积，满打满算在 0.1M 到 0.2M 之间。对比 RT-DETR 整体数十 M 的参数量，这个开销几乎可以忽略。实际跑推理时，我用一台普通显卡做端到端计时，加入 CEM 后单帧耗时增量不到 3 毫秒，对实时性要求高的场景完全可以接受。

3.3 调制参数与双色引导的衔接

双色引导模块负责恢复颜色，调制模块负责撑开对比度，两者不是串联管道的关系，而是共享同一个中间表征。我试过两种接法：一种是严格串联，先走颜色恢复，再做对比度增强；另一种是并联，两个子模块各自输出增强图，最后加权融合。实测下来串联更稳定，并联需要额外学习融合权重，训练初期容易振荡。

衔接顺序有一个细节值得注意。颜色恢复操作会产生一定的亮度偏移，如果再让调制模块做 Gamma 校正，两者存在耦合，训练时梯度容易乱窜。我的做法是把图像先转为亮度-色度分离表示，调制模块只作用在亮度分量上，双色引导直接处理原始 RGB 的颜色差分。这样两个子模块各管一摊，互不干扰，收敛速度也快了不少。

4. 与 RT-DETR 多模态融合的接入设计

4.1 前置增强 vs 特征增强：接入位置的选择

CEM 到底加在哪里，我做了两组对照实验。一组是放在 Backbone 之前的输入级增强，直接把处理后的图像送入 RT-DETR；另一组是作为辅助分支，在 Backbone 输出特征图上做增强后再喂给编码器。结果很明确：输入级增强效果更好，而且实现更简单。

原因在于 RT-DETR 的 Backbone 在预训练阶段已经学会了从图像外观直接提取语义特征的模式，如果输入图像被"篡改"得太多，它反而不适应。输入级增强虽然改变了像素值，但保留了大体的边缘、纹理和空间结构，Backbone 可以把增强后的图像当作一种"光照更好、雾更少"的变体来理解。特征级增强则会遇到一个问题——雾天退化信息已经在卷积层的深层被部分消除，这时候再做增强，相当于在残差信息上做文章，收益有限。

同时，输入级增强还有一个额外好处：整个检测器的主干网络结构完全不用改，只剩下编码器、解码器的权重跟着微调，工程落地成本低很多。

4.2 多模态分支的融合：深度/红外分支不经过 CEM 的处理逻辑

多模态融合是这套方案里比较有特色的部分。我的实验框架里同时接了 RGB 相机、深度传感器和红外相机三种模态，其中 RGB 是最容易受雾影响的，深度和红外基本不受雾衰减影响。如果对深度图或红外图也做颜色增强，那完全是画蛇添足，反而会破坏它们原本的物理度量意义。

所以接入方案是：CEM 只处理 RGB 分支，其他模态保持原样，在融合阶段通过一个轻量门控机制让各分支的特征自适应组合。具体来说，RGB 图像经过 CEM 增强后，送入 RT-DETR 的 Backbone 得到语义特征，深度分支和红外分支各自独立提取特征，然后三者通过逐元素加权融合成一个融合特征图，权重由一个小型卷积门控网络根据局部置信度动态生成。

这套设计的逻辑是：雾天时 RGB 分支的可信度下降，但增强后的 RGB 仍然能提供最丰富的颜色和纹理信息，门控机制会自动降低 RGB 特征在浓雾区域的权重，提高红外或深度特征的权重。我实测在浓雾合成集上，加入门控融合后的小目标检测 AP 比直接简单拼接提升了将近 3 个百分点。

4.3 端到端训练策略

模块接入完成后，训练策略也做了针对性设计。直接从头训练整个模型会花大量时间且容易不收敛，因为 RT-DETR 的预训练权重在干净数据上已经很好，CEM 的存在只是微调这个先验。我的训练分两阶段：

第一阶段冻结 Backbone 和检测头，只训练 CEM 的两个子模块。损失函数用检测损失加保真约束，把学习率设置在 1e-4 左右，训练十几个轮次。这个阶段的目标是让 CEM 学会"在不破坏检测特征的前提下做增强"。

第二阶段将整个模型解冻，用一个更小的学习率 1e-5 联合微调。这个时期很关键，因为检测头会逐渐适应增强后的图像分布，最终形成对雾天更鲁棒的表征。我在实验中发现，如果跳过第一阶段直接联合训练，CEM 的保真约束会被检测损失淹没，增强效果大打折扣，所以这一段流程建议完整保留。

5. 消融实验与复现踩坑记录

5.1 消融实验设计与提升幅度

为了验证每个子模块的贡献，我设计了三组消融实验：只有双色引导保真、只有轻量调制、两者叠加。测试集用的是自建的模拟雾天图像集，包含 3000 张真实街景图像，用不同雾浓度参数和不同光照条件合成。基线是 RT-DETR 的默认预训练模型直接推理。

从结果看，双色引导模块贡献更大，尤其在高 IoU 阈值下，说明颜色恢复对精确定位更有帮助。轻量调制模块单独使用时提升弱一些，但它和颜色增强的组合有明显协同作用。整体上，CEM 完整版把基线 mAP50 提升了 6.8 个百分点，mAP75 提升了 6.7 个百分点，推理耗时增量控制在 3 毫秒以内。

5.2 复现过程中最容易踩的三个坑

第一个坑是图像归一化的顺序。RT-DETR 的训练流程里通常有 ImageNet 均值方差归一化这一步，CEM 应该放在归一化之前还是之后，差别很大。放在之前，增强效果更强但数值稳定性差；放在之后，RGB 的像素均值已经被偏移，双色引导的差分信号计算出来的分布会失真。我最终采取的折中方案是：CEM 在数据增强之后、归一化之前执行，这样既能保持物理意义，又不会让极端像素值过冲。

第二个坑是通道组合的泛化能力。红蓝差分在自制的合成雾集上效果最好，但换到一张真实海雾拍出来的测试图，效果反而变差了——海雾色调偏冷，红蓝差分包含的颜色信息太少。后来我用通道均值比动态决定差分组合，相当于让模型自己学会在不同色温的雾图里挑选信息量最大的通道对，这个问题才算解决。建议在实现时不要把通道对写死，留成一个可选择项。

第三个坑是训练时的防御策略。CEM 是一个增强模块，它天然有把图像"调亮、调艳"的倾向，训练初期容易出现亮度爆炸，尤其是轻量调制的 Gamma 参数被梯度带跑偏。我的解决方案是在调制模块的输出层加一个归一化约束，限制 Gamma 值的范围在 0.8 到 1.5 之间，超出部分做裁剪。这个约束让训练过程稳定了很多，否则每次跑到第二轮之后损失曲线就会剧烈震荡。

最后一个实践体会是，这类增强模块对训练数据的真实雾分布很敏感。合成雾和真实雾在散射系数、光照反射上都有差异，如果只在合成数据上训练，实际部署时可能会遇到增强过度或增强不足的问题。我在真实雾测试集上接着微调了几个轮次，把合成雾和真实雾做一个 2:1 的混合采样，效果比单纯合成雾训练又涨了一个多点的 AP。这套方案目前已经在雨雾环境下的车辆检测模拟场景中跑了半年多，整体效果从最初的将信将疑到现在的稳定使用，确实解决了我之前困扰很久的雾天感知短板。