雾天目标检测：CEM颜色增强模块提升多模态融合mAP

雾天跑目标检测，我相信做过多模态融合的人都体会过那种无力感。晴天测试集上mAP刷到漂亮，一进雾天直接腰斩，尤其小目标几乎是“团灭”。上个月我在某项目里把YOLOv13这个内部多模态版本拉到真实雾天场景做验证，漏检率一度高到让我怀疑是不是数据标注出了问题。后来逐个环节排查，最终定位到问题的根子不在检测头，也不在融合策略，而是可见光模态在输入域阶段就已经被雾“改写了颜色”。顺着这个思路，我在融合前加了一个颜色增强模块CEM，双色引导保真色加轻量调制提对比度，雾天检测的mAP从38.5拉到45.7，推理耗时只多了1.2毫秒。这篇就把这个模块从设计到落地、再到踩坑修复的完整过程讲清楚，给做雾天检测、多模态融合或者域泛化的朋友一个可直接抄作业的参考。

1. 雾天漏检的根因：不是检测头不够强，是输入域已经偏了

先抛出我的结论：雾天检测效果差，很大一部分责任不在模型容量，而在输入图像的颜色分布已经偏离了训练域。很多团队花大力气改特征金字塔、换注意力机制、堆更强的Backbone，实际上是在一个已经退化的输入上做补救，效率自然低。

1.1 大气散射模型：透射率、大气光与颜色偏移

雾天成像在物理上可以用大气散射模型描述：

I(x) = J(x) × t(x) + A × (1 - t(x))

其中I(x)是相机实际捕获的像素，J(x)是清晰无雾的原始场景，A是大气光，t(x)是透射率。雾越浓，t(x)越接近0，意味着观测像素中场景本身的成分越来越少，大气光A的成分越来越多。

这里有个关键点：A不是灰度值，而是带颜色的环境光。在早晨的雾里它偏灰白，在城市扬尘天气里偏土黄，在海雾里偏蓝灰。这个带颜色的大气光叠加到每个像素上，就会导致所有物体的色彩向大气光方向“漂移”。红色尾灯会褪成橙色甚至灰白，绿色树木变成灰绿，白色车道线直接融进背景。

这种颜色偏移对检测的影响是系统性的。检测器在清晰图像上学到的颜色统计、纹理对比、边缘梯度分布，在雾天全部失效。尤其小目标，本身占据像素就少，再丢掉颜色对比度，特征在浅层就糊掉了，后面怎么提特征都救不回来。

1.2 多模态融合的现有路线为什么不够

我最早的想法很简单：可见光坏了，不是还有红外、深度图吗？YOLOv13的多模态分支融合了可见光、红外和3D点云特征，理论上可以用红外模态补足可见光的退化。实测下来发现，这个想法对了一半，但也带来了新的问题。

常见的多模态融合路线无非三种：输入端直接拼接、特征层双流融合、注意力门控加权。前两种的问题是，雾天可见光的特征和红外特征在数值分布、空间位置上差异很大，直接拼接会让网络花很多容量去学习模态间的对齐，真正用于目标判别的容量反而被稀释。注意力门控稍好，网络学会自动降低可见光权重、提高红外权重，但代价是：晴天的颜色语义信息被“习惯性”削弱了。

更麻烦的是对齐质量。多模态相机之间的内外参标定、帧同步、分辨率差异，任何一个环节有偏差，融合后的特征里就会出现错位。雾天亮度低、特征点少，自动配准鲁棒性更差。红外在雾天虽然能保留热辐射信息，但它没有颜色，检测时容易丢失雨雾天气里很重要的尾灯、信号灯语义。

所以我当时的判断是：多模态融合目前的问题不在“融合”本身，而在上游——可见光模态在进入融合之前，就已经是一张颜色退化严重的图了。与其让融合网络自己隐式地去修正，不如显式地在输入侧加一个颜色增强模块，先把可见光拉回正常分布，再去做模态融合。这就是CEM模块（Color Enhancement Module）要干的事。

2. CEM颜色增强模块的核心设计：双色引导保真色与轻量调制提对比度

CEM模块整体上分两个子分支：一个做保真色修复，一个做对比度调制。两个分支各自轻量、可端到端训练、可以随时插拔。我在设计时给它们分了明确工种：保真色负责“把退化的颜色拉回来”，对比度调制负责“把模糊的纹理推清晰”。

2.1 双色引导保真色的实现原理

先说为什么叫“双色引导”。我在实验里发现，大多数去雾算法的问题是过度追求“清”，把物体原有的颜色也一起改掉了。检测任务并不需要极致复原，它需要的是“颜色语义保真”——红色尾灯还是红色，绿色指示牌还是绿色。CEM里我用了RGB和HSV两个颜色空间的分工。

具体做法是这样的：输入图像F_rgb在进入Backbone前，被拆成两条路径。一条路径保留原始RGB信息，经过一个很浅的残差卷积结构，做结构保持；另一条路径把RGB转成HSV，重点处理H（色相）和S（饱和度）通道，V（亮度）通道在雾天退化最严重，受大气光影响最大，但它恰恰是很多去雾算法用来估计透射率的依据——这不仅不够准确，还会把色相信息一起带偏。

在HSV路径里，我加了一个可学习的色彩引导矩阵M_color。这个矩阵的输入不只是当前帧的HSV统计量，还同时接收红外/深度模态的特征统计量作为参考。这一点非常重要：红外模态不受雾影响，它提供的全局亮度和温度分布能帮助判断哪些区域的色偏是大气光造成的、哪些是物体本身的颜色。通过这个跨模态引导，模块对色度通道做全局白平衡和色彩迁移修正，得到修正后的HSV图，再转回RGB，通过残差连接与原始RGB相加。

用残差而不是直接替换，是我反复实验后确认的关键设计。直接替换的问题在于：一旦修正结果有点过度（比如把远处的灰白车漆硬拉成了偏红），检测主干原本学好的特征分布会被破坏，训练早期AP反而下降。残差结构让模块刚开始时只做很小的修正，网络有一个平稳过渡期；随着训练推进，模块再逐步加大修正力度，整个过程温和且收敛更稳。

2.2 轻量调制提对比度的机制

保真色修正解决的是“颜色漂移”，但雾天还有另一个问题：局部对比度下降，导致纹理细节丢失。这两个问题其实是叠加的，颜色漂移是全局性的偏色，对比度下降是局部性的模糊。

轻量调制分支的做法参考了图像增强里常用的对比度拉伸思想，但被我改到特征级去做了。它的流程是：对输入特征图按通道计算全局均值和标准差，然后经过一个瓶颈MLP——先用1×1卷积把通道压缩到原来的1/4，ReLU激活，再用1×1卷积恢复到原通道数——从而生成每个通道的调制系数α和偏置β。最终输出是：

F_enhanced = α × G(F) + β

其中G(F)是对特征图做了Instance Norm归一化后的结果。归一化之后再做缩放平移，相当于把每个通道的对比度重新拉开。雾越浓的区域，局部方差越低，归一化后的拉伸越明显，理论上该区域的纹理就越清晰。

为什么强调轻量？因为检测器做的是端到端推理，雾天场景往往又是车载、巡检这类对延迟敏感的应用。如果为了增强效果在输入侧挂一个几十层的大网络，整体推理速度会崩。这个调制分支只用了两个1×1卷积加一个归一化，参数量大约增加0.3M，在GPU上几乎可以忽略。我在低算力平台也测过，新增延迟在0.5毫秒以内，性价比非常高。

3. 把CEM真正嵌进YOLOv13多模态框架：接入位置、融合策略与训练方案

模块设计得再好，接入方式不对也一样白费。CEM的接入位置我前后试了三种，差异非常明显。这一章讲清楚每种方案的取舍、最终采用的组合方式，以及训练时的损失函数和分阶段策略。

3.1 接入位置：融合前还是融合后

我对比过三种接入位置，总结如下表：

最终我采用的是“输入端残差修正 + Backbone浅层特征调制”的组合方案。第一层卷积之后加入保真色分支的残差修正，让网络看到的浅层颜色分布更接近清晰域；对比度调制分支放在P2和P3这两个高分辨率特征层上，因为这两层对应小目标的细节和纹理，是雾天最容易丢失信息的位置。

这里有个细节要注意：CEM的两个分支是解耦的。保真色分支作用在主干浅层，对比度调制作用在特征金字塔的低层。不要把它们都堆在同一个位置，否则模块内部互相干扰，调参很痛苦。

3.2 跨模态对齐、融合层与通道组织

多模态融合部分，我的做法是保留YOLOv13原有的双流结构：可见光分支接CEM增强，红外/深度分支保持原始平流。两个分支各自提取特征后，在NECK的P2、P3、P4层做通道拼接，再用1×1卷积做通道压缩和权重分配。

这种“增强只见可见光，融合时全模态参与”的好处是：红外分支的梯度不受CEM影响，训练更稳定；融合层能同时看到修复后的颜色特征和可靠的红外热辐射特征。从实验结果看，完整融合后的特征比单独用任一分支都更稳健，尤其是浓雾场景下，红外分支可以纠正CEM在极低透射率区域的信息丢失。

跨模态对齐是不得不提的硬骨头。我在早期版本里直接把可见光和红外特征做拼接，结果在目标边缘出现大量错位伪影。后来做了两步修正：第一步，训练期间对红外特征施加随机的平移、旋转扰动，模拟真实标定误差，让融合层学习容忍错位；第二步，在损失计算时对透射率极低、可见光几乎完全失效的区域做掩码降权，避免网络被这些区域的不可靠增强结果带偏。

3.3 损失函数与分阶段训练策略

CEM不能单独训练了再接回来，也不能上来就端到端硬训练。我试过直接端到端，前200个迭代损失下降得很猛，之后就开始震荡。原因在于CEM的参数初始状态下还没学会正确的颜色修正方向，梯度信号是乱的，把主干原本稳定的特征分布全带偏了。

最终采用三阶段训练：

第一阶段，单独预训练保真色分支。用合成雾图对清晰图做重建，损失函数是L1加饱和度一致性约束：

L_sat = L1(F_recovered, F_clean) + λ × ||Sat(F_recovered) - Sat(F_clean)||²

这个阶段只让CEM学会“把雾天颜色拉回正常”，不碰检测损失。

第二阶段，冻结保真色分支，只训练对比度调制分支，和整个检测网络一起端到端。此时检测损失（CIoU加分类BCE）加上对比度正则：

L_contrast = max(0, η - Var(F_enhanced))

这条约束的含义是：增强后特征的局部方差不能低于阈值η，防止对比度调制过度平滑或过度锐化。

第三阶段，全部解锁，联合微调。学习率降到第一阶段的1/10，此时CEM已经收敛到一个合理区间，主干特征也适应了增强后的分布，联合微调能让两个部分配合得更默契。

需要提醒的是，第一阶段不要训练太久。我在合成雾图上训练超过20轮，CEM开始过拟合合成雾分布，真实雾天反而下降。建议保留验证集，选在真实雾天图像上表现最好的checkpoint，不要只看合成数据指标。

4. 实验效果：提升幅度、消融贡献与推理开销

这一章给出一份可供复现的评测方案和实验结论。指标采用COCO风格的mAP50，以及小目标AP_s分组指标；数据集用的是合成雾增强训练集加真实雾天测试集，全部封闭验证，保证可比性。

4.1 消融实验：每个子模块的真实贡献

我做了一组四路消融，结果如下：

先说结论：保真色分支的贡献明显大于对比度调制分支，这个符合预期，因为雾天检测的主导问题就是颜色分布偏移；单独加对比度调制只提升1.8个点，说明在不修正颜色域的强况下，单纯提对比度效果有限。但两个分支合在一起不是简单相加，而是协同放大——完整CEM比单独使用任一分支的高值还高出3.6个点。

从分组看，小目标AP_s的提升幅度（从21.3到28.4）比大目标更明显。原因是小目标主要依赖浅层颜色纹理特征，雾天最先丢失的就是这部分信息，CEM恢复浅层输入域后，小目标的特征恢复最彻底。

4.2 不同雾浓度下的表现差异

我还把真实雾天测试集按能见度分了三组：轻雾（能见度300米以上）、中雾（150米到300米）、浓雾（150米以下）。基准和CEM在这三组的表现差异也值得一看：

雾越浓，CEM带来的提升越大，这个结论非常有价值。浓雾场景下基准模型已经接近“基本不可用”，而加了CEM之后依然能维持在42以上的水平。这说明颜色增强组件在极端退化条件下，比任何检测头层面的缝缝补补都更有性价比。

4.3 推理开销与部署注意点

参数增加0.8M，推理延迟增加1.2毫秒，这是在公司内部GPU集群和边缘部署板卡上分别测过的。GPU上损失很小，边缘板卡上延迟略高，因为1×1卷积和通道统计计算在低算力设备上还是有一定开销。如果你部署的硬件特别紧张，我建议优先保留保真色分支，砍掉对比度调制，因为消融实验证明对比度调制的单独贡献有限；如果把两个分支都保留，又要压缩延迟，可以对P3层不做对比度调制，只做P2层，延迟能控制在0.8毫秒左右。

另外要提醒的是，CEM的输入尺寸和Backbone第一层要严格对齐。如果中间有resize、padding操作，色彩引导矩阵的统计量会被污染，增强效果明显下降。这个坑我遇到过，代价是排查了半天才发现是预处理管道的尺寸不一致导致的。

5. 复现过程中踩过的坑与完整排查链路

这里写三个我在复现和调优过程中实际踩过的坑，每一个都花了不少时间定位。把这些过程完整写出来，比直接给结论更有参考价值——至少你能知道排查思路长什么样，遇到类似问题不至于从头开始。

5.1 训练震荡且验证集AP跳变：BatchNorm统计量与颜色恢复冲突

现象非常典型：第一阶段预训练CEM很顺利，第二阶段解锁检测网络一起端到端训练后，前200轮loss下降正常，之后开始阶梯式震荡，每个epoch之间验证集AP跳动超过5个点。一开始我以为是学习率太大，调到1e-5也没有实质改善。

排查链路从batch数据入手。我把每个batch增强前后的特征图统计量打印出来，发现经过CEM保真色分支后，RGB三通道的均值和方差在batch间波动极大，有的batch R通道均值是110，下一个batch直接跳到145。问题就出在CEM内部用了BatchNorm，而颜色恢复操作本身就大幅改变了特征分布，BatchNorm又把这种分布变化成倍放大了，导致后续卷积层输入分布剧烈波动。

修复方案是把CEM内部的BatchNorm全部替换成InstanceNorm。InstanceNorm在单样本上独立计算统计量，不会被batch内的色彩分布差异干扰，增强后的特征分布平稳了很多。替换之后训练Loss曲线立即恢复平滑，验证集AP的跳变也随之消失。如果你要用BatchNorm也不是不行，但需要把CEM分支和主干分支的BatchNorm分成两组统计量分别维护，操作起来麻烦，不如直接上InstanceNorm省心。

5.2 目标边缘出现彩色伪影：多模态引导矩阵放大了对齐误差

第二阶段后期，我在真实雾天图像上观察到一类奇怪现象：检测框内的目标边缘，尤其是车顶和车窗交界处，出现了明显的红蓝彩边，类似高光溢出的伪影。这些伪影在基准模型上不存在，说明是CEM引入的。

排查时我先单测了保真色分支，发现单独跑RGB流没有彩边，加上红外引导矩阵后立刻出现。我检查了红外图和可见光图的配准精度，发现这台设备上两个模态的平均对齐误差有3到5个像素，恰好和目标边缘宽度一个量级。引导矩阵从红外特征中提取统计量时，把边缘附近的红外信息当成了颜色先验，而且对齐误差让这个先验加到了错误的像素位置，于是形成了彩色伪影。

我当时给了两套修复方案。第一套是彻底的对齐增强：训练时对红外特征做随机平移扰动（平移量范围对应实际误差的1到2倍），让融合层和CEM都学会容忍错位。第二套是针对透射率极低区域的掩码策略：用轻量网络估算透射率图，对透射率低于0.1的区域（几乎完全被雾覆盖）将引导矩阵的权重置零，这些区域的信息已经不可信，强行增强只会制造伪影。两套方案叠加之后，彩边问题基本消失，真实雾天下的mAP又提升了1个多点。

5.3 浓雾区域噪声被过度放大：调制参数需要约束

最后一个问题出在对比度调制分支。早期版本里，调制参数α没有做范围限制，网络在浓雾区域为了强行拉大对比度，会把α推到超过10的数值，结果特征方差是被拉开了，但低频噪声也被同步放大。具体表现是：强雾区域的目标被一层明显的颗粒状纹理覆盖，检测器把噪声误判成目标纹理，产生了大量置信度虚高的误检框。

排查后确认是调制参数的范围问题。修复方式是给α的logits加了一个tanh激活，把最终调制系数限制在0到2之间，再叠加一个残差连接，让调制分支在不工作时输出等同于输入的特征。这个小小的改动让误检率下降了差不多20%，而且在晴天下也几乎没有副作用——因为调制分支在晴天域会自然输出接近1的系数，相当于组件自动关闭了。

最后聊一个调试心得

把CEM模块方案回滚过三次之后，我最大的体会是：任何输入侧增强组件，都一定要尊重检测主干的“既有认知”。你可以在输入域上做修正，但要通过残差连接给网络留出选择权——让网络自己决定用多少修正后的信息，而不是强行替换掉它原先看到的内容。这个原则不仅适用于CEM，也适用于所有去雾、去雨、超分这类在检测前加增强模块的设计。做完这套改进之后，我养成了一个习惯：每次评估雾天检测效果，不再只看图表上的mAP，而是会专门去找雾最浓、颜色退化最严重的那些样本，逐张看增强前后的浅层特征图和最终输出。很多问题，指标上已经被平滑掉了，只有盯着最恶劣的少数样本，才能真正知道模型还有没有救。CEM这套思路目前在我们内部的几个雾天项目里都稳定复用了，希望这篇记录也能帮你在自己的多模态检测方案里少走几段弯路。