YOLO小目标检测优化：CAFMAttention卷积注意力融合模块实践

在目标检测这个方向上，常规指标刷到一定程度之后，最让人头疼的就是小目标。图像里那些占据几十个像素甚至更少的物体，看着不大，却能把一个看起来已经“收敛”的模型直接打回原形。这篇内容想记录的，就是我在基于YOLO系结构持续迭代的一套检测框架里，加入了一个卷积和注意力融合的模块——CAFMAttention，专门针对小目标检测做优化的完整思路和实操过程，包括模块设计逻辑、代码实现、插入位置、训练调参，以及几个让我印象深刻的坑。

整个方案的目标很直接：在不明显增加计算量的前提下，把模型在小目标上的AP值提上去，同时保持中大型目标的检测性能不退化。如果你也被航拍图像、遥感影像、工业质检里的微小缺陷这类任务折磨过，或者你自己在魔改YOLO网络结构但总是“加了一堆模块却没效果”，这篇文章应该能给你一些落地的参考。

1. 小目标检测为什么这么难

1.1 小目标到底难在哪

小目标的问题从来不只是一个“分辨率低”的问题。拿常见的COCO标准来说，小目标通常指像素面积小于32x32的目标，但在实际项目里，很多目标的边长只有10到20个像素。这种目标在原始图像里可能有信息，经过一次下采样、两次下采样之后，特征图上的响应区域基本就剩几个点了；等传到深层网络时，特征已经几乎被磨平了。

这不是单纯“换个更大的模型”就能解决的。卷积网络下采样是有代价的：stride越大，空间细节丢失越多。很多小目标本身就不稳定，比如航拍图像里的汽车、工地上的小杂物、工业场景中的细微信号，它们的纹理信息微弱，经过多次卷积之后会进一步被周围背景“稀释”。这就是为什么小目标检测的本质难点在于“特征在传递过程中被弱化甚至消失”，而不是模型没有拟合能力。

另一个容易被忽略的点是边界框回归的误差占比。同等大小的定位误差，对于大目标来说只占bbox面积的几个百分点，对于小目标可能直接让IoU跌到0.5以下。所以小目标检测对定位精度的要求比大目标苛刻得多，这也是为什么很多模型一测小目标AP就“露馅”了。

1.2 YOLO架构里哪些设计对小目标不友好

我长期用的这套YOLO系框架，主体结构和其他主流YOLO版本类似：Backbone负责提取多尺度特征，Neck部分用FPN/PAN结构融合不同层的语义和细节信息，Head做分类和回归。从整体设计上看，它对常规尺寸的目标效果很好，但对小目标存在几个结构性瓶颈。

第一是Backbone末端特征图的下采样倍数太大。常规配置里，最小尺度的特征图相对原图通常有32倍下采样，小目标在这个层的有效面积已经趋近于无。第二是Neck部分的自顶向下路径主要传递高层语义信息，对小目标必要的空间细节修复能力有限。第三是标签分配阶段，小目标匹配到的正样本数量本来就少，如果不做特殊处理，训练时模型在“小目标区域”接收到的监督信号会很稀疏。

有意思的是，这些问题往往是叠加出现，而不是单独存在。只靠调大输入分辨率、加训练轮数，能解决一部分问题，但模型会很快进入瓶颈，因为结构本身没有给“小目标特征”留出足够的存在空间。这也是我决定从模块层面动手的原因。

2. CAFMAttention模块设计思路

2.1 为什么不能只加注意力

现在网上有很多注意力机制，SE注意力做通道重标定，CBAM在通道和空间上都做，CA坐标注意力额外引入了位置信息。它们确实能提升精度，但我在实际使用中发现，单独把注意力加到YOLO的Neck或者Backbone里，小目标的提升往往有限，有时候甚至不明显。

原因其实不难理解：注意力机制的本质是“重新加权”，它把已有的特征按照重要程度重新分配权重，但它不负责“制造新的信息”。小目标的问题恰恰是特征太弱、太稀疏，你把它仅有的一点信息再加权，权重再高也改变不了信息量不够的事实。

小目标需要两个层面的能力：一是“从局部细节中发现微小特征”，这需要卷积来提取边缘、纹理等信息；二是“知道这个微小特征出现在哪里、周围有什么环境”，这需要注意力机制来做上下文感知。两个能力强依赖，却不能互相替代。

2.2 模块结构拆解

CAFMAttention的核心设计就是两条支路，一条走卷积，一条走注意力，最后融合起来。这样说可能有点抽象，我直接说结构。

输入特征图进来之后，先经过一个卷积支路，这个卷积支路用来提取局部细节。我选的是kernel size为3的卷积，加BatchNorm和SiLU激活。这条支路的作用本质上是增强特征表达，把Backbone传过来的粗糙特征稍微“精修”一遍，相当于给小目标补了一次局部建模的机会。

另一边是注意力支路，我又拆成了通道注意力和空间注意力两个子模块。通道注意力用全局平均池化加两层1x1卷积实现，用来判断“哪些通道对当前目标更关键”；空间注意力用一个大kernel卷积生成空间权重图，用来判断“特征图的哪些区域值得关注”。这个设计有点类似CBAM，但区别在于，这里的注意力支路不是直接作用在原始输入上，而是在和卷积支路并行，两个支路各司其职。

最后是融合层。把通道注意力加权后的特征和空间注意力加权后的特征在通道维度上拼接起来，过一个1x1卷积融合，再加回输入特征图上，形成一个残差式的输出。之所以要残差连接，是为了让原始信息保留一条直通路径，避免模块加深之后出现梯度退化。

我做的融合还引入了一个可学习的门控参数，用Sigmoid或者直接一个初始化值来控制注意力支路对最终输出的贡献比例。这个设计在实验里比固定权重有效得多，因为它让网络自己决定“当前阶段应该更依赖注意力还是更依赖纯卷积提取的信息”。

2.3 为什么这个设计对小目标有效

我自己的理解是这样的：小目标检测对特征的要求是“局部细节要锐利，全局位置要准确”。卷积支路在优化局部特征锐度，注意力支路在优化全局响应位置，两者融合后，同一个特征图既有了更丰富的局部响应，又有了更明确的注意力指向。这和“只做通道加权”或者“只做空间加权”有本质区别。

举个例子，在遥感图像里检测一个小型建筑物，它的边缘信息很弱，周围全是相似色调的背景。单纯用注意力机制，模型可能会把注意力分散到多个候选区域；单纯用卷积堆叠，局部特征虽然被增强了，但模型不知道应该把“注意力”聚焦在哪个区域。两条支路合在一起，模型有机会学到“局部出现了类似建筑物的边缘，同时这里也是全局响应中应该被注意的位置”，两个条件同时满足，检测置信度自然更高。

还有一个细节：我给空间注意力设置了较大的卷积核（7x7），原因是小目标的上下文信息通常需要跨越更大的空间范围才能捕捉，太小感受野的卷积核很难感知到目标的周边环境。

3. 在检测框架里的集成实操

3.1 模块代码实现

下面直接给一个完整可用的实现，基于PyTorch，我在自己框架里测试过，代码风格也尽量贴近YOLO系项目里常见的写法。

import torch import torch.nn as nn class CAFMAttention(nn.Module): def __init__(self, c1, c2, k=3, r=16): super().__init__() # 卷积支路：提取局部细节 self.conv_branch = nn.Sequential( nn.Conv2d(c1, c2, k, padding=k // 2, bias=False), nn.BatchNorm2d(c2), nn.SiLU(inplace=True) ) # 通道注意力子分支 hidden = max(c2 // r, 4) self.ch_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(c2, hidden, 1, bias=False), nn.SiLU(inplace=True), nn.Conv2d(hidden, c2, 1, bias=False), nn.Sigmoid() ) # 空间注意力子分支 self.sp_att = nn.Sequential( nn.Conv2d(c2, 1, 7, padding=3, bias=False), nn.Sigmoid() ) # 融合层 self.fuse = nn.Sequential( nn.Conv2d(c2 * 2, c2, 1, bias=False), nn.BatchNorm2d(c2) ) # 可学习融合权重 self.gate = nn.Parameter(torch.tensor(0.5)) self.act = nn.SiLU(inplace=True) def forward(self, x): identity = x x = self.conv_branch(x) ch_out = self.ch_att(x) * x sp_out = self.sp_att(x) * x y = self.fuse(torch.cat([ch_out, sp_out], dim=1)) # 残差加回，gate控制注意力支路贡献 y = self.act(self.gate * y + identity) return y

这里有一个细节要注意：c1和c2如果相等，可以直接残差加回；如果不相等，需要在前面的identity上补一个1x1卷积对齐通道，或者干脆让模块内部的第一个卷积直接完成通道变换，identity只保留原始输入的特征数量。我建议一般把c1设为c2，放在Neck中通道自然对齐的层级上，会比较省事。

3.2 先确定插入位置

我先尝试过把CAFMAttention加在Backbone的深层（C4/C5位置），发现精度提升很有限，而且FLOPS涨了不少。后来对比实验做下来，发现效果最好的位置在Neck的PAN结构里，具体来说，是在FPN自顶向下融合之后、PAN自底向上特征传递之前。更通俗地说，就是把模块放在特征融合的关键节点上，让小目标的细节在融合过程里得到一次“增强+定位”。

从特征图尺寸角度来说，P3层（stride=8）、P4层（stride=16）是对小目标最友好的层。P3层分辨率高、细节多，但语义信息少；P4层语义信息够，但分辨率丢了一些。CAFM放在这两层，可以在语义和细节之间做一次重新平衡。P5层（stride=32）本身对小目标几乎无能为力，加模块意义不大。

我的最终方案是在PAN结构的横向连接之后插入CAFM，让融合后的特征再做一次增强，然后再送到检测头。这样改动最小，也不需要重构整个Neck结构。

3.3 注册模块并修改配置

在Ultralytics系框架里，需要把模块注册到解析器里。我用的方式是在parse_model函数中增加对应的分支判断，具体如下：

# 在模型解析函数中加入分支 if m in {CAFMAttention}: c1, c2 = ch[f], args[0] if c1 != c2: # 通道不一致时补一个1x1卷积 pass

配置文件的修改更直观。在我的检测框架中，YAML文件长这样：

# 简化展示，只保留关键部分 backbone: # ... 前面是标准卷积和C2f模块 head: - [-1, 1, SPPF, [1024, 5]] - [-1, 1, CAFMAttention, [1024, 3]] # 在C5后插入 ...

实际项目中，我通常在Neck的P3、P4层插入配置，也就是在PAN结构里对应的特征层位置加上CAFM节点。如果框架是类YOLOv8结构，那就在FPN/PAN的concat层之后加一个CAFM节点。注意不要加在C2f内部，否则模块被包在深层结构里，既不利于复用，也容易导致训练很不稳。

3.4 训练超参设置

加了CAFM之后，我并没有盲目改动所有超参，但有几点确实需要重点注意。

输入分辨率方面，如果显存够，建议从640提升到960甚至1280，这对小目标的提升非常明显。因为分辨率上来了，小目标在特征图上的有效像素就变多了，CAFM的卷积支路也能提取到更多真实细节，而不是在模糊的几像素上做“无米之炊”。数据增强方面，Mosaic在小目标任务里仍然有正向收益，但要注意它和边框标注之间偶尔会出现的截断问题，配合Copy-Paste增强往往更好。

训练轮数上，加了额外模块之后，模型需要更多时间让两条支路协同收敛。我之前在同一个数据集上，100轮时加模块的模型只比基线高零点几个点，但拉到300轮之后，小目标AP的提升明显拉大。因此新增模块后，别急着下结论，多跑几个epoch再说。

优化器方面，AdamW和SGD都可以用，但我个人更推荐在加了这类模块后继续沿用SGD，不要一次性大改优化器。学习率建议保持原始策略，如果出现训练震荡，优先考虑降低全局学习率而不是加warmup，因为CAFM的残差结构本身对梯度比较友好。

4. 实验对比与调参心得

4.1 先看一组可参考的对照结果

我把CAFM加到Neck的P3和P4层之后，在一组包含大量小目标的私有数据集上做了AB实验，训练配置完全相同，只切换是否有模块。数据集的类型偏航拍视角，目标主要是小型车辆、设备等，很多目标尺寸小于20像素。

从结果里能看到几个信息：CAFM在小目标上的提升最明显，中目标基本没有退化，整体AP也涨了；SE注意力虽然也有提升，但幅度弱很多。这里还有一个值得注意的点，CAFM带来的只有0.5ms左右的额外耗时，对于大部分项目是完全可以接受的。

4.2 调参时踩过的版本坑

版本坑这个词是我自己习惯的叫法，意思就是“同一个模块在不同条件下效果差距巨大，但问题不在模块本身，而在使用方式”。

第一个坑是把模块加在了Backbone比较深的C2f前面。当时以为这样能在语义最丰富的地方增强小目标特征，结果AP反而掉了。后来分析原因是：深层特征图分辨率太低，小目标特征已经基本消失，你增强一个已经消失的信息，得到的只是噪声放大。所以CAFM要放在浅层或者Neck的融合节点，不要让它在低分辨率特征图里“空转”。

第二个坑是通道注意力中间的降维比例。初次实验用了最习惯的reduction=16，在P3层（通道数只有128或256）时效果并不好。原因很简单：通道总数本来就少，强行压到8个维度再展开，信息损失非常明显。后来我把r改成了4，或者直接不降维用ECA式的一维卷积来做通道交互，效果立刻正常了。这个坑其实很典型，很多人会无脑套经典设计，但浅层通道和小目标检测有自己的特殊性。

第三个坑是融合权重。一开始我用的固定系数0.5做加权相加，模型训练后注意力支路的贡献无法自适应调整。换成可学习的gate之后，模型会自动在训练中调节权重，最终结果是小目标AP又涨了一些。这也说明，给小目标设计的模块需要给网络一个自己学习的空间，而不是用超参把行为“钉死”。

第四个坑是我在训练小目标数据时用过大的batch。受显存限制，batch达到64后，BatchNorm统计量在小目标上的表现很不稳定，甚至出现了AP波动的情况。后来我降到32，或者改用SyncBN，问题才缓解。这类细节在普通目标检测里可能不明显，但在小目标任务里，统计量不稳定会直接被放大。

4.3 推理速度和部署考虑

CAFM的额外计算量主要来自那条7x7空间注意力卷积和最后的1x1融合卷积。在GPU上，它对整体延迟的影响不大。但我做过推理阶段用ONNX导出加TensorRT加速的实验，空间注意力分支里那个7x7卷积如果不做优化，在部分部署平台上会成为瓶颈。

我的建议是：如果推理资源非常紧张，可以把空间注意力的7x7卷积替换成3x3或5x5，或者用两个卷积层的组合来近似一个更大感受野。虽然精度上会有一点损失，但部署友好度提升很大。这种收益取舍在工业项目里非常值得考虑。

对于边缘设备或嵌入式设备，另一个更省事的做法是只把CAFM加在P3层，不往P4层加。P3层是所有层中分辨率最高的，效果最直接，改动也最小，尤其适合CPU或者移动端推理。

5. 联动优化：让CAFMAttention发挥更大价值

5.1 和标签分配策略联动

模块解决了“特征层”的问题，但小目标检测还依赖“监督信号”的质量。如果你的检测头仍然是普通的anchor-free分配策略，小目标匹配到的正样本数量可能还是太少。CAFM让特征更强了，但监督信号不足依然会限制最终精度。

我在项目里把CAFM和一种更宽松的标签分配策略做了组合。大致思路是，除了用中心点距离做分配，额外增加一个小目标IoU阈值的分支，让更多小目标的候选位置进入正样本集合。和单独使用CAFM相比，组合之后小目标AP又有了一点提升，这说明特征增强和标签分配不冲突，可以互相补充。

5.2 和P2层、DCN组合的可能性

如果显存允许，可以额外输出一个stride=4的P2层特征，和CAFM配合一起送给检测头。P2层对小目标更友好，但参数量和计算量都会涨一截，需要自己权衡。

另外可变形卷积和CAFM也是很好的搭档。DCN能让卷积的采样位置自适应变化，适合处理形变目标；CAFM则专注于特征定位和增强，两者作用机制不同，叠加使用不会产生明显的副作用。我实验过在P3/P4层里各加一个DCN层，再配合CAFM，小目标AP在高难度子集上继续提升，而且训练没有出现不稳定。

但这里也要提醒一句，DCN在部署阶段的算子支持不如普通卷积好，工程上需要额外处理。如果项目要快速上线，建议先在普通卷积上把CAFM的效果验证扎实，再考虑是否引入更复杂的模块。

5.3 从更大的尺度看整个优化链路

说到底，CAFM只是优化链路中的一个环节。小目标检测要真正做好，需要结构、数据、训练策略、部署约束多个方面一起配合。我在这轮优化里花了大量时间在数据增强和标签分配上，模块本身的改动时间可能只占了三分之一。当你把特征设计、分配策略、训练配置都拉到一个合适的水平后，才会发现这种针对性模块的真实威力。

我个人在实际操作中的体会是：小目标优化最忌讳“加一个模块就想解决问题”的思维。CAFM这个名字听起来是一个模块，但它在我的框架里真正起作用的时刻，是在我同时处理好分辨率、数据增强和训练轮数这些基础问题之后。如果这些前置条件没满足，再精巧的注意力模块也会显得“无用武之地”。另外，每次跑完一轮实验，我都习惯把模块在不同层级的增益单独分开记录，这样能清楚看到到底是哪一层在真正贡献效果，哪些层加了等于白加。这个方法很笨，但对后续做结构精简特别有帮助。