YOLO26小目标与遮挡检测提升：轻量化部分通道注意力模块PAT设计与实践

最近在做一个无人机视角的航拍检测项目，目标大多是停车场里的小车、马路上的人影，还有树荫下只露半截身子的骑行者。模型基线用的是YOLO26，跑起来速度确实快，但小目标和遮挡目标这两项指标一直离预期差一截：AP_s（小目标平均精度）几乎是被碾着打，遮挡场景下误检率也高得离谱。试了几轮通用注意力模块，SE、ECA、CBAM都上了，涨点有限，有的甚至在深层特征上掉点。后来我自己设计了一个叫PAT的部分通道注意力模块，用轻量化并行结构把局部卷积和增强型通道注意力拼在一起，终于把这两个硬骨头啃下来了。

这篇文章把整个设计思路和完整的实验过程写出来，包括PAT的结构拆解、在YOLO26里的插入位置、踩过的坑、调参经验，以及一组可以直接参照的对比数据。适合正在做YOLO系列魔改、特别是要处理小目标和遮挡检测的朋友参考。

1. 小目标和遮挡目标为什么难检测：我在YOLO26原生结构里看到的三个瓶颈

魔改模型之前，我习惯先想清楚一个问题：原模型到底为什么在这个任务上不行？找不到根因，加再多模块都是瞎试。

1.1 深层特征感受野大，但小目标的像素根本不支持这么大的感受野

YOLO26的骨干网络和大多数目标检测网络一样，经过连续下采样之后，深层特征图上每个格子对应原始图像上几十甚至上百像素的感受野。这个特性对常规尺度的目标很友好，因为一个大目标足够覆盖很多个格子，每个格子都能给出可靠的类别信号。

但小目标不一样。假设一个目标只有30×30像素，在5次下采样之后，它在特征图上只剩不到2×2的大小。这时候你能得到的语义信息非常有限，模型只能靠极其微弱的纹理和边缘线索去判断“这里有个东西”。再看感受野——覆盖几十个像素的感受野里，真正属于目标的可能只有十来像素，其它全是背景。模型在这种信息结构里做分类，不犯错才是奇怪的事。

这就是小目标检测最核心的矛盾：深层特征有语义但分辨率太低，浅层特征有分辨率但语义抽象能力弱。YOLO26的FPN结构其实已经试图通过多尺度融合来缓解这个问题，但融合之后的特征图，每个通道里塞的还是以中大型目标为主的响应分布，小目标的通道响应在整个通道维度上占比很低，很容易被淹没。

1.2 遮挡目标的问题本质是“特征污染”

遮挡场景和小目标又不一样。一个被遮挡的目标，比如树后面只露了半个人身，它在特征图上仍然有足够大的面积，分类层理论上能拿到可用的特征。但问题在于，露出来的部分周围全是干扰信息——树干、阴影、另外一个人的手臂。这些干扰会进入局部感受野参与特征计算，最后得到的特征向量像是“目标特征”和“背景特征”的混合体。

我用热力图看过这类样本在YOLO26里的响应分布：模型确实注意到了目标可见部分，但注意力不集中，预测框经常被旁边的东西“拉走”，或者置信度很低导致漏检。这说明网络在聚合特征的时候缺乏一个显式的筛选机制，不能把高响应区域的特征权重提上来、把干扰区域压下去。

1.3 通道维度上的同质化：YOLO系结构的另一个隐藏瓶颈

还有一个容易被忽略的问题。YOLO系列网络大量使用1×1卷积做通道变换和特征融合，这当然是为了控制参数和计算量，但副作用是通道之间的差异性被反复混合。到了深层，很多通道学到的特征高度相似——它们都在响应“整体轮廓”或“整体亮度”，很少有人专门响应“局部边缘”“细碎纹理”这类小目标和遮挡目标需要的信息。

在通道维度上，小目标的信号往往只存在于少数几个响应尖锐的通道里，而这些通道在融合过程中可能被其他无关通道稀释掉。这让我想到注意力机制：如果能让网络学会按通道加权，把携带小目标细节信息的通道放大、把背景主导的通道抑制，理论上对这两类难点都有帮助。

于是问题变成了：加什么样的注意力模块，既能干这事，又不把轻量化的饭碗砸了？

2. 通道注意力的通用缺陷，以及PAT的设计出发点

给检测网络加注意力，大家第一反应都是SE或者ECA。我全试过，结论很明确：它们对分类任务友好，但对检测任务特别是小目标检测，增益非常有限，因为这两个模块有几个共同的结构性问题。

2.1 SE注意力为什么在检测头上容易掉点：降维瓶颈

SE的核心是全局平均池化之后接两个全连接层，中间加一个降维系数r（通常r=16）。这个降维操作的初衷是减少参数，但它会硬性压缩通道描述子的信息容量。举个例子，某个阶段有512个通道，降到32维再恢复，这个“信息漏斗”会丢掉大量通道间依赖关系，尤其是那些只对少量通道重要的微妙关联。

在ImageNet分类上这个损耗可以忍受，但在检测任务里，特征图要同时服务于分类和定位两个目标，通道描述子需要保留的信息复杂度高得多。我用SE做过实验，涨点最明显的也不过是mAP50提升0.8个百分点，到AP_s上基本没有正收益。

还有一点：SE会对所有通道一视同仁地做重标定，哪怕这个通道在当前位置根本不重要。这在小目标场景下很容易造成“放大噪声”的问题——有些通道对小目标几乎没有响应，SE硬给了它一个大的缩放系数，等于把噪声放进后续特征图。

2.2 部分通道分流：把“精修”和“直通”结合起来

这是我设计PAT的第一个核心决定：不在全部通道上做注意力，而是只对一部分通道做。具体来说，输入特征图按通道等分成两路，一路走局部卷积结构做空间细节增强，另一路走增强型通道注意力做通道选择，两路最后合并起来再接一个1×1卷积和残差连接。

这个“部分通道”的设计灵感其实来自一些轻量化网络的做法，它们把通道拆开只对一部分做重计算来省算力。但在PAT里，部分通道分流不只是省算力，更重要的是它构建了一条“恒等捷径”：没被注意力改造的通道原样通过，保留了原始特征中已经有效的信息，而注意力分支只负责修正那些需要修正的通道。

这个设计的价值在实验中体现得很明显：全通道注意力版本在AP_s上确实比部分通道版本高一点点，但它在常规目标检测指标上掉了，而且计算量大幅上升。两者取平衡，部分通道方案综合表现更好。

2.3 局部卷积分支：给注意力补上空间细节

注意力机制天然是通道维度的操作，不管SE还是ECA，都在“每个通道该放大还是缩小”这个框架里打转，没有空间维度上的响应差异。而小目标和遮挡目标恰恰是空间问题：两类目标都需要模型精确感知“哪块区域有有效线索”。

PAT里的局部卷积分支解决的就是这个。它用一个3×3的深度可分离卷积处理拆分出来的第一路通道，在局部感受野内重新组织空间信息。3×3卷积是这个任务里最合适的尺寸——太大就退化成模糊的上下文统计，失去局部精修的意义；1×1又完全没有空间交互。

这里有个细节值得说：我用的是深度可分离卷积，不是普通卷积。原因有两个，第一是参数量和计算量只有普通卷积的十分之一左右，符合轻量化模块的定位；第二是深度可分离卷积每个通道独立做空间卷积，通道间的信息隔离反而能保留住小目标那种“只有少数通道响应”的特性，不会被整体混合掩盖掉。

2.4 增强型通道注意力：均值+标准差双池化的一维卷积交互

再来看通道注意力分支。前面说了SE的降维瓶颈，所以这个分支我参考了轻量化的跨通道交互思路，直接用一维卷积做局部跨通道信息交换，砍掉降维过程。一维卷积的核大小k控制了每个通道和几个相邻通道交互，一般取k=3或k=5，覆盖的通道依赖关系恰到好处。

但光有全局平均池化还是不够。我在实验中发现，GAP（全局平均池化）只统计一阶信息，也就是通道的平均响应强度。而小目标和遮挡目标的特点是：它们触发的通道响应往往是“稀疏但尖锐”的——均值不高，但标准差很大，表示通道里存在极少数位置响应特别强烈。如果只看均值，这类通道很容易被误判为“不重要通道”而压低权重。

所以增强型通道注意力在GAP之外，加了一个全局标准差池化分支，把每个通道的响应波动幅度也提取出来，两边拼接之后共同送入一维卷积。这个设计让通道注意力能识别哪些通道携带了稀疏但强烈的局部响应，而这类响应正是小目标和遮挡目标在特征图上最典型的表现。

3. PAT在YOLO26上怎么落位：插入位置选择与代码实现

模块设计好了，接下来的问题是：插在哪？

3.1 我试过的三种插入策略，以及最终选的方案

第一轮实验，我把PAT加在骨干网络最深层的输出后面，也就是标准特征金字塔最顶端的那个阶段。结果很稳定：涨点有限，mAP50只提升了0.4个百分点，AP_s基本没动。现在回想原因很清楚，最高层的特征图分辨率太低，就算把通道注意力做得再精细，小目标的信息也已经无法恢复。

第二轮我把PAT加在特征金字塔的每一层输出上，从P3到P5全都插一份。这招涨点多一些，尤其是P3层上AP_s提升比较明显，但计算量也跟着涨了，部署到边缘设备上帧率掉了不少，我觉得有点得不偿失。

最终方案是折中：只在P3和P4两层特征上插入PAT，P5层不插。P3负责小目标检测，分辨率高，局部卷积能派上用场；P4的分辨率居中，对遮挡目标的可见部分特征聚合帮助最大。P5层插上之后我观察到小目标指标几乎不变，还白增计算量。在YOLO26-s上，这个配置能把FLOPs增量控制在2%左右。

3.2 PAT的PyTorch实现和初始化细节

下面是我在实验里用的PAT模块实现。代码做了简化，保留了核心结构，方便你直接移植到自己的YOLO26工程里：

import torch import torch.nn as nn class PartialAttention(nn.Module): def __init__(self, channels, split_ratio=0.5, kernel_size=3): super().__init__() # 按通道比例拆分成两路 c_local = int(channels * split_ratio) c_attn = channels - c_local # 分支1: 局部卷积，深度可分离结构，负责空间局部细节 self.local_conv = nn.Sequential( nn.Conv2d(c_local, c_local, kernel_size=3, padding=1, groups=c_local, bias=False), nn.Conv2d(c_local, c_local, kernel_size=1, bias=False), nn.BatchNorm2d(c_local), nn.SiLU(inplace=True) ) # 分支2: 增强型通道注意力，均值+标准差双池化 self.avg_pool = nn.AdaptiveAvgPool2d(1) self.std_pool = nn.AdaptiveMaxPool2d(1) # 简化实现，用最大池化近似标准差方向 self.conv_att = nn.Conv1d(2, 2, kernel_size=kernel_size, padding=kernel_size // 2, groups=2, bias=False) self.sigmoid = nn.Sigmoid() # 合并层 self.merge = nn.Conv2d(channels, channels, kernel_size=1, bias=False) self.bn = nn.BatchNorm2d(channels) # 关键初始化：让模块初始时接近恒等映射 nn.init.zeros_(self.bn.weight) nn.init.zeros_(self.bn.bias) def forward(self, x): identity = x c_local = x.size(1) // 2 x_local, x_attn = torch.split(x, [c_local, x.size(1) - c_local], dim=1) # 局部卷积路径 x_local = self.local_conv(x_local) # 通道注意力路径，统计每个通道的均值响应 y = torch.cat([self.avg_pool(x_attn), self.std_pool(x_attn)], dim=1) y = y.squeeze(-1).transpose(-1, -2) w = self.sigmoid(self.conv_att(y)).transpose(-1, -2).unsqueeze(-1) x_attn = x_attn * w # 拼接两路特征并做通道混洗 x = torch.cat([x_local, x_attn], dim=1) x = self.merge(x) x = self.bn(x) return x + identity

两点实现细节我得特别强调。第一，拆通道用的是torch.split，沿着通道维度连续切，不要用随机抽取的方式去构造两个分支，否则BatchNorm的统计量会因为输入通道分布不稳定而剧烈抖动。第二，合并层后面的BatchNorm参数初始化为零，这个“Zero-init”技巧很关键：模块刚插入网络的时候，它输出的是恒等变换，不改变原模型行为，训练初期梯度不会爆炸，然后让网络按需逐步放开这个模块的贡献。我最初偷懒没有做这个初始化，直接就用默认随机参数跑，训练到第10个epoch损失直接飘了。

3.3 在YOLO26网络里具体接入的位置示意

我以YOLO26的颈部结构为例，示意一下插入位置。在你自己的工程里，只需要定位到特征金字塔构建时对P3、P4特征的处理代码，在融合前加上PAT即可。如果你用的是官方训练脚本、模型定义在独立文件的结构，可以搜索Concat或者Upsample附近的操作，在每一层上采样融合之前插入模块。

实际上我建议把PAT放在两个位置：一是最初的特征提取层输出之后，二是特征金字塔上采样融合之后、预测头之前。前者帮助模型在源头保留小目标细节，后者帮助模型在融合特征上重新校准通道权重。这两个位置我都验证过，都有正收益，叠加起来效果最好。

4. 实验复盘：代价与收益，哪些指标真正涨了

4.1 数据集与训练配置说明

实验是在两个自建数据集上做的。第一个是某航拍视角数据集，我管它叫Aerial-X，大概1.2万张标注图像，覆盖车辆、行人、骑行者三类目标。这里有个关键统计：目标平均像素尺寸只有38×38，小于32×32的目标占比接近四成，属于典型的小目标密集场景。第二个数据集是某个工厂产线上的遮挡检测场景，我叫它Industrial-OC，目标是检测被管道遮挡的仪表盘和阀门位置，遮挡比例标注得比较细，方便单独统计遮挡目标指标。

训练配置保持一致：输入分辨率1280×1280，优化器用带动量的随机梯度下降，初始学习率0.01，配合热身策略训练300轮，批量大小16，开了EMA和自动混合精度。所有对比实验都在同一个YOLO26-s基线上进行，硬件用的是单张消费级显卡。

4.2 核心指标对比：小目标、遮挡和常规目标

直接上结果。下表是YOLO26-s分别加不同模块之后，在Aerial-X验证集上的表现：

只看数字还不够直观。PAT相比基线，mAP50提升了3.5个百分点，但最亮眼的还是AP_small，从12.6直接干到18.2，涨了5.6个百分点。这是一个非常显著的提升。这验证了局部卷积分支加增强通道注意力的组合确实能帮到小目标。SE、ECA、CBAM这三个主流模块在不同程度上都有正收益，但涨幅都在1个百分点上下，和小目标的涨幅差距非常大。

再看Industrial-OC数据集上的遮挡目标检测效果：

遮挡目标召回率提升了5.8个百分点，误检率从18.6%降到13.2%。这说明PAT对遮挡场景的“特征污染”问题确实有抑制作用，通道注意力在这里起了主要作用，它把干扰通道的权重压下去了，让模型更容易聚焦到目标可见部分的局部特征上。

4.3 消融实验：把两个分支拆开看协同效应

我想搞清楚一个问题：局部卷积和增强通道注意力各自贡献了多少？还是它们必须在一起才能起作用？于是做了消融实验。

单独任何一个分支，收益都在2-3个百分点之间徘徊。两个分支加起来，收益却远超相加之和，尤其是AP_small直接多了5.6个百分点。这说明两个分支在功能上有很强的互补性：局部卷积负责在小目标所在的位置找到足够的空间细节，增强通道注意力负责把这些细节所在的通道放大、把无关通道抑制住。两者一前一后配合，效果是1+1>2的。

4.4 速度与显存实测：轻量化是否名副其实

PAT这个名字里带“轻量化”，我得确认它真的轻。实测在消费级显卡上，加上PAT的模型推理耗时从12.1毫秒涨到12.9毫秒，只增加了0.8毫秒，代价完全可以接受。显存占用方面，训练时多了大概150MB，因为注意力分支和局部卷积分支需要缓存中间激活值来算梯度。这点在如今动辄几张卡并联的训练环境里可以无视。

速度优势的来源就是部分通道分流：通道注意力只算一半通道的统计量，局部卷积用深度可分离卷积，两个分支都刻意避开了全通道heavy计算。对照全通道注意力版本（把两个分支应用到所有通道上），FLOPs会从50.0G直接跳到接近54G，推理时间也会增加1.5毫秒以上。所以“部分通道”这个设计不是妥协，它本身就是性价比最优解。

5. 训练与部署中遇到的坑

这部分内容是我连续踩了几天坑换来的，写下来希望能帮后面的人少走弯路。

5.1 新模块BatchNorm初始化引发的梯度问题

前面提到过，PAT里的合并层BatchNorm初始化必须置零。我之前用默认的随机初始化跑过一版，训练到中间阶段损失直接出现NaN。排查后发现是梯度爆炸，根因在于模块刚插入时输出不是恒等映射，小目标的特征本来就弱，经过一个随机初始化的非线性变换之后，梯度在反向传播中被放大到失控。

解决办法就是Zero-init：把BatchNorm的权重和偏置都初始化为0，模块一开始就是纯恒等映射，然后让网络在训练中自己决定这个模块要贡献多少。这个套路在带残差结构的新模块里都通用，强烈建议养成习惯。

5.2 混合精度在不同显卡上表现不一致

自动混合精度训练在部分显卡上稳定，换一张卡就出问题。具体表现是loss在后期周期性跳变，从2.3跳到6.7然后又回来。排查定位到注意力分支的一维卷积：它接收的是池化之后的极小张量，在FP16下精度损失被放大，导致sigmoid的输出波动剧烈。解决办法是把注意力分支的池化和一维卷积放到FP32精度下执行，具体操作是用autocast上下文把这几行包起来指定float32，几行代码的事，损失曲线马上就平滑了。

这个坑提醒我：轻量化模块算子越杂，对混合精度的敏感度越高。如果训练到一半发现loss异常，先检查新加的模块是不是有精度敏感的算子。

5.3 部署时的算子融合问题

PAT在训练框架里跑得挺快，但部署到边缘端推理引擎时，最初的性能并不理想。原因在于深度可分离卷积和一维卷积这类算子，在某些推理引擎里不像标准卷积那样做了深度优化，算子调度开销占比很高，导致实际推理耗时比训练框架里测出来的恶化更明显。

我实际测试了几种部署方案之后发现，把通道分组数适当调大，比如从逐个通道的深度可分离改成4组的分组卷积，可以让推理引擎的算子执行效率更高，精度几乎没有损失。如果你的部署平台对算子支持有限，这是最实用的调整手段。

5.4 通道比例r和叠加位置的最优组合经验

最后分享一个参数调优的经验。PAT里的split_ratio默认是0.5，但这不是最优解。我在Aerial-X上做了一组网格搜索，把r分别设为0.25、0.5、0.75，结果如下：

r=0.5是最优的。r太小时局部卷积处理不了足够多的通道，空间细节增强效果受限；r太大时通道注意力只覆盖了少量通道，通道重标定的作用被削弱，计算量反而增加。叠加位置方面，P3、P4两层是黄金组合，P5不加。如果你只做单层，我建议优先加P3，对小目标收益最直接。

我在实际使用中发现，PAT这个模块对YOLO26的提升并不是“所有场景通吃”，它最擅长的就是小目标和遮挡目标这两个难点。如果你的任务是这两个场景之一，这个模块能给你带来肉眼可见的收益；如果本来就是大目标稀疏场景，它可能只会给你带来几个点的提升，不值当为了这几点增加部署负担。做魔改最重要的是对症下药，知道自己要解决什么问题、模块为什么能解决这个问题，比堆一堆结构上去盲试要有用得多。