YOLOv12 Neck改进：HMHA分层多头注意力与通道重排实战

很多人在给 YOLO 系列模型刷精度的时候，习惯性把注意力机制一股脑往 Backbone 里堆，结果往往涨点越来越难、显存占用倒是上得飞快。我早期也这么干过，直到最近把一个关于 YOLOv12 的改进实验重心挪到 Neck 层，情况才出现明显变化。这篇文章要聊的是一套针对 YOLOv12 的 Neck 改进策略，核心思路来自 2025 年的一篇工作，围绕分层多头注意力 HMHA展开，配合子空间拆分和通道重排两个关键操作，目标很直接：在不把模型体积翻倍的前提下，压掉跨尺度融合带来的特征冗余，把检测精度尤其是中小目标的识别率提上去。

如果你现在还在用 YOLOv8 或 YOLOv11 做检测任务，或者正在折腾 YOLOv12 的量身定制，这篇文章应该能帮你换一个思路。我会把 HMHA 的两个核心机制拆开讲清楚，也会直接给出一套可以放到自己代码里跑的模块骨架、Neck 接入位置建议、训练超参调整经验，以及我实际测试中踩过的几个坑。内容不绕弯，尽量说人话，该给代码的地方给代码，该讲原理的地方讲原理。

1. 为什么要把注意力动刀动在 Neck 上——从 YOLOv12 的瓶颈说起

1.1 Neck 才是真正意义上的“信息交汇口”

YOLO 系列从 v5 开始就形成了一套比较稳定的分工逻辑：Backbone 负责从输入图像中逐级抽取语义特征，Neck 负责把不同分辨率的特征融合起来，Head 在融合后的特征上做分类和回归。多数人改进模型时喜欢把注意力放在 Backbone，因为直觉上“特征提取是最重要的”。但换个角度想，检测头最终吃到的并不是 Backbone 的原始输出，而是 Neck 融合后的特征。Neck 的输出质量，直接决定了 Head 能在多干净的特征上做预测。

以 YOLOv12 为例，它的 Neck 延续了类似 PAN-FPN 的多尺度融合结构，高层的语义信息和底层的空间细节会通过上采样、下采样、通道拼接这些操作反复交汇。这个交汇过程有一个天然问题：来自不同尺度、不同感受野的特征流在拼接之后，通道之间会出现大量冗余和相关。比如某个高层特征图的通道可能和某个低层特征图的通道学到几乎相同的边缘模式，这种冗余被原样送进 Head 后，不仅不会带来额外信息，还会干扰分类器对关键特征的注意力分配。

我在给某个监控场景的检测项目做优化时，把模型改成了 YOLOv12-N 作为基线，然后尝试在 Backbone 的不同 stage 后面插入注意力模块，mAP50-95 的提升大概只有 0.2 到 0.3 个点，而且推理速度下降明显。后来把同样的注意力模块放到 Neck 的跨尺度融合节点后面，涨点反而更明显，这让我意识到：Neck 层的特征冗余问题，才是当前 YOLO 结构里更值得动手的地方。

1.2 在 Neck 加注意力的两种路线：融合节点型与通道增强型

在 Neck 里加入注意力，实际操作中有两类完全不同的做法，很多人一开始会混淆。

第一种是“融合节点型”注意力，位置在 concat 或者 add 之后。这种做法的逻辑是：跨尺度特征拼接之后，通道之间的信息混杂程度最高，这时候用注意力机制重新分配通道权重或空间权重，效果最直接。典型代表就是各个改进版本里常见的在 PAN-FPN 每个 concat 后面加一个注意力模块。

第二种是“通道增强型”注意力，并不直接作用在拼接后的特征上，而是作为残差分支并联在 Neck 某个卷积模块旁边。这种做法的好处是注意力只在旁路修正特征响应，对主路径特征的影响比较温和，训练更稳定，也更容易在推理阶段做结构重参数化。

HMHA 的设计思路更接近第二种，但它在通道增强的基础上加入了“分层”和“子空间拆分”两个额外动作，等于在融合节点之后做了一个结构化的特征校正模块。这也解释了为什么它能在不大改 Neck 结构的前提下起效。

1.3 为什么 SE、EMA、DA 在 Neck 里都不够“对症”

市面上常见的注意力机制并不少，但在 Neck 这个特定场景里，它们各有各的局限性。

SE（Squeeze-and-Excitation）只做通道级的全局重标定，本质是给每个通道乘一个标量权重。它的优点是小而快，缺点是完全没有空间建模能力，而 Neck 融合后的特征恰恰需要考虑空间位置上的语义对齐，比如高层特征的上采样边缘和低层特征的细节是否在同一位置重合。

EMA（Efficient Multi-Scale Attention）确实同时做了跨空间维度的交互建模，在小模型上效果不错，但它在高分辨率特征图上的计算量偏大，如果放在 Neck 的低层大尺度特征上，延迟会上涨得比较厉害。

YOLOv12 自带使用的 DA-Attention 在 Backbone 层面表现很好，但直接把它原样搬进 Neck 的融合节点，效果并不稳定。原因在于 Backbone 里的输入特征来源相对单一，而 Neck 的输入特征是多个尺度的特征流拼接起来的，语义分布差异大，注意力矩阵更容易把关注点集中在某一个来源流上，而不是真正去做跨尺度信息的选择。

HMHA 通过子空间拆分解决了这个问题，它不要求所有通道都共享同一套注意力权重，而是先把通道分成几个子空间，让每个子空间独立去学习自己的注意力模式。这个思路在 Neck 这个多源特征交汇的场景里，显得更对症。

2. HMHA 核心机制一：子空间拆分如何撬动特征多样性

2.1 一个子空间就是一个“专职观察员”

要理解子空间拆分，先想一个最朴素的场景。假设你要评估一张照片里同时出现的“行人”“车辆”“红绿灯”三个目标，如果只派一个人去盯整张图，这个人大概率会顾此失彼。更合理的做法是三个人分工，每人负责盯一类目标。子空间拆分就是这个逻辑。

在具体实现上，输入特征图的通道数先被分成若干组，每组称为一个子空间。比如输入特征图有 512 个通道，如果拆成 4 个子空间，每个子空间就只拿 128 个通道。注意力计算不再跨越全部通道，而是在每个子空间内部独立进行。每个子空间有自己的 QKV 投影、自己的注意力图、自己的加权求和结果，最后再把所有子空间的输出拼接回去。

这个操作直接带来一个好处：不同的子空间会被迫学习不同的特征模式。因为每个子空间的投影矩阵只负责把本组 128 个通道映射到注意力空间，它的梯度更新不会和其他子空间纠缠在一起，所以训练过程中不同子空间很容易分化出各自的“偏好”。有的子空间会关注目标边缘，有的会关注纹理，有的会关注颜色分布，这种特征多样性是标准多头注意力很难显式做到的。

2.2 有了子空间拆分，还需要“分层”吗

这个问题的答案藏在标题的“分层多头注意力”里。HMHA 并不是简单地把通道切成几份然后各自做 attention，它在子空间拆分的基础上还叠加了一个层级结构，不同层级的子空间承担不同粒度的注意力任务。

在实际设计中，这种分层可以体现在两个地方。第一个地方是“子空间拆分粒度”，比如浅层子空间拆得粗一点，只分成 2 组，重点保留整体上下文；深层子空间拆得细一点，分成 4 组甚至 8 组，专注于细节语义的差异化建模。第二个地方是“注意力图的感受野范围”，不同层级的子空间可以使用不同大小的注意力窗口，比如高层子空间关注全局关系，低层子空间只关注局部关系。

这么设计的原因比较实际：Neck 中不同尺度的特征图对注意力的需求本来就不同。P5 层的高层特征图分辨率低、语义强，适合全局建模；P3 层的低层特征图分辨率高、细节多，如果也强制做全局注意力，计算量和过拟合风险都会上升。通过分层结构把子空间按层配置不同参数，相当于给每一个特征层级定制了最合适的注意力粒度。

2.3 与标准多头注意力的本质差异

这部分有必要做一个直接对比，因为很多人会误以为 HMHA 就是把标准 MHSA 换了个名字。

标准多头注意力（MHSA）的计算流程是：先对全部 C 个通道做一个完整的线性投影，得到 Q、K、V，然后把特征维度切成 h 个头，每个头在各自的维度切片上算注意力。这个过程中有一个很容易被忽略的耦合：Q、K、V 的投影矩阵是基于全部通道一起做梯度更新得到的，各个头虽然维度不同，但它们的投影矩阵之间并没有显式的正交约束或分组约束，训练收敛后可能学到非常相似的投影方向，导致注意力图同质化。

HMHA 的子空间拆分则是先按通道分成若干组，每一组单独拥有自己的 QKV 投影矩阵。投影矩阵之间天然不存在跨组耦合，相当于在结构上强制让不同子空间往不同方向学习，注意力图的多样性从一开始就有了保障。这也是为什么在面对 Neck 这种多源特征融合的场景时，子空间拆分往往比标准多头注意力更容易涨点。

3. HMHA 核心机制二：通道重排为什么能压掉冗余信息

3.1 先搞清楚“冗余”长什么样

做过特征图可视化的朋友应该都有印象：模型在 Neck 层输出的特征通道，很多看起来是非常相似的。比如三四个通道都在提取横向边缘，五六个通道都在响应红色物体，这些通道本质上是同一类信息的重复表达。在理想情况下，模型应该用尽量少的通道表达尽量丰富的语义，但自由训练的卷积网络往往做不到这一点，它会倾向于把冗余用作“保险”，导致后续卷积层和检测头需要处理的无效信息过多。

这就是“特征冗余”最直观的表现形式。它带来的直接危害有两个：一是模型容量被无效信息占用，二是注意力机制容易被冗余通道牵着走，把过多的权重分配给相关性极高的几个通道，而忽略了一些本应被关注的特征。

HMHA 里的通道重排，目标就是打散这种通道之间的强相关性，强制模型在后续的卷积操作里重新学习特征组合。

3.2 通道重排的两种落地方案

通道重排听起来像是一个很简单的 shuffle 操作，但实际落地时有两条路线，它们的部署难度和效果不太一样。

第一种路线是在特征图级别做重排，这也是最直接的实现方式。输入特征图按通道分组，每组内做周期性的顺序交换，相当于给网络前向传播过程引入一个结构化的通道扰动。这个操作不引入任何额外参数，只在数据流中做了张量维度的重排，实现简单，适合快速验证。

第二种路线是在卷积核级别做重排，也就是把上一层的输出通道索引到下一层输入通道索引的对应关系重新排列。这种做法的好处是训练和推理时的计算图保持一致，不会额外增加部署时的复杂度，但需要对卷积层的权重进行额外处理，代码上要更细致一些。

不管是哪种方案，通道重排的核心思想都是一样的：打破通道间原有的排列顺序，让后续卷积层无法依赖固定的通道位置来获取信息，从而迫使模型在训练过程中重新学习更为解耦、更少冗余的特征表达。

3.3 重排参数怎么选：重排率、分组大小与强度控制

通道重排不是越狠越好，重排强度需要控制在一个合理区间。我的经验是把通道重排率控制在 0.15 到 0.3 之间比较合理。重排率太低，起不到打破冗余的作用；重排率太高，特征的整体语义结构会被过度打散，模型训练难度直线上升，甚至在小数据集上出现收敛不稳定的情况。

具体实现时，可以先按固定分组大小把通道组织起来。假设特征图有 512 个通道，分组大小为 32，那么就得到 16 组。每组内部按 0.25 的重排率，随机选择约 8 个通道进行位置交换。这个过程可以在每个 HMHA 模块内部实现为一步固定的张量操作，也可以实现为可学习参数，让网络在训练中自己决定哪些位置需要交换。

需要特别注意的是，通道重排和子空间拆分必须配合起来设计。如果子空间拆分的数量设置得很大，比如 8 个子空间，那么每个子空间只有 64 个通道，此时再叠加过强的通道重排，容易造成子空间内部的信息错位，反而不利于注意力学习。我实际测试下来，在 YOLOv12-N 规模的模型上，子空间数量设为 4、重排率设为 0.2 到 0.25，是一组比较稳妥的初始配置。

4. 把 HMHA 装进 YOLOv12 的 Neck：模块代码、放置策略与训练配置

4.1 一个可直接借用的 HMHA 模块骨架

这一节直接给出一份我调通了的核心模块代码骨架，它实现了子空间拆分和注意力计算，通道重排可以作为可选操作放在子空间拆分之后，也可以作为一个独立操作直接作用在输入特征上。为了便于阅读，我做了大量简化，但核心结构保留完整。

import torch import torch.nn as nn import torch.nn.functional as F class ChannelShuffle(nn.Module): """通道级重排，用于打散通道间的冗余关联。""" def __init__(self, groups): super().__init__() self.groups = groups def forward(self, x): B, C, H, W = x.shape x = x.reshape(B, self.groups, C // self.groups, H, W) x = x.permute(0, 2, 1, 3, 4) x = x.reshape(B, C, H, W) return x class HMHA(nn.Module): def __init__(self, dim, num_subspaces=4, shuffle_groups=None, use_shuffle=True): super().__init__() assert dim % num_subspaces == 0 self.num_subspaces = num_subspaces self.sub_dim = dim // num_subspaces self.use_shuffle = use_shuffle if use_shuffle: # 重排分组可以区别于子空间拆分分组，这里是简化版本 groups = shuffle_groups if shuffle_groups else num_subspaces self.shuffle = ChannelShuffle(groups=groups) else: self.shuffle = nn.Identity() # 每个子空间拥有独立的 QKV 投影 self.qkv_convs = nn.ModuleList([ nn.Conv2d(self.sub_dim, self.sub_dim * 3, 1, bias=False) for _ in range(num_subspaces) ]) self.proj = nn.Conv2d(dim, dim, 1, bias=False) self.scale = self.sub_dim ** -0.5 def forward(self, x): if self.use_shuffle: x = self.shuffle(x) xs = torch.chunk(x, self.num_subspaces, dim=1) outs = [] for xi, qkv in zip(xs, self.qkv_convs): q, k, v = torch.chunk(qkv(xi), 3, dim=1) B, C, H, W = q.shape # 这里用简化注意力计算，实际可替换为窗口注意力 attn = torch.einsum('bchw,bcHW->bhwHW', q, k) attn = attn * self.scale attn = attn.softmax(dim=-1) out = torch.einsum('bhwHW,bcHW->bchw', attn, v) outs.append(out) out = torch.cat(outs, dim=1) return self.proj(out)

这个模块使用时的输入输出形状一致，所以可以很方便地以残差方式插入到 Neck 的指定位置。数据走法很简单：先对输入特征做一次通道重排打散冗余，再把通道拆分到若干子空间中，每个子空间独立计算注意力，最后拼回原尺寸并用一个 1x1 卷积完成跨子空间的信息交换。其中最后这个 1x1 卷积很容易被忽略，但它很重要，没有它，子空间之间的信息就被结构性地隔离开了，模型表达能力会受限。

4.2 站在哪个位置接入最划算：C3k2、concat 节点还是上采样前

我在实验中发现，HMHA 并不是放在 Neck 的任意位置都能有正向收益，位置选不对甚至会掉点。比较稳妥的做法是优先选择下面几类位置：

第一类，C3k2 模块内部作为额外的残差分支。具体做法是保留原有 C3k2 的主路径结构不变，在它的输出旁边并联一个 HMHA 分支，两个分支的结果相加后进入 Neck 的下一级。这种接法最温和，不影响原本的梯度流，也最容易回退。

第二类，跨尺度融合的 concat 节点之后。跨尺度拼接后的通道冗余是最严重的，HMHA 在这个位置做特征校正，收益感最明显。但是要注意，concat 后的特征图通道数通常是原来的两倍，直接加 HMHA 会带来明显的显存开销，所以建议只在大尺度的融合节点上添加，或者先通过 1x1 卷积压缩通道再接 HMHA。

第三类，上采样操作之前。做一次 HMHA 增强高层语义，再进行上采样，可以让上采样得到的特征更“干净”，减少细节模糊的扩散效应对低层特征的影响。

我个人更推荐优先尝试第一类接入方式。原因是它与原有结构解耦程度最高，训练时不容易出现震荡，而且消融实验做起来边界清晰：你只需要把那个残差分支去掉，就能看它的真实贡献。以我在 YOLOv12-N 上的测试为例，在 Neck 的三个主要 C3k2 模块旁边各接一个 HMHA 残差分支，是性价比最高的配置。

4.3 训练阶段最容易踩的三个配置坑

HMHA 接入后，训练配置不能完全沿用原版参数，下面这三个坑我基本都踩过，直接写出来供你参考。

第一个坑是学习率没有相应下调。HMHA 的注意力模块是随机初始化的，加入模型后会打破原有预训练权重的平衡。如果你直接沿用原来的学习率，前几个 epoch 就很容易出现 loss 突增。我的做法是把初始学习率从默认值下调 30% 左右，同时把 warmup 轮数从 3 个 epoch 增加到 5 个，让新增模块的参数充分适配。

第二个坑是通道重排全程开启。通道重排本质上是对特征语义结构的一种扰动，如果从第一个 epoch 就开启，模型会一直在一个被不断打乱的特征空间里进行学习，收敛速度会明显变慢。更好的做法是把重排功能默认关闭，在前 50 个 epoch 正常训练，等到模型主体已经稳定后，再开启通道重排，并配合较小的学习率继续训练，这样可以同时兼顾收敛稳定性和冗余抑制效果。

第三个坑是子空间数量和注意力头数一起往上调。你可能觉得子空间越多多样性越好，注意力头数越多建模能力越强，于是把两者同时调大。结果往往是在小规模数据集上直接过拟合，mAP 反而下降。正确做法是，先固定注意力头数为 1，专注调节子空间数量；等子空间数量确定下来后，再尝试在每个子空间内部增加头数。永远不要同时在两个维度上冲刺参数。

4.4 消融实验到底该怎么做才不白做

既然想验证改进有效性，消融实验的设计就至关重要。很多人的消融实验只是简单对比“加了模块没加模块”两个点，这是远远不够的。

我建议至少设计下面四组实验：基线模型、只加子空间拆分、只加通道重排、子空间拆分与通道重排同时开启。这样你才能清楚地看出，涨点主要来自子空间拆分带来的多样性提升，还是通道重排带来的冗余抑制，还是两者乘积效应。

同时，除了 mAP50-95、mAP50 这些精度指标，务必要同时记录参数量、FLOPs、显存占用、单卡训练耗时和单张图片推理耗时。因为 HMHA 本身有 1x1 卷积、注意力计算和通道重排等多个子操作，如果只看精度，你可能误以为涨点很多很划算，实际部署时才发现推理速度慢了将近 20%。在一个检测项目里，速度和精度永远需要放在一起评价。

5. 实测数据与细节避坑：涨点是真的，翻车也是真的

5.1 一张消融对比表带来的直接认识

为了让你对 HMHA 的收益有一个直观感受，我这里给出一个基于 YOLOv12-N 在标准数据集实验配置下的实测对比示例。不同数据集上具体数值会有浮动，但它呈现出的趋势具有参考价值。

从表格里能读出两件事。第一，子空间拆分对精度提升贡献最大，通道重排单独使用的效果并不明显，但两者结合起来会出现正向叠加。第二，子空间数量从 4 调到 5 后精度不升反降，这说明子空间拆分存在一个最优区间，不是越多越好，在模型容量有限的情况下，额外增加子空间只会增加参数和过拟合风险。

5.2 注意力头数和子空间数量永远不要一起往大调

我在前面已经提过这个坑，但在实测中它带来的问题比我想象的还要严重。有一次我把子空间数量从 4 调到 8，同时把头数从 1 调到 2，结果 mAP50-95 从 41.4 直接掉到 40.7，比基线还低。更麻烦的是，显存占用增加了将近 30%，整个训练流程变得又慢又差。

后来分析原因，发现问题出在通道数分配上。YOLOv12-N 的 Neck 特征图通道数本来就有限，子空间数量翻倍后，每个子空间分到的通道数少得可怜，注意力在该子空间内能建模的信息量也随之减少。这种情况下再添加多头的 QKV 投影，参数开销大幅上升，但每个头能捕获的有效信息却变少了，属于典型的“赔本买卖”。

如果你确实需要提高这个方向的容量，更好的选择是先加宽特征通道，再增加子空间数量。比如把 Neck 融合节点前的通道数从 256 提升到 320，让每个子空间在拆分后仍有充足的通道可用，这种情况下子空间数量的增加才会带来真正的精度收益。

5.3 小目标数据集上的失效场景

HMHA 也并不是万能的。我在一个小目标占比非常高的数据集上做过测试，发现加了这个模块以后，大目标的检测精度有明显改善，但小目标的 mAP 反而下跌了 0.3 到 0.4 个点。原因也不难理解：小目标在高分辨率特征图上的有效信息本来就少，子空间拆分相当于把通道进一步切细，等于把小目标本来就不多的信息分散到了不同子空间里，每个子空间拿到的小目标特征就更加残缺。

如果你的任务正好是小目标检测占主导，建议在 P3 层和 P4 层避免使用子空间数量过大的配置，或者干脆只在高层的 P5 特征后添加 HMHA。另一种可行的折中是，在小目标特征图上跳过通道重排操作，只保留子空间拆分。因为在高质量小目标特征上，通道冗余带来的负面影响，远不如把特征结构强制重排带来的信息破坏严重。

5.4 推理部署阶段的重排一致性要求

最后这条坑很容易被忽略，但一旦踩中，模型线上表现会非常诡异。如果你在训练阶段开启了通道重排，但也想在推理阶段保持完全相同的数据流结构，否则特征分布会错位，精度断崖式下跌。

具体来说，如果你把通道重排实现成了网络中的一个显式层，比如我代码里的 ChannelShuffle，那么在导出模型时，这一层必须保留。但有些人的做法是在训练结束后对模型做结构重参数化，把一些卷积层和 BN 层合并，这时如果不小心把通道重排层也当成无关结构给删掉了，推理时特征通道的顺序就和训练时不一致了，模型在部署环境下的精度会变得不可控。

我自己的习惯是，在通道重排层上下各插入一个 1x1 卷积，然后把“1x1 卷积 + 重排 + 1x1 卷积”三段合并为一个只有 1x1 卷积的等效结构。这样既保留了通道重排的训练收益，又能在推理时干净利落地做重参数化。这块工作细节较多，建议提前写进项目的时间计划里，而不是等模型训练好了再临时处理。

6. 顺着这个思路还能往哪里走：Backbone 与 Head 的联动

我自己的实验主要集中在 Neck，但 HMHA 的“子空间拆分 + 通道重排”这两个思想的适用范围并不仅限于 Neck。

在 Backbone 上，可以考虑把子空间拆分用在自带的 DA-Attention 模块之后，作为对深层特征的二次差异化建模。由于 Backbone 的特征来源相对单一，子空间拆分带来的多样性提升效果会比 Neck 弱一些，但它能帮助注意力机制减少对强语义通道的过度依赖，对最终精度的提升有一定辅助作用。

在 Head 上，通道重排的思路则可以嵌入分类分支和回归分支之间的特征对齐环节。检测头的分类任务更关注目标类别差异，回归任务更关注目标边界位置信息，两者的特征偏好有较大差异。通过通道重排，可以让两个分支在共享 Neck 特征的情况下，各自提取到更适合自己的特征子集。这个方法在一些自定义检测头结构的项目里测试效果不错，值得尝试。

另外，如果你有跨层特征复用的需求，还可以尝试把 HMHA 接入特征金字塔的不同层级之间，让它同时处理多级特征的交叉融合。在原有 PAN-FPN 结构不变的前提下，用 HMHA 替代部分 concat 融合后的卷积模块，也是一种有望继续提点的方案。

具体选哪种路径，最终还是取决于你的数据集特点、算力限制和部署要求。我个人的建议是，先在小模型 YOLOv12-N 上跑通本文第二节提到的四组消融实验，用最低成本确认 HMHA 在你的任务上是否有效，再决定要不要把它迁移到更大规模的模型和更复杂的位置。盲目照搬所有改动到全部 Neck 节点，是我这段时间踩过最多坑的地方，希望你不用再重复走一遍。