基于Mamba-MLLA的YOLOv11结构改造与小目标检测优化

目标检测这两年卷得很厉害，各家都在想方设法把模型跑得更快、看得更准。YOLOv11出来之后，很多同学第一反应是“又套了个新版本”，但真上手用一段时间你会发现，它在特征提取和颈部结构上的变化其实不小。不过真到复杂场景——比如小目标密集排列、前景和背景颜色接近、被遮挡的目标一多，YOLOv11的默认结构还是会暴露出一个问题：感受野不够广，长距离依赖建模能力偏弱。这次要聊的就是我在某个检测项目里对YOLOv11做的一次结构级改造，核心思路是给主干网络和颈部融入一个叫Mamba-MLLA的注意力机制。

Mamba这个名字这两年很火，最初是语言模型那边用状态空间模型（SSM）做长序列建模的方案，特点是计算复杂度和序列长度呈线性关系，不像Transformer的Self-Attention那样是平方级。它的核心思想就是用一个可学习的隐状态把整个序列的信息“压缩”成一条连续的记忆线，再逐步放进输出。MLLA（Multi-Level Local Attention）是把它改造成适合视觉任务的一种变体，重点解决的是——图像没有天然序列结构，强行展平会丢失空间局部性，所以需要把“局部的细节注意力”和“全局的序列注意力”拼在一起用。

把这两样东西融合进YOLOv11，不是简单加一个模块就完事，里面牵扯到特征图怎么按序列扫描、通道维度怎么对齐、训练时BN层该冻结还是更新、损失函数要不要配合调整……这篇文就把我实跑这套方案时踩过的坑、最后定下来的结构、以及测试集上的一组对比数据完整写出来。适合已经跑通过YOLOv8/v11基础流程、想往模型结构层面做优化的同学参考，纯新手可能需要对检测框架有点基础，至少知道C2f和PAN-FPN大概是怎么走的。

2. 结构改造的核心逻辑与整体设计思路

2.1 原本的注意力到底差在哪

YOLOv11默认主干里已经融合了一些轻量注意力机制。C3k2模块里用到的卷积注意力，本质上是在通道维度和空间维度分别计算一个权重图，属于“局部加权”的思路。这种机制在处理普通目标时完全够用，因为目标的轮廓特征基本集中在局部几层卷积核覆盖的区域里。可问题是，说得粗一点它就是“近看”，不会“远看”。

拿一个密集人群检测场景来举例：每个人的头部在图像里可能只有几十个像素，衣服颜色高度相似，人与人之间有大量重叠。纯卷积注意力只能根据每个像素周边的一小块邻域来判断“这是不是一个人头”，一旦周围环境稍有干扰，特征就会糊掉。但如果模型能建立起“远处那个人和前面这个人之间的距离关系”，或者“靠边那个人的边缘轮廓和背景纹理差异”，判断准确率会明显提升。这就是长距离依赖建模的价值。

传统上解决长距离问题走的是Transformer那套路线：先把特征图展平成序列，然后让每个位置和所有其他位置做相似度计算。这在中小尺寸特征图上效果确实好，但序列一长计算量炸裂。94x94的特征图展平后序列长度接近9000，这个时候自注意力的复杂度和显存开销直接劝退。Mamba给出的方案是把Self-Attention里的全连接交互换成状态空间递推，每个位置的计算只依赖当前输入和上一步的隐状态，整体的复杂度就被压到了线性，这也是Mamba能进入视觉任务的核心筹码。

2.2 为什么选择MLLA而不是直接搬Mamba

直接从语言模型那边把原始Mamba搬到YOLOv11是不现实的。图像特征和文本序列有一个非常本质的区别：文本天然是一维的、按时间顺序展开的；图像是二维的，空间上相邻的像素在语义上强相关。原始Mamba虽然支持扫描，但它扫描时是一路单向走到底，局部感受野基本交给前面几层卷积，这对于检测任务里“需要同时看全局又不丢局部”的要求来说不够精细。

MLLA的思路可以看作“Mamba的视觉化改造”。它在Mamba的SSM基础上做三处调整：

1. 局部-全局双分支并行：一分支沿用普通卷积注意力，负责提取局部细节；另一分支把特征图切成小块（例如按4x4的patch）后做Mamba扫描，负责长距离信息交互。最后通过可学习的权重把它们加在一起。
2. 方向感知的四向扫描：原版Mamba是单向扫描，图像里从上往下扫和从左往右扫信息含义完全不同。MLLA采用“从左到右、从右到左、从上到下、从下到上”四个方向都扫一遍，最后叠加动态聚合。这样每个像素都能以较短的路径感知到图像远端的上下文信息。
3. 注意力权重的多级复用：MLLA模块的输出不只是更新一遍特征，还会把局部注意力和全局SSM注意力分别输出，给后面颈部结构去接Feature Pyramid时提供双份语义特征。这相当于附带了一个多尺度特征桥梁，对YOLOv11这种依赖于FPN跨层融合的检测器来说，是额外收益。

这些修改都是有代价的，换来的是显存占用不会随着输入分辨率上升而失控。实测在640x640输入下，单层MLLA模块相比同等通道数的Self-Attention层，显存占用大约只有后者的四成。

2.3 融合进YOLOv11的具体插入位置

改动的主脉络很简单——不重写整个模型，只在三个位置做手术：

• 主干网络倒数第二层之后（也就是SPPF结构之前）：插入一个MLLA-S模块，主要负责全局上下文信息感知。这里是整个特征提取流程里通道数最多、空间分辨率适中的位置，适合做全局建模。
• 颈部PAN结构的C2f之后：插入两个MLLA-Lite模块，负责加强跨层特征融合。这里要控制通道数，所以用的是轻量化变体，参数量为主干模块的六成。
• 检测头前面的特征下采样阶段：原本YOLOv11会在检测头处用卷积做一次最终的通道对齐，我在这里顺势让通道数完全和MLLA输出对齐，不再额外加卷积投影层。

这三个位置选完之后，YOLOv11的前向传播路径变成了“卷积主干提取基础特征 → MLLA全局注意力提炼关系信息 → 颈部做多尺度融合 → 检测头输出”。整个过程把注意力集中在特征图语义最丰富的那一段，不碰底层高分辨率大计算量的部分，所以推理速度的折损可以接受。

3. Mamba-MLLA的模块实现与关键细节拆解

3.1 模块结构逐层拆开讲

这里给出一个精简过的伪代码结构，便于理解实际实现时的模块流转：

class MLLA(nn.Module): def __init__(self, dim, num_heads=8, scan_size=4): self.dim = dim # 局部分支：1x1卷积 + 3x3深度卷积，保留局部细粒度 self.local_conv = nn.Sequential( nn.Conv2d(dim, dim, 1), nn.Conv2d(dim, dim, 3, padding=1, groups=dim) ) # 全局分支：Mamba四向扫描 self.ssm_scan = MambaScan(dim, direction=4) # 通道注意力头部 self.channel_gate = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(dim, dim // 4, 1), nn.ReLU(), nn.Conv2d(dim // 4, dim, 1) ) self.out_gate = nn.Sigmoid() def forward(self, x): identity = x local_feat = self.local_conv(x) global_feat = self.ssm_scan(x) # 高效融合：先切块再叠合 b, c, h, w = local_feat.shape local_block = local_feat.view(b, c, h // 4, 4, w // 4, 4) global_block = global_feat.view(b, c, h // 4, 4, w // 4, 4) merged_block = local_block + global_block merged_feat = merged_block.view(b, c, h, w) # 通道加权门控 gate = self.channel_gate(merged_feat) weight = self.out_gate(gate) return identity + merged_feat * weight

关键就是那个四向扫描的MambaScan。实现时可以用深度卷积模拟状态空间的“状态递归”效果——先按行的方向做一次因果卷积（causal conv），然后翻转特征图做反方向扫描，四个方向各扫一次，最后四个方向的输出在通道维度上拼接再做1x1卷积压缩回原维度。这种实现方式比直接依赖SSM基座库要轻得多，对只看推理框架的朋友更友好。

3.2 通道对齐与分辨率敏感度

插入到YOLOv11里最先遇到的问题就是通道对齐。SPPF模块输出之后特征通道数通常是512，而MLLA模块本身内部要分裂出四向扫描分支，通道数乘以四之后直接爆炸。实操时我在MLLA模块的入口加了一个Projector层，把输入通道先压缩到原通道的0.8倍做轻量化处理，再进入MLLA主体。出来的特征通过一个残差连接直接加回原特征图，这样既保证特征幅度不漂移，也方便后续通道恢复到512。

分辨率方面有个容易踩的坑：MLLA的切块参数（scan_size）不能设太大。在160x160特征图上用4x4切块，一个patch里就包含16个像素的信息，这个粒度基本适配中等大小目标。如果把scan_size调到8x8，虽然每个patch内部像素变多，但小目标本身的完整特征可能只覆盖一个patch的四分之一，反而把小目标细节磨平了。所以我的建议是在主干部分用4x4，在颈部用2x2。

3.3 计算量与参数量变化

这个改造不是免费的午餐，用一个小表格说明代价：

数据是在一张某中端显卡（显存24GB）上、640x640输入、实测推理得到的。视觉上明显的变化是：模型参数量从YOLOv11s的约9.4M上升到约12.2M，涨幅相对可控。本来我还担心加上MLLA后参数量会直接翻倍，实际压缩了内部线性层之后效果比预想好。

4. 训练策略调整与实测性能提升

4.1 训练时要注意的改动点

直接拿默认的YOLOv11训练配置去跑这套融合模型，通常会出现两个症状：loss前期快速降到平台期然后纹丝不动，或者val精度持续走低。这两个症状背后的原因分别是特征幅度失衡和梯度传播路径过浅。

我最后定下来的训练策略如下：

• 学习率从0.01降到0.004：MLLA内部有残差连接和门控激活，梯度范数比普通卷积大，学习率不降的话，第一轮就容易把预训练权重冲乱。
• 前10个epoch冻结MLLA模块，只训练主干和检测头：这里利用YOLOv11提供的层冻结机制，先让检测头适应新的特征分布，之后再逐步解冻MLLA进行微调。
• 数据增强里增加随机擦除：因为MLLA的全局分支会感知擦除区域之外的上下文关联信息，随机擦除可以增强它对“部分遮挡”的鲁棒性，这个在密集检测场景里实测收益很高。
• EMA衰减系数调到0.9998：MLLA模块参数更新速度比常规卷积快，EMA平均后模型更稳定。

4.2 同一测试集上的数据对拍

使用某公开检测数据集（包含约1万张图片、6类目标，其中密集小目标占比约35%）进行对比测试，输入尺寸统一为640x640，训练100个epoch。表中的数据是多次实验的平均值：

提升最集中的是小目标AP，这个符合预期，因为长距离特征关系给那些“本身像素少、需要靠上下文判定”的目标提供了额外线索。大目标AP几乎没有变化，大目标本身轮廓信息足够丰富，加不加全局注意力都一样。FPS下降14帧，这个代价在实际工程项目里需要权衡一下——如果你跑的是视频实时分析类业务，这14帧可能影响部署；如果是离线批量检测或者对单帧精度要求高的场景，就很值。

数据上还有一个值得注意的点：融合MLLA之后，模型的收敛速度明显变快。原始YOLOv11大概要到第55个epoch mAP才稳定，而融合版本第38个epoch就已经达到接近最终精度的水平。我推测原因是MLLA的全局分支让损失函数的梯度传播路径更丰富，信息流动更顺，所以早期epoch的精度提升更快。

5. 实际踩坑记录与排查经验

5.1 坑一：四向扫描方向处理bug

刚开始实现四向扫描时，我在“反转特征图”这一步吃了大亏。比如从上往下扫描，先对特征图做垂直方向翻转，再从左到右扫描，最后再翻转回来。这个操作如果忘了对通道顺序或者批维度做同步翻转，出来的特征图相当于做了随机空间扰动，模型前几轮loss直接不降。排查方式是在模块forward里加了一段可视化逻辑：将输入和输出的均值、方差打印出来，发现方差飙升到了原来的8倍，这才定位到翻转逻辑错误。

5.2 坑二：BN层训练异常

YOLOv11主干里大量使用BatchNorm，而MLLA模块内部没有BN层。训练初期因为主干BN的统计量还在更新，加上MLLA输出幅度大，导致主干BN的running_mean和running_var被带偏，表现为val精度震荡很厉害。解决办法是：训练的前10个epoch冻结主干所有BN，让MLLA的输出幅度先稳定下来，10个epoch之后再解冻BN。实测这个操作能把val的震荡幅度从±3%压到±0.5%以内。

5.3 坑三：输入尺寸变化导致patch切分异常

MLLA的切块逻辑中有一个Hard-coded的4x4块大小，检测推理时如果用户输入不是32的倍数，特征图在最后一个维度的尺寸会变成奇数，view操作直接报错。后面我改用了一种更稳妥的方式：先对特征图做pad到32的倍数，通过MLLA模块后再crop回来。这个处理额外增加了约0.3ms延迟，但换来了对任意输入尺寸的鲁棒，在工程部署环节很关键。

5.4 调参结论与最终推荐配置

经过一轮网格搜索之后，最终折中的一组配置为：

这组配置下精度、速度、显存三者基本达到平衡。如果你想进一步压缩延迟，可以把颈部第二个MLLA-Lite直接去掉，FPS可以回升到70左右，mAP50只下降0.4个百分点。在实际业务里我会优先考虑这个减配方案。

6. 这套方案能用在哪些场景

融合Mamba-MLLA注意力机制的YOLOv11，核心价值集中在几个特定业务场景中，不是所有任务都需要它。先说明这点是因为很多朋友会把注意力机制当成“装上就变强”的万能补丁，实际用下来往往适得其反。

• 密集小目标检测：比如航拍图像中的车辆统计、菌落计数、细胞识别。这类任务目标小、密度大、遮挡严重，局部特征区分度弱，恰好命中MLLA全局建模的优势区域。
• 背景复杂度高的目标检测：例如机器人巡检时的传输带异物识别，背景纹理和设备结构混杂，目标的边缘信息很容易和背景混淆。MLLA的四向扫描让模型能借助远端背景规律来判断当前区域是不是可疑目标。
• 大分辨率输入场景：1920x1080甚至更高的输入分辨率下，自注意力方法显存扛不住，但Mamba的线性复杂度优势在这个区间比较明显。实测在1280x1280输入下，显存占用相比YOLOv11原版只上升了约18%，这个扩张幅度对部署端是很友好的。

反过来，如果你的场景是轻量化的移动端实时检测（例如手机端人脸检测、工业流水线高速分拣），纯卷积结构仍然是更好的选择，MLLA带来的延迟和参数量上升还不如直接换更深的卷积层划算。

我还试过把MLLA放在YOLOv11的C2f模块内部作为子算子使用，而不是放在模块外部。效果上mAP提升幅度接近，但训练时的显存峰值更高了。原因是C2f内部特征图会经历一次特征分裂（split），MLLA需要处理的特征块数量更多，对小分辨率输入来说这个额外的显存开销不太划算。

7. 一些个人实操总结与补充建议

最后分享几个自己在实跑这套方案时积累的小经验，这些细节在论文和开源代码里通常不会写清楚，但对实际效果影响很大。

第一个是预训练权重怎么处理。直接把C3k2的预训练权重载入MLLA模型，会出现权重形状不匹配。我的做法是先用随机初始化跑通结构，确认模块形状无误后，再用一个“只加载主干卷积部分、跳过MLLA权重的选择性加载”策略，这样可以保留主干卷积在ImageNet级别特征上的优势。

第二个是梯度裁剪设置。MLLA内部状态空间分支的梯度矩普遍偏大，加上四向扫描会让梯度在同一个位置累计四次，容易出现梯度爆炸。我在加入MLLA后把clip_grad_norm从默认的10降到了3，训练过程明显稳定，val曲线也平滑许多。这个参数在YOLOv11的训练脚本里有一个hidden参数可以调整，建议实验时务必加上。

第三个是推理时候的跨帧一致性处理。如果你做的是视频检测而非静态图片检测，建议在模型输出后加一个轻量级的时序过滤，因为MLLA的全局上下文感知对每一帧是独立计算的，帧与帧间的目标位置关系并不会被学习到。加一个简单的IOU连续性约束，整体视频检测的稳定性会比原始YOLOv11提升更明显。

这套方案后续还可以往两个方向扩展。一个是把MLLA应用到YOLOv11的segmentation分支上做实例分割，理论上对分割任务的边缘细节建模会有帮助；另一个是和知识蒸馏配合，让大模型通过MLLA学到的全局特征作为软标签，传递给轻量模型，这样在部署端可以兼顾速度和全局上下文能力。我自己目前优先在试验分割分支的融合，感兴趣的可以持续关注后续结果。