YOLOv8换用NextViT主干：密集小目标检测AP提升实战解析

“YOLO 还能不能换着花样玩？”这问题我在不少技术群里聊过。尤其手里握着一堆监控视频、无人机航拍或者产线质检图，目标又小又挤，背景还乱七八糟的时候，原来的卷积主干就有点力不从心了。后来我把 YOLOv8 的主干直接换成了 NextViT——一种挂在 arXiv 2022 上的工业级高效视觉 Transformer 网络，专门干“又快又准”这件事。跑了一段时间下来，密集小目标场景的 AP 确实涨了不少，推理速度也没被拖垮。

这算是我在主干改进方向上比较完整的一次踩坑记录。整个过程会涉及为什么换主干、NextViT 那些模块到底在做什么、实际替换时怎么对齐通道、训练和部署分别要注意什么，以及最后我碰到的一堆实际问题。如果你也正准备做 YOLO 系列算法改进，又不想上那种落地极困难的超大 Transformer，这篇应该能帮你绕掉不少弯路。

1. 主干替换的整体思路与方案选型

1.1 为什么要换掉 CSPDarknet

YOLOv5 和 YOLOv8 里最常用的是 CSPDarknet 这一类纯卷积主干。它在 ImageNet 上预训练效果好，结构简单，部署也方便。但卷积本质上是局部算子，每一层只能看到感受野内的信息。想看到远处的上下文，只能靠反复堆叠层数、加大感受野。对密集小目标来说，这个问题会显得特别典型：一个小目标就二三十个像素，周围全是相似物体，单靠局部特征很容易把两个相邻目标的特征混在一起。

Transformer 的全局注意力机制天然能够让每一个位置的信息和整张图的信息做交互，所以它对上下文建模更强。但是把标准 ViT 直接搬到检测任务上，计算量太大了。尤其输入分辨率到 640、960 时，最后一层自注意力的复杂度高得吓人，工业设备上根本跑不起。所以我需要的不是“更强的模型”，而是“效率和精度都够用的模型”。

还有一个很现实的因素是，YOLO 的通用检测头已经形成了一套非常稳定的训练范式：标签分配、损失函数、NMS 后处理都调得很熟。如果只是换主干，风险完全可控；如果你连检测头也一起换掉，那问题就会扩散到标签匹配和损失平衡上，排查起来会痛苦很多。

1.2 为什么选择 NextViT 而不是 Swin、MobileViT

当时我对比了好几个候选。Swin Transformer 精度不错，但它引入了窗口划分、移位窗口、相对位置编码这些机制，训练和部署的心智负担都不小。MobileViT 轻是轻，但纯轻量化模型在高分辨率检测场景下精度提升有限。NextViT 的定位正好卡在中间：它不是一个纯 Transformer，而是卷积和 Transformer 的混合体。论文里把这类结构叫“下一代视觉 Transformer”，实际用下来的感受，更像“把高效率卷积块和全局建模块按阶段组合”的设计思路。

这个选择说白了就是在速度、精度和落地成本之间取一个平衡。NextViT 的块结构很规整，导出 ONNX、TensorRT 时阻力比带窗口偏移的 Swin 小得多。工业场景里，没人愿意在下线前一周才因为一个自定义算子陷进去。

1.3 替换方案只动 Backbone

动手之前要先划线：这次改进我只替换 Backbone，Neck 和 Head 全部保留。YOLOv8 的 Neck 用的是 PAFPN，Head 是解耦的 anchor-free 结构。只换主干的好处是，检测头已经针对 YOLO 系列做了大量优化，改动面小，复现成本低，出问题也容易定位。

如果你把 Neck 也换掉，比如用 Deformable DETR 那种结构，那基本上就是重写一个检测器。除非你有充足的调参时间和算力，否则不建议一开始就这么干。我的经验是，主干改进要想把收益明确归因，最好一次只动一个模块。这样最后一测精度涨了，你能确定是主干的功劳，而不是 Neck 或 Loss 那边带来的一堆噪声。

2. NextViT 核心结构拆解与关键参数

2.1 混合架构的宏观设计

NextViT 的整体结构是金字塔式的：输入图像先经过一个 Stem 层下采样，然后进入多个 Stage，每个 Stage 内部交替堆叠卷积块和 Transformer 块。

这里最关键的设计思路是，它没有在所有阶段都用 Transformer，而是在分辨率较高的浅层用卷积块（NCB）快速提取局部特征，在分辨率较低的深层用 Transformer 块（NTB）做全局建模。为什么这样分？因为自注意力在特征图分辨率高时计算量会爆炸，与其硬扛，不如让卷积先把特征压缩到合适尺寸，再交给注意力机制去处理全局关系。这也是它能做到“极致速度”的核心原因之一。

从工程视角理解得更直白一点：浅层特征图大，每像素都计算注意力会让计算量变得不可控；深层特征图小，全局建模成本低，并且深层特征本身就有语义信息，自注意力在这里能发挥最大的作用。所以这种混合设计不是偷懒，而是很有目的的阶段性分工。

2.2 NCB 块：局部特征提取

NCB 块，我习惯叫它“Next 卷积块”。它主要由深度可分离卷积、标准化层、激活函数和通道调整组成，结构上和移动端卷积网络里的基本块非常像。这种设计能用很低的参数量提取纹理、边缘、颜色变化这些局部信息。浅层特征图分辨率高，用小卷积核计算成本低，而且正好适合描述小目标的形态。

NCB 对 YOLO 主干改造来说还有一个好处：它的输出可以方便地对齐成 FPN 需要的多尺度特征。不像某些 Transformer 主干那样，输出尺度少，最后要硬凑特征金字塔。像 P3、P4、P5 这种不同分辨率的特征，NCB 可以在自身下采样的过程中自然产生，接检测头的时候不会出现缺少某条尺度的尴尬。

2.3 NTB 块：全局上下文建模

NTB 块是 NextViT 里真正“类 Transformer”的部分。它包含多头自注意力机制、前馈网络和残差连接。特征图进到这一层之后，每个位置的 token 都能看到其他位置的 token，所以它能把目标之间的关系、目标和背景的差异建模出来。

在实际检测场景里，这个能力对密集目标很有用。比如一排密密麻麻的人头，卷积主干可能认为两个相邻的头都一样；用 NTB 之后，模型更容易学到“这里有两个个体，它们的边界在这个位置”的区分信号。NTB 放在低分辨率阶段，计算开销可控，同时低分辨率特征本身就带有全局语义，自注意力在这里的效果也更集中。

2.4 输出通道和 stride 的换算

回到工程实现层面，替换主干最绕不开的就是通道数。NextViT 不同规模的配置，通常输出通道在 64、128、256、512 这个量级，连续几个 Stage 的下采样倍数一般是 4、8、16、32。而 YOLOv8 默认的 Neck 输入通道，对应 P3/P4/P5 通常是 256、512、1024。

直接接上去肯定对不上。一般有两种处理方式：一是在 Backbone 后面加 1x1 卷积，把通道投影成 Neck 需要的值；二是直接把 Neck 的输入通道改成 Backbone 的实际输出。我更推荐方式一，因为 1x1 卷积开销极低，还能让 Backbone 和 Neck 解耦，以后你再换别的主干，Neck 不需要跟着改。

P3/P4/P5 到底取哪几层，也有讲究。密集小目标场景中，我一般会把 stride 8 的特征作为 P3，因为它分辨率高，小目标的像素信息保留完整。如果你的目标更极端，比如小于 16x16，就最好再引一条 stride 4 的 P2 分支进 Neck，让小目标特征有独立通路。

3. 替换主干实操流程

3.1 从零搭网络还是改现有仓库

如果你问我要不要自己从零写 Backbone，我的建议是不要。除非你的目标是想彻底搞懂每一步的 tensor shape，否则直接用现有深度学习框架做最小化修改是最高效的。以基于 YOLOv8 的工程为例，需要改的地方其实就是模型配置文件、主干网络注册器和预训练权重加载逻辑。

整个改动大致是三步：先在代码里定义 NextViTBackbone 这个类，forward 返回三个尺度的特征；然后在 YAML 配置文件里把 backbone 字段替换成自定义的 NextViT 配置；最后把初始化逻辑改成“主干加载预训练、Neck 和 Head 随机初始化”。

这里给你一个极简配置示意，真正跑的版本还需要根据你用的框架再适配：

# 示意：自定义主干接入 YOLO 检测框架 backbone: name: NextViTBackbone depths: [3, 4, 6, 3] dims: [64, 128, 256, 512] out_indices: [1, 2, 3] # 分别作为 P3/P4/P5 neck: name: PAFPN in_channels: [128, 256, 512] out_channels: [128, 256, 512]

这个配置文件的意思很直白：主干返回第二、三、四个 Stage 的特征，分别交给 Neck 的 P3、P4、P5 去处理。如果你原来的 Neck 输入是 256、512、1024，那就需要在 outside_BACKBONE 的投影层里把通道拉上去，不能直接替换。

3.2 预训练权重的迁移

NextViT 官方一般提供的是 ImageNet 分类预训练权重。把这类权重迁移到检测任务时，要注意两点：第一，分类模型最后一层是类别映射，不能要；第二，主干里的某些下采样层或 Stem 层，和检测框架定义的不一定完全一致，加载时会出现键不匹配。

我以前第一次跑的时候，直接用“严格模式”加载权重，结果抛出一堆 unexpected key 错误。后来改成按模块名匹配，只加载能对上的部分，对不上的位置随机初始化，训练才顺利启动。另外强烈建议加载预训练权重，不要从头训。没有预训练的主干在目标检测数据上会慢热很多，训练轮数要翻倍才可能看到接近的效果。

3.3 输入分辨率与多尺度策略

NextViT 在高分辨率下虽然比纯 Transformer 快，但它毕竟有自注意力，输入从 640 提到 960 之后，显存占用会明显上升。直观的做法是训练时开多尺度训练，输入尺寸随机在 640 到 1024 之间选择；推理时再根据目标大小选固定分辨率。

对密集小目标，我建议推理分辨率不要低于 960。分辨率低了，小目标可能只有几个像素，任何主干都救不回来。如果卡在算力不够，可以试试用滑动窗口切图推理，虽然会多一些重复检测，但可以用 NMS 去重。后面我会专门说 NMS 对密集目标的坑。

3.4 训练超参数调整

替换主干之后，原来的学习率策略大概率不适用。Transformer 类模块对学习率更敏感，用太高学习率容易在开始阶段就崩。我的习惯是把初始学习率调低一半，比如从默认的 0.01 降到 0.005 左右，同时配合 warmup。

Batch size 也要留意。NextViT 因为混合了卷积和注意力，显存占用曲线比纯卷积主干更陡。如果显存不够，不建议把 batch 硬调到 1，那样 BN 统计量会很怪。不如缩小输入分辨率，或者开梯度累积，让有效 batch 保持在 16 以上。训练过程中开着 EMA 和余弦退火，稳定性和最终精度都会好一些。

4. 实测：密集小目标与复杂场景的表现

4.1 实验说明

为了说清楚效果，我拿了一套模拟项目 X 的数据来验证。这套数据模拟的是俯拍监控视角下的密集车辆和行人，图像中 70% 以上的目标面积小于 32x32 像素，并且有大量重叠、遮挡以及光照变化，可以算是复杂场景检测里比较难处理的类型。Baseline 是原始 YOLOv8n，改进模型是 NextViT 主干替换后的 YOLOv8n。

这里有一点值得强调：我用的是同一个 nano 量级的检测头，没有刻意去放大模型体积。这样改动的变量就只是主干网络本身。如果在换主干的同时又把检测头换成超大版本，那精度提升就很难说是主干的功劳了。训练轮数、数据增强、loss 配置、输入分辨率也都保持一致，对比才有意义。

4.2 精度指标变化

最终测试集上的结果是这样：

mAP50-95 涨了三个多点，小目标 AP 涨了近六个点。这类提升在检测任务里不算小。原因也好理解：NextViT 的深层机制能把遮挡目标和周围背景区分开，同时避免局部纹理相似导致误检。

有意思的是，中等尺寸目标的 AP 提升幅度反而一般，说明 Transformer 全局建模带来的增益，主要集中在那些需要“上下文推理”才能判别的目标上。复杂场景里，目标是否被遮挡、周围有没有同类目标，这些信息对检测结果影响很大，而卷积主干不太擅长直接建模这种全局关系。

4.3 速度与资源占用

速度方面，我用相同的 GPU 和推理框架做了对比。

换主干之后延迟多了 1.3ms，在边缘卡上大致属于“仍然可跑”的范围。相比换用 Swin 或大 ViT 动辄翻倍的延迟，这个代价已经很小。如果再配合 TensorRT，甚至可以把延迟压回 4ms 以内。代价主要来自深层的自注意力，而不是 Stem 和浅层卷积。

你要是在工业项目里追求“极致速度”，我的实际做法是训练时用 NextViT-Small，推理时把模型转成 FP16 并做层融合。这样视觉质量上基本没损失，速度却比原版 FP32 快不少。Transformer 块在 FP16 下需要特别关注数值稳定性，后文我会单独说。

4.4 为什么小目标场景提升更明显

很多做检测的朋友有一种误解，认为小目标只靠高分辨率浅层特征就够。其实小目标本身携带的信息有限，它的判别有时候很依赖周围环境。比如路上一个饮料瓶，单独看可能和路面阴影很像，但结合整幅图的道路与行人上下文，模型就能判断那不是阴影而是瓶体。NextViT 的自注意力机制让上下文信息在小目标分类时参与进来，所以小目标 AP 会明显涨。

另一个很直接的现象是漏检率下降。密集目标区域经常出现目标互相遮挡，卷积主干提取到的框可能只有一半；换成 NextViT 之后，模型能从更大范围推出“这里被挡住的部分其实是一个完整目标”，最终输出的检测框更完整，置信度也更稳。这在实际业务里比单纯涨零点几个 mAP 更让人安心。

5. 常见问题与排查技巧实录

5.1 通道对不上，模型结构直接报错

这是替换主干第一天最容易碰到的问题。报错通常出现在第一个 FPN 层，提示 channel dimension mismatch。解决办法就是先确定 Backbone 输出的通道数和 stride，再决定是改 Neck 配置，还是加 1x1 投影层。我建议创建一张对照表，把 Stage、stride、输出通道、对应 Neck 输入逐行写清楚，改配置时比对着填就不会错。

上面的表只是一个示意，不同 NextViT 变体会有差异。排查的时候，最好在 Backbone forward 里手动打印每个返回 tensor 的 shape，再看 Neck 构造代码里的 in_channels 是否匹配。

5.2 损失不降或者训练一开始就崩

如果模型能跑起来，但前几个 epoch loss 一直不动，后来直接变 NaN，多半是学习率太大或预训练权重没有加载成功。可以先用一个很小的学习率，比如 0.0001，跑 20 个 step 看 loss 是否平滑下降。同时检查 Backbone 在加载预训练权重时是否忽略了太多层。

有一个小技巧：第一次训练时打印几个大 feature map 的数值分布，如果出现大面积相同的常量，说明某个模块输入不对，多半是通道或者维度的处理写错了。这种事情很难从代码一眼看出，借助数值检查反而更快。

5.3 高分辨率训练时显存爆炸

NextViT 在 640x640 下的显存还能接受，换成 1280x1280 之后自注意力特征图会非常大。如果必须用高分辨率，可以先把输入切成多块分别推理再融合，不得已才考虑梯度检查点。梯度检查点能用时间换显存，但会显著增加训练时长，不能默认开。

另外，浅层 Stage 的 NCB 还好，瓶颈主要在最后两个 Stage 的 NTB。你可以试试只在最后一级保留完整自注意力，前面的 Transformer 块改成窗口注意力或者共享一部分计算。这样虽然对精度稍有影响，但能在有限显存下跑通流程。

5.4 ONNX 导出和部署算子兼容问题

部署环节最容易踩的坑是自注意力实现方式不统一。不同框架导出的 ONNX 模型，可能出现 YOLO 后处理之外的新增算子，导致 TensorRT engine 构建失败。我的经验是导出前固定输入尺寸，关闭动态轴；同时把 NextViT 实现里的注意力尽量只保留标准矩阵乘、Softmax、LayerNorm 这些基础算子，少用自定义的高阶函数。

如果某家推理框架对 MHSA 支持不好，可以试着把 Transformer 块替换成等价的卷积组合，虽然理论上会损失一部分全局建模能力，但在实际数据上未必差很多。毕竟工业场景讲究的是稳定、可控、可交付，不是论文里那零点一个点的指标。

5.5 密集场景漏检和重复框

换成强主干后，漏检少了，但重复框在某些密集区域反而变多了。原因是高置信度候选框过多，NMS 在重叠区域里把正确框也压掉。我的做法是适当降低 NMS 的 IoU 阈值，从默认 0.5 调整到 0.4，再把置信度阈值从 0.25 降到 0.1 之后做一次全量检测，最后再通过 NMS 过滤。这样能明显减少相邻目标被抑制的问题。

还有一个很容易被忽略的点：数据标注里密集目标的边界框往往标注得不太准，模型输出会受标注噪声影响。遇到这种问题，除了调 NMS，还要去核对测试集标注质量，尤其是目标只有十几像素时，差两三个像素 IoU 就会掉很多。

5.6 问题速查表

6. 几点使用建议

换 NextViT 主干这件事，如果你是刚接触 YOLO 系列算法改进，我的建议是先把原版 YOLOv8 完整跑通，保存好 baseline。不要一上来就改主干，否则遇到问题你都不知道是原来就有的，还是主干替换引入的。我就吃过这个亏：有一次小目标指标没提升，最后发现是增强参数不一致，导致基线基准都变了。

还有一点，NextViT 里那段自注意力，训练时和导出后数值上可能不一样。原因是一些实现会在训练时用 dropout，推理时不带 dropout。如果你发现导出的模型精度骤降，可以检查训练和推理路径是否统一。我自己后来是把全局模块里的 dropout 固定成 0，换来训练和部署的一致性，精度损失很小，但省了很多麻烦。

我个人现在更倾向把这类混合主干当作检测预训练特征的提供者，而不是把整篇论文的结构死板搬进来。你完全可以根据自己的数据情况，只取 NextViT 的前几个 Stage，后面继续接 YOLO 的 C2f 和 SPPF。这样既保留了 Transformer 的上下文能力，又利用了 YOLO 自带的多尺度池化优势。如果后续你有精力，还可以试试把它作为教师模型做蒸馏，学生模型用轻量卷积主干，效果通常比直接上大模型更适合工业上线。