论文题目：YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection（YOLO-Master：基于混合专家加速与专用 Transformer 的增强型实时目标检测）
会议：CVPR 2026
摘要：现有实时目标检测（Real-Time Object Detection，RTOD）方法通常采用类似 YOLO 的架构，因为这类架构在准确率和速度之间具有良好的权衡。然而，这些模型依赖静态的密集计算，对所有输入采用相同的处理方式，导致表征能力与计算资源分配不合理：简单场景获得了过多的计算资源，复杂场景却得不到充分处理。这种不匹配同时带来了计算冗余和检测性能不足。为克服这一局限，本文提出 YOLO-Master，一种新型类 YOLO 框架，为实时目标检测引入图像级自适应计算。具体而言，本文设计了高效稀疏混合专家模块（Efficient Sparse Mixture-of-Experts，ES-MoE），根据每个输入场景的复杂程度动态分配计算资源。其核心是一个轻量级动态路由网络，通过增强多样性的目标，在训练过程中引导不同专家形成专门能力，鼓励专家之间相互补充。此外，路由网络能够自适应地学习仅激活最相关的专家，从而提升检测性能，并尽可能降低推理阶段的计算开销。在五个大规模基准上的综合实验证明了 YOLO-Master 的优势。在 MS COCO 上，该模型取得 42.4% AP 和 1.62 ms 延迟；与 YOLOv13-N 相比，mAP 提高 0.8 个百分点，推理速度提高 17.8%。值得注意的是，性能提升在具有挑战性的密集场景中尤为明显，同时模型在典型输入上保持较高效率，并维持实时推理速度。
源码：https://github.com/Tencent/YOLO-Master
一、研究背景与核心问题
1.1 YOLO 的瓶颈不只是网络不够强
实时检测模型一直面临精度与速度的取舍。YOLO 系列通过改进 Backbone、Neck、多尺度融合和注意力机制，持续提高检测精度，但论文认为现有设计还有一个共同特点：网络的计算路径通常在部署前就确定了，面对不同图像仍执行近似相同的密集计算。
简单场景可能存在计算冗余，密集目标与复杂遮挡场景则可能缺少有针对性的特征表达。
这篇论文想解决的核心问题是：能否让 YOLO 根据输入内容选择需要执行的专家，在不破坏实时性的前提下提升复杂场景下的检测能力？
1.2 核心洞察：不是所有专家都必须同时工作
作者引入混合专家（Mixture of Experts，MoE）思想。模型设置多个不同的特征专家，由轻量路由器选出适合当前图像的分支并融合。
论文 Figure 1：YOLO-Master-N 与 YOLOv10/11/12/13-N 的 COCO 准确率—延迟关系
Figure 1 展示更高 AP、更低延迟的目标。YOLO-Master-N 位于 42.4% AP、1.62 ms 的位置，而 YOLOv13-N 为 41.6% AP、1.97 ms。
二、YOLO-Master 整体框架
论文 Figure 2：YOLO-Master 框架、ES-MoE 信息流以及训练/推理阶段的路由策略
整体沿用Backbone → Neck → Detection Head，但把部分固定特征变换替换为“路由器选择的专家组合”。Figure 2 展示多种放置方案；经消融验证，最终只在 Backbone 放置 ES-MoE。
对于输入特征图 X ∈ R^(C×H×W)，ES-MoE 的执行流程可以概括为：
输入特征 X → 全局信息汇聚 → 动态路由权重 → 选择 Top-K 专家 → 专家特征变换 → 加权融合输出 Y。
与“多分支全部计算后融合”不同，推理时未入选的专家无需执行，由此产生实际稀疏性。
三、ES-MoE：轻量专家与动态路由
3.1 专家为什么采用不同卷积核
为了使 MoE 适用于实时检测，作者没有使用高成本的密集 Transformer 分支，而是将深度可分离卷积（Depthwise Separable Convolution）作为专家的基本操作：
专家配置 3×3、5×5、7×7 等不同感受野：小卷积核关注局部细节，大卷积核汇聚更宽范围的上下文，形成适应不同目标尺度的互补表征。
3.2 路由器如何决定选谁
作者首先对输入 X 做全局平均池化（GAP），得到一个 C×1×1 的紧凑描述，再经过两个 1×1 卷积和 SiLU 激活，输出 E 个专家的路由 Logits。中间通道数设置为 C_red = max(C/8, 8)，因此路由决策本身比较轻量，其主要计算不随原特征图的 H×W 线性增长。
接下来使用 Softmax 将第 i 个专家的分数变为权重：
其中为第 i 个专家的打分，E 为专家总数。选出 Top-K 专家集合 T_K 后加权融合：
前式决定“选谁”，后式决定“如何融合”，让更适合当前输入的专家贡献更大。
3.3 Soft-to-Hard Top-K：训练稳定与推理稀疏如何兼顾
论文将路由分为训练和推理两个阶段。训练时先对全部专家 Logits 做 Softmax，再对 Top-K 专家保留连续权重并归一化，以便参与优化；推理时则直接选取得分最高的 K 个专家，只计算这些分支，对其他专家赋予零权重。
这种“训练阶段使用可优化的软权重、推理阶段执行硬选择”的设计，是 ES-MoE 能兼顾专家学习与实际加速的关键。需要注意：论文最终采用的是4 个专家、Top-2 激活。因此其自适应性主要体现为不同图像选择不同的专家组合，而不是每张图像都会动态改变激活专家的数量；K=2 时，激活专家数量仍是固定的。
四、负载均衡：防止专家全部挤向同一条路径
4.1 只训练检测损失可能出现专家塌缩
如果路由器总是把样本送给最早表现较好的专家，其他专家可能很少获得有效训练，最终形成“名义上有多个专家，实际上只有少数专家工作”的问题。这就是 MoE 中常见的专家塌缩（Expert Collapse）。在目标检测中，它不仅浪费专家容量，也会损害多尺度特征的互补性。
为此，论文在检测目标之外加入负载均衡监督，让一个批次内的专家平均使用情况更接近均匀分布。它使用均方误差形式：
总体训练目标写为 L_total = L_YOLO + λ_LB·L_LB，λ_LB 控制均衡项的强度。直观理解是：检测损失要求专家把目标检测好，均衡损失要求训练过程不要过早把资源集中在少数专家身上。
4.2 均衡损失不是越强越好
均衡监督与检测优化也可能相互影响。论文后来比较了包含 DFL（Distribution Focal Loss）和不同 MoE 均衡权重的训练配置，发现提高均衡权重并不必然提升 mAP，部分组合反而产生更明显的优化波动。
五、实验结果与消融分析
5.1 数据集与实验设置
论文 Table 2：五个数据集的规模、类别数及主要训练配置
实验覆盖 MS COCO、PASCAL VOC、VisDrone、KITTI 和 SKU-110K，既包含通用检测，也包含无人机视角、自动驾驶和高密度商品等不同场景。作者采用 640×640 输入、600 个训练 Epoch、Batch Size 256、SGD，以及 Mosaic、Copy-Paste、随机仿射变换和 HSV 扰动等增强策略。
多数据集对比用于检验专家选择是否能跨越不同目标尺度、密度和视觉域发挥作用。
5.2 主实验：五个基准是否同时受益
论文 Table 1：YOLO-Master-N 与四种 Nano 级 YOLO 检测器在五个基准上的表现
主实验最值得关注的是 COCO：YOLO-Master-N 达到42.4% mAP、1.62 ms，比 YOLOv13-N 的 41.6% mAP、1.97 ms 提高 0.8 个百分点，同时延迟降低约 17.8%。不过它并不是表中推理延迟最低的模型：YOLOv11-N 为 1.50 ms，但精度只有 39.4%。因此 Table 1 更合理的结论是YOLO-Master 在准确率与速度之间取得更好的整体折中，而非在每个单项指标上都排第一。
跨数据集表现同样有参考价值。相比 YOLOv13-N，YOLO-Master-N 在 VOC、VisDrone、KITTI 和 SKU-110K 的 mAP 分别提升 1.4、2.1、1.5 和 0.7 个百分点。其中 VisDrone 的增益尤为明显，呼应了论文关于多尺度目标以及复杂场景特征处理的动机。
5.3 ES-MoE 放在哪里：Backbone 与 Neck 的差别
论文 Table 3：(a) COCO 小模型对比；(b) ImageNet 分类结果；(c) ES-MoE 插入位置及专家数量；(d) Top-K 对比
Table 3(c) 是理解结构设计最关键的消融。以该组实验的 mAP 为指标，未插入 ES-MoE 的 Baseline 为 60.8%，只加到 Backbone 后提升到62.1%；但仅放在 Neck 时降至 58.2%，两者同时加入更降至 54.9%。因此最终架构不是“MoE 模块越多越好”，而是选择 Backbone-only。
4 个专家的 Backbone 配置仅使用约 2.66M 参数，达到 62.1% mAP；增加到 8 个专家后参数增至 3.68M，mAP 反而为 62.0%。此处约 60% 的 mAP 来自对应消融设定，不可与 Table 1 的 COCO 42.4% 直接混比。
5.4 Top-K：为什么选择 2 个而不是全部激活
论文 Table 4：固定 4 个专家时，K 值、稀疏率与检测精度之间的关系
当 K=1 时，专家稀疏率达到 75%，但 mAP 只有 61.3%；K=2 时，稀疏率为50%，mAP 提高到 61.8%，mAP50 为 81.9%。继续提高到 K=4，mAP 仅小幅升至 61.9%，却失去了专家级稀疏性。因此Top-2 是综合精度和稀疏率的最佳折中，而不是表中绝对 mAP 最高的配置。
5.5 损失消融：DFL 与 MoE 监督并非简单叠加
论文 Table 5：DFL 开关与不同 MoE 均衡损失权重的消融
论文 Figure 3：各种损失配置下的 DFL、MoE、总损失和验证 mAP 收敛曲线
这组结果比较有意思：包含 DFL、MoE 权重为 0.5 的配置得到 61.9% mAP；当两项同时保留且 MoE 权重提高到 1.5 时，精度降至 61.4%。相反，移除 DFL 项、保留 MoE 均衡监督且令 λ=1.5的配置达到 62.2%，为 Table 5 中最高。这里的“MoE-only”指该消融组合没有 DFL，并不意味着删除分类和定位等全部检测损失。
Figure 3 的损失与验证曲线进一步展示，不同监督项组合会改变训练稳定性。作者据此推测，DFL 对边框分布的优化与 MoE 对专家分工的约束可能存在梯度竞争。但这主要是由消融现象支持的机制解释，并不是对梯度冲突的独立因果证明。
5.6 不只检测：分类、分割与定性案例
从 Table 3(a) 看，YOLO-Master-S 在 COCO 上获得 49.1% mAP，高于 YOLOv13-S 的 48.0%；但其计算量为 28.6 GFLPs，也高于后者的 20.8 GFLPs，说明精度增益并非在所有模型规模上都伴随更低理论计算量。Table 3(b) 报告 YOLO-Master-N 在 ImageNet 分类任务上达到76.6% Top-1，比 YOLOv11-N 高 6.6 个百分点。论文正文还报告分割任务达到 35.6% Mask mAP，相比 YOLOv12-seg-N 提升 2.8 个百分点。
论文 Figure 4：小目标、类别区分、复杂遮挡和密集目标四组定性检测案例
Figure 4 展示远距离小目标、海岸背景遮挡、人物与动物重叠，以及桌面密集物品案例，YOLO-Master 的预测更完整或置信度更高。
六、总结与思考
如果将 YOLO-Master 压缩成一句话：利用轻量路由器在多尺度卷积专家之间进行条件选择，把 YOLO 的部分固定密集计算变成稀疏的、与输入相关的特征处理。
这篇论文真正值得记住的不是“在 YOLO 中加入 MoE”这一表面操作，而是三项相互配合的设计：采用低开销的深度可分离卷积专家，避免 MoE 本身拖慢实时推理；通过 Soft-to-Hard Top-K 保证训练可优化、推理可跳过未选专家；利用均衡监督避免专家塌缩，再通过实验选择合适的位置、专家数量和损失权重。
从工程角度看，也有三个边界需要保留。首先，固定 Top-2 主要改变专家组合而非每张图激活的专家数，不能直接等同于“图像越复杂就调用越多专家”；其次，稀疏率不自动等于端到端加速率，真实收益仍取决于专家调度、框架实现及硬件；最后，部分损失配置和模块放置会让性能明显下降，说明 MoE 的路由训练并不是无需调参的即插即用模块。
总的来说，五个基准和多组消融支持一个结论：适度的专家专门化与选择性执行，可以改善实时检测的精度—效率折中。
