做目标检测的人，几乎都绕不过RetinaNet这个名字。它出现在2017年，那会儿一阶段检测器还背着“速度快但精度低”的标签，两阶段检测器虽然准，却因为要单独跑区域提议网络，速度和训练复杂度都让人头疼。RetinaNet用了一个很巧妙的设计——把Focal Loss和特征金字塔结合到一起，硬生生把一阶段检测器的精度拉到了两阶段的水准。这篇文章就聊聊我对RetinaNet的理解、踩过的坑，以及一些可以直接抄作业的实践经验，适合刚接触检测算法的新手，也适合被论文公式劝退、想真正跑通模型的同学。
1. 为什么RetinaNet能在目标检测里站稳脚跟
1.1 一阶段和二阶段的恩怨，RetinaNet补上了什么
在RetinaNet出现之前，检测器大致分成两派。两阶段检测器的思路是先粗后细，第一步用区域提议网络生成一批可能包含目标的候选框，第二步再对每个候选框做分类和回归。这种“先筛一遍再做细活”的流程，精度确实高，但代价是速度上不去，而且整个训练流程复杂，后处理环节也多。
一阶段检测器的思路就粗暴得多，直接在特征图的每个位置上预置一堆锚框，一次前向就把类别和位置全预测出来，速度确实快，但精度一直被诟病。当时主流观点认为，精度差距主要来自一阶段检测器缺少“两阶段”里的采样过程，导致正负样本比例极度失衡。一张普通图片里锚框数量动辄上万，其中绝大多数都是背景，真正包含目标的可能只有几十个。模型在训练时会被海量简单负样本淹没，学不到对目标有用的特征。
RetinaNet的核心贡献在于，它没有采用复杂的采样或者级联结构去解决样本不平衡，而是从损失函数层面入手，提出Focal Loss，把训练重心从那些“轻易就能区分”的背景样本上移开，让模型专注于困难样本。这正是它站稳脚跟的根本原因——它用最小的结构改动，解决了一个长期困扰一阶段检测器的痛点。
1.2 一句话看懂RetinaNet的整体设计
RetinaNet的整体结构可以用一句话概括：骨架网络提取特征 + 特征金字塔融合多尺度信息 + 两个并行的子网络分别做分类和回归 + Focal Loss解决样本不平衡。
骨架网络通常是残差网络，比如ResNet-50或者ResNet-101，负责从原始图片中提取层次化的特征图。特征金字塔接收骨架网络不同层级的输出，生成一组多尺度特征图，每个尺度对应不同大小的目标。两个子网络分别作用在金字塔每一层上，共享同一套权重，一个输出类别概率，一个输出边框偏移量。
这个设计和当时的其他方法相比，结构上没有太多花哨的东西，甚至可以说它把“简单”发挥到了极致。真正让RetinaNet和其他方法拉开差距的，是训练策略上的两个细节：一是Focal Loss，二是分类子网络的偏置初始化。这两个细节放到后面详细说。
2. 核心武器：Focal Loss的来龙去脉
2.1 类别不平衡到底有多严重
想理解Focal Loss，得先理解目标检测里的类别不平衡到底严重到什么程度。我在自己的数据集上做过一次统计，一张短边800像素的图片，经过骨干网络和特征金字塔后，生成的锚框数量大约有十万个，这还没算上多尺度叠加。在这些锚框里，和真实目标框的IoU超过0.5的正样本，基本上只有个位数到几十个，其余全部是负样本。
如果直接使用标准的交叉熵损失，每个负样本都会贡献一份梯度。虽然单个简单负样本的损失很小，但数量太多，累加起来就会淹没正样本的梯度。更麻烦的是，模型一开始会倾向于把所有锚框都预测成背景，因为这样做能让损失快速下降。这个行为不是模型“故意”偷懒，而是梯度的自然偏向——简单负样本的梯度占据了主导，模型觉得预测成背景最安全。
有个朋友曾经问我，能不能通过把负样本的权重调低来解决这个问题。理论上可以，但实际操作很难。因为不同图片的负样本数量差异很大，固定权重很难适配所有情况。Focal Loss的思路是动态地调整每个样本的权重，不靠先验统计，而是靠模型自己对每个样本的判断置信度来分配权重。
2.2 Focal Loss公式拆解
Focal Loss的原始公式并不复杂，它是在标准交叉熵上加了一个调制因子。标准交叉熵对每个样本的损失可以写成：
[ CE(p_t) = -\log(p_t) ]
这里 (p_t) 表示模型对正确类别的预测概率。如果样本是正样本，(p_t) 就是模型预测其为正类的概率；如果是负样本，(p_t) 就是模型预测其为负类的概率。(p_t) 越接近1，说明这个样本被分得越好，损失也越小。
Focal Loss在此基础上做了改造：
[ FL(p_t) = -\alpha_t (1-p_t)^\gamma \log(p_t) ]
对比标准交叉熵，多了一个 ((1-p_t)^\gamma) 的调制项。当样本被正确分类且 (p_t) 接近1时，((1-p_t)^\gamma) 趋近于0，这个样本的损失被大幅压低；当样本被错误分类，(p_t) 比较小，调制因子接近1，损失基本不受影响。
我习惯用一个生活化的类比来解释这个公式：标准交叉熵像是老师批改作业，每道题都认真看；Focal Loss像是老师把大部分精力放在错题上，那些做得对的题，瞥一眼就跳过，因为已经掌握的知识点不需要反复讲。这个类比虽然不完全严谨，但对初学者理解核心思想很有帮助。
2.3 超参数γ和α怎么调
公式里的 (\gamma) 叫聚焦参数，控制调制因子的强度。(\gamma=0) 时，Focal Loss退化成标准交叉熵。论文里的实验显示，(\gamma=2) 是最常见的配置，效果也最好。(\gamma) 太大会导致模型过于关注那些最难分对的样本，反而可能被一些标注错误或者极端困难的样本带偏；太小则起不到压制简单样本的作用。
我在实际调参中发现，(\gamma) 从0调到2，模型精度提升最明显；继续调到3、4，精度会有小幅度变化，但训练波动也更大。(\gamma=2) 算是一个比较稳妥的默认值，如果你的数据集噪声比较大，可以试试降低到1.5，一定程度上能缓解模型对异常样本的过拟合。
另一个参数 (\alpha) 用于平衡正负样本的整体权重，原文推荐设为0.25。这个值并不是固定的，要结合你自己的数据来调。如果数据集中小目标极多，正样本比例更低，可以适当把 (\alpha) 调大一点，比如0.3；如果负样本太多导致loss难以下降，也可以稍微调低。需要说明的是，(\alpha) 和 (\gamma) 并不是完全独立的，修改一个参数后，最好固定另一个，逐个实验，不要两个一起动，否则很难判断是谁影响了最终精度。
3. FPN加Anchor：RetinaNet的骨架细节
3.1 特征金字塔是怎么用的
RetinaNet的另一个关键部件是特征金字塔网络。大部分骨架网络输出的特征图天然存在尺度差异：浅层特征分辨率高，感受野小，适合检测小目标；深层特征分辨率低，语义信息丰富，适合检测大目标。但在标准卷积网络里，高分辨率浅层特征缺乏足够的语义信息，直接拿来分类效果很差。
FPN做的事情很简单，把深层特征上采样，和浅层特征按元素相加，从顶到底逐层融合，让每一层都同时具备高分辨率和强语义信息。RetinaNet使用金字塔的P3到P7这五层，其中P3到P5来自骨架网络侧接的1x1卷积，P6和P7则是在P5的基础上再接步长为2的卷积生成的。这样设计的好处是，不同大小的目标可以交给对应尺度层级去负责，小目标用高层级分辨率，大目标用低层级特征。
我自己做实验时发现，FPN的通道设计有一个容易忽略的点。所有金字塔层的输出通道数保持一致，比如统一是256，这样才能保证分类和回归子网络在不同层之间共享参数时不会出现维度不匹配的问题。很多人第一次搭FPN，容易把各层通道数弄成和骨架网络一致，结果子网络没法共享，徒增参数量，还影响收敛速度。
3.2 Anchor配置和匹配策略
RetinaNet的Anchor设计和SSD等早期方法相比，算是相当规整。每个金字塔层级上都预置了9个锚框，包括3个尺寸和3种长宽比，长宽比分别是1:2、1:1、2:1。不同层级的基线框大小从32像素到512像素，步长按2的指数递增。也就是说，P3层负责检测小目标，P7层负责检测大目标。
训练时的匹配策略需要重点讲一下，因为很多人在这里踩坑。RetinaNet把锚框和真实框的IoU大于0.5的作为正样本，IoU小于0.4的作为负样本，介于0.4和0.5之间的锚框直接忽略，不参与损失计算。这个0.4到0.5的间隙区域非常关键，它避免了一些模棱两可的锚框带来噪声标注，稳定了训练过程。
目标检测的Anchor匹配里有一个容易被忽略的细节：一个真实框可能与多个锚框的IoU都超过0.5，这些锚框都会成为正样本参与预测。这和各分类任务中“一个目标只对应一个正样本”的直觉不同，初学者很容易误解。RetinaNet允许一个真实框对应多个锚框，预测头会分别独立回归它们，最终通过NMS合并重复检测。
如果你要在自己的数据集上调整Anchor尺寸，有个经验性原则：统计一下数据集中所有目标的尺寸分布，画出宽度和高度的散点图，以此为基准设置基线框大小。很多人偷懒直接用默认配置，如果你的数据集里目标普遍偏大或者偏小，模型精度会明显受损，这种问题往往在调试后期才暴露。
3.3 分类和回归子网络的设计
RetinaNet的分类和回归子网络结构非常直接。每个子网络都是一个小型的全卷积网络，输入金字塔特征，先连续做四个3x3卷积，通道数保持256不变，最后再接一个3x3卷积输出预测结果。分类头的输出通道数是 (KA)，其中 (K) 是类别数，(A) 是每层锚框个数9；回归头的输出通道数是 (4A)，对应四个偏移量参数。
这个设计乍一看很平淡，但有一个反直觉的地方：分类和回归子网络不共享权重，各自独立堆叠卷积层。很多新手会觉得，分类和回归都与目标特征相关，共享权重可以省参数量、更快收敛。但RetinaNet的设计者发现，分类任务和回归任务对特征的敏感度不同，共享权重反而会让两个任务互相干扰，各自独立的小网络虽然参数多了一点，但收敛更稳定，精度也更高。
这一点我在实际实验中也验证过，把共享参数改成独立参数后，模型在验证集上的平均精度能提升一个点左右。代价是显存占用和计算量有所增加，但在深度学习时代，多出来的那点参数量基本可以忽略。
4. 训练要过哪些关
4.1 初始化、优化器、学习率
RetinaNet的训练细节比结构本身更值得关注。第一个容易被忽略的细节是分类子网络最后一层的偏置初始化。论文里建议把最后一层卷积的偏置设置为：
[ -\log((1-\pi)/\pi) ]
其中 (\pi) 通常取0.01。这样设置的目的，是让训练刚开始时模型对每个锚框预测为前景的概率都约等于0.01，也就是绝大多数预测为背景。这个操作和Focal Loss是一套组合拳——Focal Loss会压低简单负样本的梯度，但如果模型一开始对所有样本的预测置信度都很高，Focal Loss会让梯度极端化，训练直接进入震荡。合理的偏置初始化给模型一个“从零开始”的状态，有利于训练的平稳启动。
优化器方面，原论文用的是带动量的随机梯度下降，动量设为0.9，权重衰减设为0.0001。这个选择在今天看来略显传统，但对于目标检测这类需要长时间训练的任务，SGD往往比Adam更稳定。我第一次用Adam训练RetinaNet时，前几个epoch验证集精度确实涨得快，但到中后期loss频繁震荡，mAP一直上不去，后来换回SGD并采用分段学习率衰减，问题就解决了。
关于学习率，原论文在8卡训练、batch size为16的情况下，初始学习率设为0.01。如果你使用单卡训练，打算照搬这个配置，大概率会出现loss爆炸。原因是batch size减小后梯度估计的噪声变大，相同的学习率会放大这种噪声。线性缩放法则建议，batch size减半时，学习率也减半。我单卡训练大概把初始学习率设为0.0025到0.005之间，同时配合前几个epoch的warmup，效果比较稳定。
4.2 数据增强与损失权重
目标检测模型对数据增强的依赖程度往往被低估。RetinaNet在论文里用的数据增强策略比较简单，主要是随机水平翻转和尺度抖动。我额外加上了随机裁剪、颜色扰动和MixUp，但加完MixUp之后发现精度反而下降了。原因是MixUp生成的混合图片对小目标非常不友好，目标边界模糊会让锚框匹配变得不确定，最终导致训练不稳定。如果数据集本身以中小目标为主，不建议直接套用MixUp。
损失计算方面，总损失是分类Focal Loss和回归平滑L1损失之和。Focal Loss内部已经通过 (\alpha) 和 (\gamma) 做了样本平衡，所以不需要再额外给分类部分乘以大权重。回归损失我习惯给一个0.1到1之间的缩放系数，论文中其实没有明确强调回归损失权重，但实际训练时，如果回归损失比重太大，会干扰分类头的学习；比重太小，则边框回归精度跟不上。我通常从1.0起步，如果验证集上边框定位误差偏大，再尝试把回归权重调到1.5左右。
还有一个细节是，分类和回归子网络的输入特征是否需要梯度停止。很多人为了让分类任务不干扰回归特征的学习，会把分类分支的回传梯度截断。RetinaNet的设计里两个子网络是独立的，不需要额外的梯度操作，但如果你在改造模型时把两个子网络共享了部分底层卷积，这个问题就需要认真考虑了。
4.3 训练阶段常见现象
RetinaNet训练过程中，值得注意的现象是，它的loss曲线往往不像分类网络那么平滑。因为Focal Loss把简单负样本的loss压得很低，整体loss数值也会比标准交叉熵小得多，新手第一次看到这种曲线容易误判成没有收敛。
我自己训练时观察到，前10个epoch loss下降比较快，但mAP提升不明显，这是正常的。因为模型先学会了区分背景和目标，但框的位置精度还比较差。等到20个epoch之后，mAP才开始真正往上走。如果一段训练后期验证集的mAP出现平台期，可以先检查一下学习率是否衰减了，再检查NMS用的置信度阈值和IoU阈值是否需要调整，很多时候不是模型没学好，而是后处理参数卡住了精度。
5. 推理与部署的关键细节
5.1 推理流程
RetinaNet的推理流程和训练稍有不同。模型前向之后，会从所有金字塔层的预测结果中挑出置信度最高的若干个候选框，通常取前1000个。然后对这些候选框做类别筛选，去掉置信度低于阈值的，再对每一类分别执行NMS。
我有一个建议是，如果对延迟敏感，可以把候选框数量从1000降到500，甚至降到300。这个改动对mAP的损失通常不到0.3个点，但推理速度能提升不少。很多人一开始不敢动这个参数，觉得候选框少了会丢目标，其实RetinaNet每一层特征图上的预测已经经过了置信度排序，靠后的候选框本来就是低置信度的，对最终结果影响微乎其微。
5.2 阈值、NMS与性能对比
NMS的参数选择对RetinaNet来说比较敏感。IoU阈值通常设在0.5，这个值意味着两个框只要重叠超过一半，就被视为重复检测。如果你检测的目标本身密集排列，比如拥挤的人群、货架上的商品，0.5的阈值很容易误杀相邻目标，这时可以考虑把IoU阈值降到0.45甚至0.4。
置信度阈值的设置则要结合你的任务需求来定。追求高召回率就把阈值调低，比如0.05，这样会保留大量低置信度框，但后处理压力变大；追求高精度就把阈值调高，比如0.5，减少误检。但要注意，置信度阈值只是后处理的一部分，如果模型本身的校准不好，阈值调高并不会让精度变得更好，频繁出现高置信度误检的时候，应当回到训练阶段去分析数据标注质量和类别不平衡情况。
RetinaNet和两阶段检测器、早期一阶段检测器的对比，是一个很直观的参照：
| 方法 | 精度 | 速度 | 处理样本不平衡 | 结构复杂度 |
|---|---|---|---|---|
| 早期一阶段检测器 | 较低 | 快 | 依赖采样 | 简单 |
| 两阶段检测器 | 高 | 慢 | 分阶段筛选 | 复杂 |
| RetinaNet | 高 | 快 | Focal Loss | 中等 |
从表格可以看出来，RetinaNet在速度上接近早期一阶段检测器，在精度上接近两阶段检测器，它的优势来自对训练目标和推理流程的整体设计，而不仅仅是某一个模块。
5.3 性能比较的注意事项
如果你打算在论文里或者项目报告里拿RetinaNet和其他模型做对比，有一个坑要特别注意：比较不同模型的推理速度时，要确保输入分辨率、测试集、硬件环境完全一致，而且最好关闭TensorRT、ONNX等加速优化后的结果差距。
我第一次对比测试时，用了一个带BatchNorm融合的加速版本和一个没融合加速的版本做对比，速度差距能有三倍，但这并不代表模型本身有差异。更严谨的做法是，保证两个模型都使用同等规模的输入，跑在同一张显卡上，重复多次取平均值，而不是只跑一次碰运气。
6. 实战避坑清单
6.1 问题速度表
根据我自己和身边朋友做项目时的经验，RetinaNet最容易踩的坑大致可以总结成下面这张表：
| 现象 | 可能原因 | 解决方案 |
|---|---|---|
| 训练初期loss剧烈震荡 | 分类头偏置未按pi初始化 | 设置bias为-log((1-0.01)/0.01) |
| 精度卡住，mAP长期不涨 | 学习率过大或未做warmup | 降低初始学习率，加前5轮warmup |
| 小目标几乎检测不到 | 锚框尺寸和数据集不匹配 | 统计目标尺寸，重新设计Anchor |
| 推理时间太长 | 候选框数量过多，NMS后处理慢 | 把top-k从1000降到500 |
| 验证集精度正常，图片上误检多 | NMS阈值偏松 | 提高置信度阈值，调整IoU阈值 |
| 训练时显存溢出 | 锚框太多，特征图缓存太大 | 减小batch size，裁剪训练图片短边 |
6.2 我的调参经验
在调RetinaNet的过程中，我最大的体会是，这个模型的“默认参数”经过大量实验打磨，绝大多数情况下直接抄就行，不要随便改。很多人拿到模型第一件事就是调batch大小、学习率、Anchor比例，结果越调越差，又回来找默认参数。
如果你想在项目里真正用起来，建议遵循这样的调试顺序：先固定所有默认参数，跑一个完整训练流程作为基线；确认基线的mAP和loss曲线正常之后，再针对任务特点调整数据增强和Anchor配置。改参数时一次只改一个变量，记录它对验证集的整体影响，而不是一次性把所有可能的调整全堆上去。
我个人在实际操作中的体会是，RetinaNet在绝大多数常规检测任务上都足够可靠，不需要花太多精力做模型本身的改造。它的价值在于提供了一个性能、速度和训练复杂度都比较均衡的起点，后续无论是往精度方向优化，还是往轻量化部署方向压缩，都有足够的结构空间。
分享一个我自己常用的扩展方向：把RetinaNet的分类和回归头替换成更轻量的结构，比如深度可分离卷积，模型体积能缩小不少，精度损失只在1个点左右。如果你的项目对模型体积有硬性要求，但又不舍得放弃RetinaNet的精度优势，这条路值得一试。
