1. 从单人到多人：为什么级联金字塔结构值得反复读
多人姿态估计这个方向，如果你只是跑过几个开源Demo，可能会觉得“不就是把关键点连起来吗”。但真正动手训过模型的人都知道，难点从来不在单人身上，而在于一张图里塞了五个人、八个人，彼此遮挡、尺度差异巨大、小关节被挡住一半的时候，模型还能不能把每个人的手腕和脚踝都找对。这篇Cascaded Pyramid Network（后面我统一叫它CPN）的论文，就是冲着这个痛点去的。
我第一次读CPN的时候，最直接的感受是：它没有堆很花哨的模块，而是把“难关键点”这件事单独拎出来处理。这个思路在当时是很有启发性的——大多数做法是把所有关键点一视同仁地回归，但CPN明确告诉你，有些点就是难，你得给它们开小灶。它的核心结构分成两级：第一级叫GlobalNet，负责把容易的点先定位好，比如肩膀、髋部这些大关节；第二级叫RefineNet，专门盯着那些被遮挡、低分辨率的难关键点，比如手腕、脚踝、眼睛。两级之间不是简单的串联，而是带着特征金字塔的融合和在线难关键点挖掘（OHKM）的机制。
这篇文章适合谁看？如果你正在做多人姿态估计的工程落地，或者想理解“为什么两阶段回归比一阶段更稳”，再或者你只是想在COCO关键点任务上找一个靠谱的baseline，CPN都值得你花时间把论文和代码都过一遍。我下面不会照搬论文的翻译，而是按我自己读论文、复现代码、踩坑调试的顺序，把CPN里真正值得琢磨的东西拆开讲。包括它为什么这么设计、每个模块的输入输出到底长什么样、训练时损失函数怎么配、以及我在实际跑实验时遇到的那些论文里不会写的细节。
2. GlobalNet与RefineNet的分工逻辑：不是简单堆叠，而是难易分离
2.1 为什么要把关键点分成“容易”和“难”两拨
多人姿态估计里，关键点的难度差异是极大的。你去看COCO数据集上的统计，肩膀、髋部、鼻子这些点，只要人不是特别小，模型基本都能定位得七七八八。但手腕、脚踝、眼睛这些点，一旦遇到遮挡或者人体尺度很小，误差就会飙升。CPN的作者做了一个很聪明的决策：不让一个网络同时学所有点，而是先让一个网络把容易的点学好，再用第二个网络专门去修那些难的点。
这个思路背后的逻辑是，容易的点在特征图上占据的区域大、响应强，网络很容易学到；而难的点往往只占几个像素，特征响应弱，如果和容易的点混在一起训，梯度会被容易的点主导，难的点学不好。你可以把它想象成班里的学生，如果老师用同一套卷子教，尖子生觉得太简单，后进生觉得太难，最后谁都提不高。CPN的做法相当于分层教学：GlobalNet先把基础分拿到，RefineNet再针对薄弱环节专项突破。
具体到网络结构上，GlobalNet是一个ResNet backbone加上几个上采样层，输出的是所有关键点的热力图。RefineNet则是在GlobalNet的特征基础上，把不同尺度的特征金字塔融合起来，再通过OHKM把损失集中到那些预测误差最大的关键点上。这里的关键是，RefineNet不是从零开始学，而是站在GlobalNet的肩膀上做精修。
2.2 特征金字塔在RefineNet里到底融合了什么
很多人读CPN的时候会忽略一个细节：RefineNet的输入不是单一尺度的特征图，而是把GlobalNet里不同stage的特征都拿过来了。具体来说，它融合了ResNet的stage2、stage3、stage4的输出，再加上GlobalNet上采样后的特征。为什么要这么做？因为不同尺度的特征承载的信息不一样。浅层特征分辨率高，包含更多空间细节，对定位小关节很重要；深层特征语义强，能区分“这是手腕还是脚踝”，但分辨率低，直接用来回归关键点会丢精度。
CPN的做法是把这些特征先经过卷积调整通道数，再上采样到同一分辨率，然后逐元素相加。这里有一个工程上很容易踩的坑：上采样方式的选择。论文里用的是双线性插值，但如果你自己实现，用反卷积（转置卷积）也能跑，只是参数量会增加，而且容易产生棋盘格伪影。我实测下来，双线性插值加一个3x3卷积的组合，在精度和速度上都更稳。
还有一个细节是，融合的时候不是简单地把所有特征图加在一起，而是先经过一个1x1卷积降维，再相加。这个1x1卷积的作用是跨通道信息整合，同时减少计算量。如果你直接相加，通道数不一致会报错；如果你用concat，通道数会翻倍，后续计算量会变大。所以这个1x1卷积是必须的，不是可选项。
2.3 在线难关键点挖掘（OHKM）到底怎么挖
OHKM是CPN里最有意思的一个设计。它的核心思想是：在训练过程中，每个关键点的损失是不一样的，有些点已经学得很好了，再给它们梯度就是浪费；有些点误差还很大，应该把学习资源倾斜给它们。具体实现上，OHKM在RefineNet的最后一层，把所有关键点的损失排序，然后只取损失最大的那部分关键点回传梯度。
这里有一个关键参数：取多少比例。论文里用的是取损失最大的前M个关键点，M的大小会影响训练稳定性。如果M太小，比如只取前5个，那模型会过度关注少数几个点，其他点可能退化；如果M太大，比如取全部，那就退化成普通的损失函数，失去了OHKM的意义。我自己的经验是，M取总关键点数的50%到70%比较合适。COCO有17个关键点，取8到12个是比较稳的。
还有一个容易忽略的点：OHKM是在每个batch里独立做的，还是跨batch做的？论文里是在每个batch内对所有样本的所有关键点损失排序。这意味着如果一个batch里大部分人都是小尺度，那难关键点的损失会普遍偏高，OHKM会集中修这些小尺度样本。这其实是好事，因为小尺度样本本来就是难点。但如果你发现训练后期loss震荡，可以试试把OHKM的排序范围从batch内改成全局滑动平均，这样会更平滑。
3. 从热力图到坐标：CPN的监督信号与损失函数设计
3.1 热力图回归为什么比直接回归坐标更稳
CPN用的是热力图（heatmap）作为监督信号，而不是直接回归(x, y)坐标。这个选择在姿态估计里很常见，但背后的原因值得说清楚。直接回归坐标的问题是，一个像素的误差在数值上可能很小，但在视觉上可能意味着关键点偏到了背景上。而且坐标回归的损失函数对异常值很敏感，如果某个关键点标注错了，整个回归都会被带偏。
热力图的做法是，把每个关键点变成一个高斯分布的热力图，峰值位置就是关键点坐标。这样网络学的是“这个像素有多可能是关键点”，而不是“关键点的坐标是多少”。好处是空间信息被保留了，网络可以更好地利用局部特征。而且热力图的损失函数通常是均方误差（MSE），对每个像素的预测都有监督，梯度更密集，训练更稳定。
CPN里热力图的生成方式是：以关键点坐标为中心，生成一个标准差为1的高斯核，半径通常取3到4个像素。这里有一个细节：如果两个关键点靠得很近，比如手腕和手肘，它们的热力图会重叠。重叠区域的值是取最大值还是相加？CPN用的是取最大值，这样可以避免重叠区域的值过大导致网络过拟合。如果你自己实现，用相加也能跑，但取最大值更符合“每个像素只属于一个关键点”的直觉。
3.2 GlobalNet和RefineNet的损失怎么配比
CPN的总损失是GlobalNet的损失加上RefineNet的损失，但两者不是简单相加。GlobalNet的损失是所有关键点的MSE，RefineNet的损失是经过OHKM筛选后的MSE。这里有一个权重系数，论文里用的是1:1，但实际训练时可以根据情况调整。
我自己的经验是，如果GlobalNet已经训得很好了，RefineNet的损失权重可以稍微调大一点，比如1.2或1.5，让RefineNet有更强的学习信号。但如果GlobalNet还没收敛，RefineNet的权重太大会导致训练不稳定，因为RefineNet的输入依赖GlobalNet的特征，GlobalNet没学好，RefineNet就是在学噪声。
还有一个工程细节：GlobalNet和RefineNet是联合训练还是分阶段训练？论文里是联合训练，但我在复现时发现，先单独训GlobalNet几个epoch，等它的loss降到一定程度，再打开RefineNet一起训，效果会更稳。这样做的好处是，RefineNet一开始拿到的特征就是有意义的，而不是随机初始化的噪声。如果你直接联合训练，前期loss会震荡得比较厉害，需要更长的warmup。
3.3 热力图解码：从峰值到坐标的最后一公里
网络输出的是热力图，但最终要用的是坐标。从热力图到坐标的解码方式，直接影响最终的AP。CPN用的是argmax，也就是取热力图上响应最大的像素位置作为关键点坐标。但argmax有一个问题：它是离散的，只能取整数像素，精度受限于热力图的分辨率。
为了解决这个问题，CPN在argmax的基础上做了一个亚像素级的偏移预测。具体来说，网络除了输出热力图，还输出一个偏移量（offset），用来修正argmax得到的坐标。这个偏移量的监督信号是：关键点真实坐标与argmax坐标的差值。这样最终坐标就是argmax坐标加上偏移量，精度可以提升到亚像素级。
这个偏移预测在工程上很容易被忽略，因为很多开源实现只用了argmax，AP也能跑得不错。但如果你追求极致精度，比如在MPII或COCO上刷榜，偏移预测是必须的。我实测下来，加上偏移预测后，AP大概能提升0.5到1个点，尤其是在小尺度样本上提升更明显。
4. 训练策略与数据增强：论文里没写但你必须知道的细节
4.1 输入尺寸与人体框的扩边比例
CPN的输入是人体检测框裁剪出来的图像，尺寸通常是256x192或384x288。这里有一个关键参数：人体框的扩边比例。如果直接按检测框裁剪，关键点可能落在框外，尤其是手腕和脚踝。所以通常会把检测框向外扩一定比例，比如1.2倍或1.3倍。
扩边比例的选择会影响精度。扩得太小，关键点容易被裁掉；扩得太大，人体在图像里占比变小，分辨率降低，小关节更难定位。我自己的经验是，1.25倍是一个比较稳的折中。如果你用的是自己的检测器，检测框本身比较紧，可以适当放大到1.3倍；如果检测框已经比较松，1.2倍就够了。
还有一个细节是长宽比的处理。人体框通常是高大于宽，但网络输入是固定尺寸，所以需要resize。直接resize会改变人体比例，导致关键点位置偏移。CPN的做法是保持长宽比，短边resize到目标尺寸，长边按比例缩放后padding。这样人体比例不变，关键点位置不会失真。
4.2 数据增强：随机旋转、缩放与翻转的实战参数
CPN的训练用了比较标准的数据增强：随机旋转（-45度到45度）、随机缩放（0.7到1.3倍）、随机翻转（水平翻转概率0.5）。这些参数看起来简单，但实际调起来有讲究。
随机旋转的角度范围不能太大，否则人体会旋转到不自然的角度，网络学到的特征会偏离真实分布。±45度是一个比较安全的范围，覆盖了大多数自然场景下的倾斜。随机缩放的倍数也不能太极端，0.7到1.3倍可以覆盖从远到近的尺度变化，再大就会导致小尺度样本过于模糊。
水平翻转是必须的，因为人体姿态左右对称，翻转可以增加样本多样性。但翻转的时候要注意，关键点的左右标签也要交换，比如左肩变右肩，左膝变右膝。这个交换逻辑在COCO的17个关键点里是固定的，写代码的时候要仔细核对，别搞错了顺序。
还有一个容易被忽略的增强：颜色抖动。CPN的论文里没提，但我在实际训练时加了轻微的亮度、对比度、饱和度抖动，发现对最终精度有0.3到0.5个点的提升。尤其是在光照变化大的数据集上，颜色抖动能明显提升泛化能力。
4.3 学习率调度与优化器的选择
CPN用的是Adam优化器，初始学习率1e-3，在训练后期降到1e-4和1e-5。这个调度策略比较常规，但有一个细节：Adam的权重衰减怎么设。论文里没写，我试过1e-4和1e-5，发现1e-5更稳，1e-4在训练后期容易导致loss震荡。
还有一个经验是，如果你用的是SGD，初始学习率可以设0.01，动量0.9，但需要更长的warmup。Adam的好处是前期收敛快，适合快速实验；SGD的好处是后期更稳，适合刷精度。我自己的做法是先用Adam跑一版baseline，确认结构和数据没问题，再换SGD精调。
学习率调度的时机也很关键。如果降得太早，模型还没学充分；降得太晚，loss已经在震荡了。我的做法是看验证集的AP，如果连续3个epoch不涨，就降一次学习率。这样比固定epoch降更自适应。
5. 多人场景下的后处理：从热力图到最终骨架的拼装
5.1 人体检测框与关键点热力图的对应关系
CPN本身只负责关键点定位，不负责人体检测。所以多人场景下，你需要先用人检测器（比如Faster R-CNN或YOLO）把每个人框出来，再对每个框单独跑CPN。这里有一个关键问题：如果两个人靠得很近，检测框会重叠，CPN对每个框独立预测，可能会导致关键点归属错误。
解决这个问题的常见做法是：在检测框重叠区域，根据关键点的置信度和空间距离做匹配。比如两个框都预测了同一个手腕，那就看哪个框的置信度更高，或者看手腕离哪个框的中心更近。CPN的论文里没有详细讲这部分，因为它是把检测和姿态估计分开处理的。但在实际工程里，这部分后处理对最终AP的影响很大。
我自己的做法是，先用NMS把检测框去重，然后对每个框跑CPN，最后用一个简单的贪心匹配把关键点分配给最近的框。如果两个框的关键点冲突，就按置信度高的优先。这个逻辑不复杂，但能明显减少“关键点串人”的情况。
5.2 关键点连接的规则与置信度阈值
得到每个人的17个关键点坐标后，还需要把它们连成骨架。COCO的骨架连接规则是固定的，比如左肩连左肘，左肘连左腕，等等。但连接的时候，如果某个关键点的置信度太低，比如低于0.3，就应该断开，避免画出错误的骨架。
置信度阈值的选择会影响可视化效果和最终AP。阈值太高，骨架会断断续续；阈值太低，会出现错误的连接。我自己的经验是，0.3到0.5之间比较合适，具体取决于你的模型精度。如果模型本身很准，可以设高一点，比如0.5；如果模型还有提升空间，设0.3更稳。
还有一个细节是，CPN输出的热力图峰值本身就可以作为置信度。但有些实现会用热力图峰值附近的平均值作为置信度，这样更平滑。我试过两种方式，差异不大，但平均值的方式在峰值不明显时更鲁棒。
5.3 多人姿态估计的评估指标：OKS与AP的来龙去脉
CPN的论文里用的是COCO的OKS（Object Keypoint Similarity）作为评估指标。OKS的计算方式是：对每个关键点，计算预测坐标与真实坐标的欧氏距离，然后根据关键点的尺度因子和标注方差做归一化，最后取指数。OKS的值在0到1之间，越大越好。
AP的计算是基于OKS的，通常取OKS大于0.5到0.95之间的平均值。这个指标比简单的PCK（Percentage of Correct Keypoints）更严格，因为它考虑了关键点的尺度差异。比如手腕的尺度因子比肩膀小，所以同样的像素误差，手腕的OKS会更低。
理解OKS的计算方式对调参很重要。比如你发现AP不高，但可视化看起来还行，那可能是某些难关键点的OKS拖了后腿。这时候你可以单独看手腕、脚踝的AP，如果它们明显低于其他点，那就说明RefineNet和OHKM还有优化空间。
6. 复现CPN时我踩过的那些坑
6.1 热力图高斯核大小对收敛的影响
我第一次复现CPN的时候，热力图的高斯核大小设的是3，结果训练loss一直降不下去，AP也卡在很低的位置。后来查了半天，发现是高斯核太小，导致热力图的峰值区域太窄，网络很难学到稳定的响应。把高斯核调到5之后，loss很快就降下来了。
高斯核大小的选择跟输入分辨率有关。如果输入是256x192，高斯核取3到5比较合适；如果输入是384x288，可以取5到7。核太小，热力图太尖，网络对位置误差太敏感；核太大，热力图太糊，定位精度会下降。我自己的经验是，高斯核的标准差取输入尺寸的1/64左右比较稳。
还有一个细节是，高斯核的生成方式。有些实现是用固定的高斯函数生成，有些是用可学习的高斯核。CPN用的是固定高斯核，这样更简单，也更稳定。如果你用可学习的高斯核，训练初期可能会不稳定，需要更长的warmup。
6.2 联合训练时GlobalNet和RefineNet的梯度冲突
联合训练GlobalNet和RefineNet的时候，我遇到过一个很头疼的问题：GlobalNet的loss在降，但RefineNet的loss在震荡，甚至有时候会反弹。后来分析了一下，发现是梯度冲突。RefineNet的梯度会回传到GlobalNet，如果RefineNet的损失权重太大，GlobalNet的特征会被RefineNet带偏，导致GlobalNet的精度下降。
解决这个问题的方法有几个：一是给GlobalNet的梯度加一个缩放系数，比如0.5，让RefineNet的梯度不要完全回传；二是先单独训GlobalNet，等它收敛了再打开RefineNet；三是用梯度裁剪，把RefineNet的梯度范数限制在一个范围内。我试过这三种方法，第二种最稳，但需要更多的训练时间；第一种最快，但需要调缩放系数。
还有一个经验是，RefineNet的初始学习率应该比GlobalNet小。因为RefineNet是在GlobalNet的特征上做精修，如果学习率太大，会破坏GlobalNet已经学好的特征。我通常把RefineNet的初始学习率设为GlobalNet的0.1到0.5倍。
6.3 小尺度样本的AP为什么总是上不去
小尺度样本是多人姿态估计里最难的部分。CPN虽然通过RefineNet和OHKM提升了难关键点的精度，但小尺度样本的AP还是容易偏低。我分析下来，主要有两个原因：一是小尺度样本在输入图像里占的像素太少，关键点只有几个像素，热力图峰值不明显；二是小尺度样本的标注误差相对更大，因为标注员也很难看清小关节。
针对第一个原因，可以尝试提高输入分辨率，比如从256x192提到384x288，这样小尺度样本的像素会多一些。但提高分辨率会增加计算量，需要权衡。针对第二个原因，可以在训练时对小尺度样本做额外的增强，比如随机放大，让网络更多地看到小尺度样本的细节。
还有一个技巧是，在OHKM里给小尺度样本的关键点更高的权重。具体来说，可以根据人体框的面积，给每个样本的损失乘一个权重系数，面积越小，权重越大。这个技巧在COCO上能提升小尺度样本的AP大概1到2个点。
6.4 推理速度与精度的平衡：从384x288到256x192的取舍
CPN的推理速度跟输入分辨率直接相关。384x288的输入比256x192的输入慢大概1.5到2倍，但AP能高1到2个点。如果你是在服务器上跑，384x288没问题；如果是在边缘设备上跑，256x192更实际。
我自己的做法是，先训一个384x288的模型作为teacher，然后用知识蒸馏的方式训一个256x192的student。student的AP能接近teacher的95%左右，但速度快了一倍。这个做法在工程落地时很实用，尤其是需要实时推理的场景。
还有一个加速技巧是，把GlobalNet和RefineNet的backbone换成更轻量的网络，比如MobileNet或ShuffleNet。但轻量backbone的AP会下降比较多，需要做更多的精调。如果精度要求不高，轻量backbone是可行的；如果精度要求高，还是用ResNet更稳。
7. 从CPN延伸出去：多人姿态估计的后续演进思路
CPN之后，多人姿态估计领域出现了很多新的方法，比如自底向上的OpenPose、HigherHRNet，以及自顶向下的HRNet、SimpleBaseline。这些方法各有优劣，但CPN的“难易分离”和“在线难关键点挖掘”思想被很多后续工作借鉴。
如果你已经跑通了CPN，想进一步优化，我建议从两个方向入手：一是换更强的backbone，比如HRNet，它的高分辨率特征对关键点定位更友好；二是改进后处理，比如用OKS-based的匹配算法替代简单的贪心匹配，减少关键点串人的情况。
还有一个方向是引入注意力机制。CPN的RefineNet本质上是一种空间注意力，但它是在特征层面做的。如果你在热力图层面加一个通道注意力，让网络更关注难关键点的通道，可能会有额外的提升。我试过在RefineNet后面加一个SE模块，AP大概能提升0.3到0.5个点，但参数量会增加一些。
最后说一个我自己的体会：CPN的论文虽然不长，但每一处设计都有明确的动机。读的时候不要只看结构图，要多问“为什么这里要这样设计”“如果换成另一种方式会怎样”。这种带着问题读论文的方式，比单纯复现代码收获更大。我在实际项目中遇到姿态估计的问题时，经常会回头翻CPN的论文，每次都能找到新的启发。
