Temporal Cues CVPR 2025

1 论文信息

论文题目：Leveraging Temporal Cues for Semi-Supervised Multi-View 3D Object Detection

论文作者：Jinhyung Park、Navyata Sanghvi、Hiroki Adachi、Yoshihisa Shibata、Shawn Hunt、Shinya Tanaka、Hironobu Fujiyoshi、Kris Kitani

发表单位：Carnegie Mellon University、DENSO Corporation、DENSO International America, Inc.

发表会议期刊：CVPR 2025，pp. 27401–27412

论文链接：CVF 论文页面｜正文 PDF｜官方补充材料 ZIP，含 supplementary.pdf

代码链接：截至 2026-10-17，检索论文页面、作者主页及 GitHub，未找到可核实的官方完整代码仓库。相关代码为 StreamPETR（本文的基础检测器）和 CenterPoint（本文参考其 3D 检测关联与跟踪思路），两者均不是本文四模块半监督框架的完整实现。

2 论文主要贡献

本文面向标注稀缺条件下的时序多视角纯视觉 3D 检测，重点解决无标注视频难以提供可靠训练监督的问题：一是伪标签的 3D 定位不准确，且车前、车后目标存在定位质量不对称；二是单纯依赖检测置信度筛选容易丢弃有效检测，遮挡、远距离等情况又会造成漏检和跨帧标签不连续；三是无标注图像中的信息未被充分利用，而直接加入图像重建任务可能与检测目标产生冲突。论文通过提高伪标签质量并改善无标注数据的特征学习，提升少量标注条件下的 3D 检测性能。

3 论文创新点

1. 正反向伪标签生成与集成（Forward-Backward Pseudo-Labeling）：训练同一个检测器处理正向和反向序列，离线制标时结合两种时间方向的预测，车前区域采用反向预测，车后区域采用正向预测，利用更充分的时序观察改善 3D 定位。

2. 2D–3D 匈牙利匹配（2D–3D Hungarian Matching）：将 3D 检测框投影到图像，与同一模型辅助 2D 检测头的预测进行匹配，综合 Focal Loss、GIoU 和 2D 框参数差异构建匹配代价，并据此筛选伪标签，保留部分低置信度但具有良好 2D–3D 一致性的检测。

3. 3D 跟踪与标签传播（3D Tracking and Label Propagation）：通过基于距离的贪心关联建立轨迹，使用目标中心位移的 EMA 平滑轨迹速度，并将历史轨迹和当前检测分别移动到半时间步位置进行匹配，再利用轨迹传播补充缺失检测，提高伪标签的时间连续性。

4. 目标查询条件化的掩码重建（Object Query-Conditioned Masked Reconstruction）：让遮挡图像的特征通过交叉注意力读取时序检测头输出的目标查询，再完成 RGB 重建，使重建损失能够直接影响时序检测头，促使目标查询保留当前及历史场景信息，缓解独立重建任务与检测任务之间的冲突。

4 方法

4.1 整体框架

基础模型为 StreamPETR：CNN 提取当前多相机图像特征，时序 DETR 结合历史目标查询、自车运动、目标速度和时间差更新查询，再预测 3D 框。历史信息主要通过目标查询递归传递。

第一阶段：在少量有标注序列上训练检测器至收敛，训练时同时采样正向和反向序列，使同一个共享权重的模型适应两种时间方向。随后使用模型参数的 EMA 版本，对无标注序列离线执行“正反向预测与集成 → 2D–3D 匹配筛选 → 3D 跟踪与标签传播”，生成供下一阶段使用的伪标签。

第二阶段：继续训练原网络，等量采样有标注和无标注数据，分别使用真实标签和离线伪标签监督，并联合优化检测与掩码重建任务

这里的模型参数 EMA与跟踪模块中的轨迹速度 EMA是两个不同操作。

图 2 本文提出的半监督学习框架
我们观察到，时序 3D 目标检测器对车辆前方目标的检测效果始终弱于对后方目标的检测。对此，我们提出让时序 3D 检测器同时在正向行驶序列、以及时间反转的反向行驶 RGB 序列上进行联合训练。
生成伪标签时，我们对无标注数据的前向与后向预测结果进行融合，利用 2D-3D 匈牙利匹配得到一组精度更高、且与 2D 检测结果一致的预测集合，再执行 3D 目标跟踪与标签传播。更多细节详见正文。

4.2 具体模块

（1）正反向伪标签生成与集成

正常向前行驶时，已经位于车后的目标往往被连续观察得更久，时序模型积累了更充分的多视角信息，因此车后目标的 3D 定位通常优于车前目标。倒序处理同一段视频后，原本车前的目标也能获得更多时间上下文。本文先训练一个能处理正反序的模型，再分别正向、反向推理无标注序列，车前区域选反向预测，车后区域选正向预测，并非简单平均两次预测的框。

（2）2D–3D Hungarian Matching 伪标签筛选

同一模型的辅助 2D 检测头，其 2D 定位通常比 3D 框投影后的结果更可靠。本文将候选 3D 框投影到图像，与辅助头输出的 2D 框进行匈牙利匹配，代价综合Focal Loss、GIoU 和 2D 框参数差异，再按匹配代价筛选 3D 伪标签。Focal 项用于类别一致性，另外两项衡量投影框与 2D 框的几何一致性，因此一部分 3D 置信度低但匹配良好的检测也能保留。这里的框参数差异发生在投影后的 2D 空间，不是直接比较 2D 参数与 3D 参数。

下式仅将正文描述写成示意形式，其中 r 是辅助头的 2D 框，s 是 3D 框的 2D 投影：

C i j = a L f o c a l , i j + b L G I o U ( r i , s j ) + c D b o x ( r i , s j ) C_{ij}=a L_{focal,ij}+b L_{GIoU}(r_i,s_j)+c D_{box}(r_i,s_j)Cij​=aLfocal,ij​+bLGIoU​(ri​,sj​)+cDbox​(ri​,sj​)

图 3 经匈牙利匹配后保留的 3D 检测置信度分布直方图
2D-3D 匈牙利匹配机制保留了大量置信度较低、但定位准确的 3D 检测结果；如果采用传统的 0.4 伪标签置信度阈值筛选，这些检测结果会被直接丢弃。

（3）3D 跟踪与标签传播

本文使用参考 CenterPoint 的多目标、基于距离的贪心关联，将相邻帧的 3D 检测组成轨迹。由于相机检测器的逐帧速度预测较不稳定，轨迹速度由已关联检测的中心位置变化计算，并通过 EMA 平滑。匹配时，将上一时刻轨迹按轨迹速度向前移动半个时间步，将当前检测按检测器预测速度向后移动半个时间步，在中间时刻比较距离，从而减轻初始速度和速度噪声的影响。

速度更新可以用下面的示意式理解，p 表示轨迹中已关联检测的中心，h 表示时间间隔，a 表示平滑系数：

v t = a v t − 1 + ( 1 − a ) ( p t − p t − 1 ) / h v_t=a v_{t-1}+(1-a)(p_t-p_{t-1})/hvt​=avt−1​+(1−a)(pt​−pt−1​)/h

半时间步匹配的距离可示意为：

d i j = ∥ ( p i t r a c k + v i t r a c k h / 2 ) − ( p j d e t − v j d e t h / 2 ) ∥ 2 d_{ij}=\left\|(p_i^{track}+v_i^{track}h/2)-(p_j^{det}-v_j^{det}h/2)\right\|_2dij​=​(pitrack​+vitrack​h/2)−(pjdet​−vjdet​h/2)​2​

以上是对文字方法的解释性表达，不是论文给出的原始公式；实际比较的位置必须处于可比坐标系。轨迹关联解决“前后两帧是否为同一个目标”，标签传播则根据轨迹和运动信息，为漏检时刻补充候选框并写入伪标签。本文明确将跟踪用于补全缺失检测，所以不仅仅是判断哪里断轨；但完成关联，也不等于已经定义好每个漏检帧的完整训练标签。

正文与补充材料没有完整交代漏检时如何更新框的尺寸、朝向、类别与分数，也没有给出速度 EMA 系数、允许传播时长及全部轨迹管理规则。因此，“尺寸保持不变”“朝向插值”“连续补固定帧数”等只能作为自行复现的选择，不能写成论文结论。本文也没有声称采用 ByteTrack 或 OC-SORT；CenterPoint 在这里是 3D 跟踪思路的参考，不代表需要用其点云检测器替换相机模型。

（4）目标查询条件化的掩码重建

为直接从无标注图像中学习，本文随机遮挡图像块，让网络重建被遮挡区域。直接增加独立 MAE 重建头会与检测任务产生冲突，因此本文让重建特征通过交叉注意力读取时序 DETR 输出的目标查询。先对遮挡图像再次提取特征，再以图像特征作为 Query、目标查询作为 Key 和 Value 进行更新：（正文 §3.5）

f t m a s k = C N N ( M ⊙ I t ) f_t^{mask}=CNN(M\odot I_t)ftmask​=CNN(M⊙It​)

f ~ t m a s k = T r a n s f o r m e r D e c o d e r ( f t m a s k , q t , q t ) \tilde{f}_t^{mask}=TransformerDecoder(f_t^{mask},q_t,q_t)f~​tmask​=TransformerDecoder(ftmask​,qt​,qt​)

I 表示当前图像，M 表示保留可见区域的掩码，q 表示检测分支输出的目标查询；第二式先进行图像特征自注意力，再从目标查询读取信息。目标查询包含当前及历史场景信息，既能帮助重建，重建损失也能反向更新时序检测头，促使查询保留有助于检测的场景信息。补充材料 §C.1 明确使用30% 遮挡、两层 Transformer Decoder，以及针对遮挡块的标准化像素 L2 重建损失，并沿用 SparK 预训练的 ConvNeXt-S 骨干与重建解码器。它重建的是 RGB 图像，不是直接重建或生成漏检目标的 3D 框。