「世界建模不参与推理前向」
目录
01 端到端驾驶表征学习的现实技术矛盾
1.1 主流技术路线固有短板
02 ReDrive完整技术链路
2.1 阶段一：驾驶域掩码自监督预训练
2.2 阶段二：世界建模‑规划联合训练（核心）
2.3 阶段三：规划器自适应调优
03 NAVSIM仿真基准实验
04 写在最后
端到端自动驾驶世界模型一直存在现实的取舍难题：想要利用世界模型获取未来环境演化信息，就要在推理链路挂载预测模块，带来不小的车载算力开销；追求推理链路轻量化，又容易导致视觉表征缺少对未来场景变化的感知能力。
华中科技大学联合地平线提出ReDrive，不走推理阶段运行世界预测的常规路线，将世界建模仅作为训练阶段的表征塑造约束。
整套采用三阶段训练流水线，借助未来表征预测任务倒逼视频编码器学习面向规划的时序特征；上线推理只保留视频编码器与DiT规划器，完全删掉未来预测分支。在NAVSIM‑v1取得91.0 PDMS，NAVSIM‑v2取得90.8 EPDMS；对比关闭世界建模约束的基线，PDMS指标提升3.5个点，兼顾规划效果与推理轻量化。
01 端到端驾驶表征学习的现实技术矛盾
1.1 主流技术路线固有短板
当下获取端到端驾驶的规划友好型视觉表征，主要分为三类方案，各有明显短板。
1.BEV感知驱动方案借助检测、分割等感知任务监督学习BEV鸟瞰特征。优势是空间结构化信息完整；弊端是推理链路堆叠大量感知子模块，整体架构复杂，部署调试成本高。
2.通用预训练视频表征直接迁移复用DINOv2、V‑JEPA这类开源视频预训练权重，直接对接规划器。推理链路足够简洁，但仅依靠轨迹损失监督，表征很难学到场景未来演化规律，规划性能存在明显天花板。
3.推理期完整世界模型方案训练、推理都保留未来表征或者图像生成模块，利用预测信息辅助轨迹规划。能够捕捉环境演化趋势；但推理时必须执行预测计算，会增加嵌入式硬件的算力压力。
ReDrive的核心取舍：世界建模不作为推理前向组件，仅充当训练辅助约束。三阶段训练流程：驾驶视频掩码自监督预训练、世界建模‑规划联合训练、规划器自适应调优；依靠未来表征预测损失塑造共享视频编码器；推理阶段直接丢弃未来预测器，仅保留编码器+规划器，在不增加上线算力负担前提下，让表征具备感知环境演化的能力。
图 | 现有视觉表征学习范式与ReDrive方案对比，分为BEV表征、图像自监督、视频自监督、端到端规划、世界模型方案、ReDrive六类
02 ReDrive完整技术链路
整套框架包含视频编码器、未来表征预测器、Action‑DiT规划器；未来表征预测器仅训练阶段生效，推理直接移除。训练分为驾驶域掩码自监督预训练、联合训练、规划器自适应调优三个递进阶段。
图 | ReDrive三阶段完整训练流程总览：掩码自监督预训练、联合训练、规划器自适应调优
2.1 阶段一：驾驶域掩码自监督预训练
初始化权重采用V‑JEPA2视频预训练模型，在大规模真实驾驶视频上继续开展潜空间掩码自监督学习。 对时空token施加掩码，利用可见部分特征预测被掩码位置的潜表征，由EMA目标编码器生成目标特征，使用L1损失对齐预测与目标表征。该阶段只更新视频编码器与掩码预测器，把通用视频预训练权重适配到驾驶领域，为后续规划任务建立时序表征底座。
指标边界提示：该阶段仅做表征预训练，还没有接入轨迹规划任务，表征质量不等同于最终驾驶规划性能。
2.2 阶段二：世界建模‑规划联合训练（核心）
共享一套视频编码器，同时开启双分支训练：未来表征预测分支、轨迹规划分支。
- 未来表征预测分支：输入历史视频片段，以真值自车轨迹作为条件，预测未来视频潜态表征；采用停止梯度的EMA目标编码器输出监督信号，计算特征损失。该分支只用来给共享编码器施加监督信号，推理不会被调用。
- 轨迹规划分支：Action‑DiT规划器接收编码后的视频特征做流匹配轨迹生成；向真值轨迹添加噪声，学习速度场预测，依靠规划损失更新规划器网络。
总损失对两项分支损失加权融合。编码器同时接收规划损失与未来表征预测损失，迫使编码器同时适配轨迹生成任务与环境演化预测；Action‑DiT规划器仅受规划损失更新，不会被世界建模任务带偏。
关键设计：规划分支与未来预测分支解耦，避免模型为了更容易预测未来而输出次优驾驶轨迹。
2.3 阶段三：规划器自适应调优
本阶段冻结视频编码器、未来表征预测器全部权重，只对Action‑DiT规划器做更新。 规划器on‑policy多步rollout生成自车轨迹，送入冻结的未来预测器获取特征预测损失；该损失反向传播至规划器，和轨迹损失协同完成调优。 冻结编码器与预测器的目的，是避免规划器输出的不完善轨迹，破坏已经学习完成的环境‑自车运动映射关系。经过该阶段调优，规划器可以适配自身输出分布，缓解真值数据集带来的分布偏移问题。
指标边界提示：世界建模的增益来自损失函数的隐性约束，编码器并不会显式输出未来画面；表征提升效果存在上限，受训练数据集场景丰富度制约。
03 NAVSIM仿真基准实验
评测基于NAVSIM‑v1、NAVSIM‑v2以及NavHard困难子集；核心评价指标为PDMS、EPDMS，基线包含BEV规划方案、推理期世界模型类端到端方案。
表 | NAVSIM v1 基准实验结果，ReDrive 与主流 SOTA 方法 PDMS 定量对比
表 | NAVSIM v2 基准实验结果，ReDrive 与主流 SOTA 方法 EPDMS 定量对比
ReDrive在NAVSIM‑v1取得91.0 PDMS，NAVSIM‑v2取得90.8 EPDMS。对比关闭世界建模训练约束的消融基线，PDMS实现3.5个点提升。
表 | NAVSIM v2 NavHard 困难子集测试结果，各模型分阶段指标与 EPDMS 对比
指标边界解读：PDMS、EPDMS属于NAVSIM仿真内部综合指标，仿真中交通参与者采用回放模式；仿真数据集得到的指标，不能直接等价真实道路车载表现。
表 | 视觉预训练消融实验：图像 / 视频预训练方式、输入时序帧数量对 PDMS 性能的影响
消融实验结果显示：移除联合训练阶段的未来表征预测损失，性能会明显下滑；第三阶段规划器自适应调优同样带来可观收益；同时损失权重需要合理调参，权重过高反而会造成性能下降，两项损失之间存在权衡关系。
表 | 完整三阶段训练流水线消融实验，逐步验证各训练阶段对模型 PDMS 性能增益
推理链路对比可以直观体现架构优势：对比推理阶段携带未来预测的世界模型方案，ReDrive上线推理完全剔除预测分支，前向计算仅保留编码器与规划器，不存在额外生成开销。
图 | 规划轨迹定性对比：人类驾驶员轨迹、Drive‑JEPA、ReDrive 的前视图与 BEV 鸟瞰可视化
04 写在最后
绝大多数世界模型端到端驾驶研究，都聚焦如何在推理阶段利用未来预测信息。ReDrive换了一套实现思路：世界模型不一定需要参与上线推理。
它将未来表征预测作为纯粹训练侧的约束信号，依靠三阶段训练流水线，倒逼视频编码器学习蕴含场景演化信息的规划友好表征；推理阶段舍弃未来预测器，保留编码器‑规划器极简链路，在仿真基准拿到不错指标的同时，降低车载推理算力压力。
图 | PhysicalAI 数据集相机几何对齐效果：原始广角视图转换为匹配 nuPlan 相机的对齐视图
但这套框架带来的表征增强属于损失函数间接达成的隐性效果，无法直接观测编码器内部特征；并且全部验证停留在NAVSIM仿真环境，还缺少实车闭环道路测试。不过它给端到端驾驶世界模型，提供了“把世界模型能力内化进表征”的新研究思路。
参考论文：
论文标题：ReDrive: Shaping Representations with World Modeling for End‑to‑End Driving
论文链接：https://arxiv.org/pdf/2609.33854v1
