【ICML 2026】SC²-WM：导航智能体不再「闭眼往前冲」，把世界模型的前瞻差当成内部反馈｜从具身导航世界模型视角

## 摘要 导航智能体最典型的失败不是第一步走错，而是把这一步的错一路带到终点：在 R2R-CE 基准上，基线方法的轨迹比参考路径多走了约 8.5 米，终点还是没到。 SC²-WM 是 ICML 2026 的论文，它给轻量导航模型装上一个「内部反馈」——让世界模型先替智能体推演下一步的潜在状态，再用推演结果和当前理解的差来修正决策。单目设定下，R2R-CE Val Unseen 的成功率从 43.8% 提升到 50.9%，轨迹长度从 26.16 米降到 17.65 米；Unitree GO2 真机上，500 次运行的成功率从 70% 提升到 85%。 **视频讲解**：[点击观看 B 站视频](https://www.bilibili.com/video/BV1e2J16TEBi) 章节时间轴： ``` 00:41 作者介绍 01:11 研究背景与动机 01:58 相关工作 02:42 方法 04:19 实验设计 05:06 实验结果 06:20 消融与深入分析 07:31 效率与系统权衡 08:16 局限与讨论 08:57 要点总结 09:39 参考文献 ``` [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题（英文） | A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments | | 标题（中文） | 导航智能体不再「闭眼往前冲」：把世界模型的前瞻差当成内部反馈 | | 作者 | Xuan Yao, Yuze Zhu, Junyu Gao, Zongmeng Wang, Changsheng Xu | | 机构 | 中科院自动化所多模态人工智能系统全国重点实验室（MAIS）· 中国科学院大学人工智能学院 · 鹏城实验室 · HiThink Research | | 会议 | ICML 2026 | | arXiv | https://arxiv.org/abs/2608.07548 | | 项目网站 | https://github.com/sunrise-ikun/SC2_WM | ## 背景与动机 这一节回答两件事：视觉语言导航这个任务到底难在哪，以及现有方法卡在哪一步。 先说任务。视觉语言导航（Vision-and-Language Navigation，简称 VLN）就是让机器人看着画面、按一句自然语言指令走到目标；它的连续环境版（VLN-CE）把「跳格子」式的离散移动换成连续动作控制，底盘可以往前、转向、停下。 难度来自两个地方。一是部分可观测：单帧画面看不全环境，智能体必须把历史观测拼成内部理解。二是语言指令描述的是抽象目标，比如「穿过桌子找到垃圾桶」，没有一个现成的参考路径可以对照。 于是就有了本文针对的问题：现有方法（ETPNav、HNR、VLN-3DFF 这一类轻量架构）在推理时基本是开环的——预测一个动作就直接执行，不校验后果。早期的小偏差没人纠正，后面就会一路放大。 那为什么不做闭环？经典闭环控制要拿外部参考算误差，而 VLN-CE 的成功只有在整条轨迹走完之后才知道，监督既稀疏又延迟。已有尝试要么靠强化学习设计奖励，要么靠模型输出的不确定性、熵这类统计量做测试时自适应，但这些信号和智能体对环境的内在理解是脱钩的。 作者的思路来自认知科学里的预测处理理论：适应性行为依赖持续监测「内部预测」和「随后观测」是否一致。换成导航的说法——如果智能体能把「我打算怎么走」先推演一遍，再和当前理解对比，这个差值就是它自己能算出来的误差。 相关工作这条线上，DreamWalker（ICCV 2023）用场景合成加蒙特卡洛树搜索做「心理实验」，NavMorph（ICCV 2025）用循环状态空间模型刻画内部状态演化，但它们推理期的动作并不被反馈引导；UNeMo（AAAI 2026）也用层级预测-反馈，但限于离散环境，而且没有显式量化误差信号。 ## 研究主线：从问题到结论  **图 5：SC²-WM 的研究主线（Mermaid 流程图）。从开环执行的误差累积出发，把外部奖励换成内部前瞻差，落到两级自校正，再用两个基准和真机验证。** ## 基准/方法设计 这一节交代实验用的任务、指标，以及 SC²-WM 的整体设定。 评测跑在两个连续环境基准上。R2R-CE 有 5,611 条最短路径轨迹，每条平均配 3 条英文指令，路径平均长约 9.89 米、指令平均 32 个词。RxR-CE 的场景划分相近，但指令是多语种的（英语、印地语、泰卢固语），平均长度约 120 个词，时序复杂度明显更高。 指标方面，用得最多的是四个：TL（轨迹长度，走的米数）、NE（导航误差，终点到目标的距离）、SR（成功率，终点落在目标 3 米以内算成功）、SPL（兼顾成功率与路径效率）。另有 OSR、NDTW、SDTW 三个辅助指标。 设定上分成两套。单目设定以 VLN-3DFF 为基线，只用前视相机，更贴近真实部署；全景设定每点采 12 张 30 度间隔的 RGB-D，把 SC²-WM 分别挂到 ETPNav 和 HNR 上，用来验证方法能不能跨架构复用。 真机部分用 Unitree GO2 四足机器人配 Intel RealSense D435i 相机，在约 100 平方米的室内家居环境里跑 100 句指令、每句重复 5 次，共 500 次运行，终点落在目标 1.5 米以内算成功——深度信息只用来做碰撞规避。  **图 1：论文 Fig. 1。三种执行范式的对照：(a) 常规开环 VLN 直接执行预测动作；(b) 经典闭环控制依赖外部参考；\(c) SC²-WM 用前瞻预测产生内部反馈，在执行动作之前先修正潜状态。** ## 分类全景  **图 6：SC²-WM 的两级自校正结构（Mermaid 结构图）。两级共用同一个前瞻信号，状态级负责立即修状态，模型级负责按需改参数。** ## 方法细节 这一节拆开方法本身：反馈从哪里来，两级校正各自做什么。 第一步是让潜状态变得可信。世界模型维护一个潜状态 $s_t$，它由后验转移更新，输入是上一步的修正状态、已执行动作、当前视觉与语言特征。为了避免状态变化里混进视角抖动、部分可观测和渲染噪声，视觉校准模块（VCM）维护最近若干步的视觉表征作为片段记忆，用当前表征去检索历史，再用门控把两者融合起来。 第二步是前瞻。前瞻策略先提一个候选动作 a_t，世界模型用先验转移推演下一步状态 s_t+1。这一步取确定性均值，避免采样噪声进到反馈里。两者相减得到 $s_t$ 与前瞻状态之差 $\Delta_t$，这就是内部反馈。 关键在于，$\Delta_t$ 不是要最小化的训练目标，而是刻画「候选动作会把潜动力学推向哪边」的引导量。校正函数把它注入当前状态，得到修正后的潜状态，导航策略据此给出真正执行的动作 $a_t$。 第三步是判断该不该改模型。系统用校正前后动作分布的 KL 散度 $\kappa_t$ 度量反馈造成的偏好位移。只有在两种条件下才触发在线适配：位移超过近期经验的高百分位，并且修正后的动作分布足够自信（熵足够低）。第二个条件很重要——高熵状态下的巨大位移往往是随机波动，不是系统性感知错误。 训练目标由三项组成。动作监督同时约束修正前后的潜状态，保证决策基准一致；一项 KL 对齐让先验转移与后验分布保持一致；重建项让轻量解码器从前瞻状态回归下一步视觉特征，注意监督发生在特征空间而不是像素空间，避免了昂贵的解码。 触发之后的更新很省：只用自监督的重建项 $\mathcal{L}_{\mathrm{rec}}$ 更新世界模型参数，学习率固定，而且梯度更新与机器人执行动作是异步并行的，控制回路不必等待反向传播。  **图 2：论文 Fig. 2。框架总览——(i) 反馈引导的计划精修在执行动作前完成状态级修正；(ii) 条件式的世界感知自适应在测试时按需完成模型级修正。** ## 实验设计与结果 这一节给出量化结果：两个基准上的对比、逐组件的消融，以及真机验证。 先看 R2R-CE 的单目设定。SC²-WM 把成功率从基线的 43.8% 抬到 50.9%，SPL 从 29.4 抬到 37.2，轨迹长度从 26.16 米压到 17.65 米。测试集未见环境上仍保持 3.2 和 3.5 个点的提升。 | 方法（R2R-CE Val Unseen） | TL ↓ | NE ↓ | SR ↑ | SPL ↑ | |---|---|---|---|---| | VLN-3DFF*（单目基线） | 26.16 | 6.05 | 43.8 | 29.4 | | g3D-LF（单目） | — | 5.70 | 47.2 | 34.6 | | NavMorph（单目） | 22.54 | 5.75 | 47.9 | 33.2 | | HNR（全景基线） | 12.76 | 4.57 | 61 | 51 | | SC²-WM（单目） | 17.65 | 5.37 | 50.9 | 37.2 | | SC²-WM（全景，挂 HNR） | 12.89 | 4.25 | 66 | 54 | 全景设定下，挂到 HNR 上的版本把成功率从 61% 提到 66%、SPL 从 51 提到 54；挂到 ETPNav 上时成功率从 55% 到 57%、导航误差从 5.96 米降到 5.57 米。两条骨干线上都涨分，说明这套机制补的是执行范式，而不是只对某一个网络结构有效。 RxR-CE 上的增益更大：单目成功率从 26.7% 提升到 35.8%（+9.1 个点），SPL 从 20.1 到 27.2，路径保真度指标 SDTW 从 20.4 到 26.5。指令越长、时序越严格，执行期自校正的价值就越明显。 再看消融。消融是在 R2R-CE Val Unseen 上逐级叠加的： | 配置（R2R-CE Val Unseen） | TL ↓ | SR ↑ | SPL ↑ | 每回合耗时 | |---|---|---|---|---| | 基线 VLN-3DFF* | 26.16 | 43.77 | 29.39 | 17.21 s | | 只加状态级校正 | 21.75 | 48.34 | 33.02 | — | | 再加视觉校准模块 | 18.73 | 49.86 | 36.05 | — | | 再加模型级校正（反馈触发） | 17.65 | 50.90 | 37.17 | 18.92 s | | 去掉重建损失 | 18.12 | 48.89 | 34.58 | — | 几个细节值得点出来。视觉校准模块这一级是量级跃变，轨迹长度从 21.75 米直接降到 18.73 米。触发方式也有讲究：改用固定间隔、并对齐平均更新频率时，成功率只有 50.30、轨迹长度 18.43 米，说明按反馈信号选择性更新比无脑周期更新更好。记忆长度取 4 最优：取 2 时上下文不足、智能体近视，取到 8 反而变差，因为注意力被摊薄，近似均匀的权重淹没了显著特征。  **图 3：论文 Fig. 3。R2R-CE unseen 集上的定性对比，蓝色为 SC²-WM、绿色为基线 VLN-3DFF、黑色为真值。右侧指令含多个转向与空间参照，基线走错后无法恢复。**  **图 4：论文 Fig. 4。真机部署——Unitree GO2 在室内环境中完成语言导航，靠内部反馈在复杂指令下自我校正。** 论文附录另有一张真机图（Fig. 5），是同一台机器人在室内家居环境执行指令的画面，与上图信息重复，此处不再单列。 ## 结果对比总结  **图 7：结果对比总结（Mermaid 流程图）。两个设定、两条骨干线上的成功率与 SPL 增益，以及真机上的 15 个点提升。** ## 关键发现 - **误差累积是主要矛盾**：只加状态级校正，成功率就从 43.77% 升到 48.34%，轨迹长度从 26.16 米降到 21.75 米——收益来自「提前预演、剪掉无效步」，而不是走得更慢。 - **视觉校准是反馈可信的前提**：加上 VCM 后轨迹长度降到 18.73 米、SPL 升到 36.05；作者的解释是，不对齐视觉表征时，潜状态的变化分不清是动作造成的还是感知噪声造成的。 - **选择性更新优于周期性更新**：固定间隔更新（对齐平均频率）的成功率是 50.30%，反馈触发版本是 50.90%，轨迹长度从 18.43 米降到 17.65 米。 - **重建损失是地基**：去掉它之后成功率掉回 48.89%、轨迹长度回到 18.12 米，说明它才让潜状态承载了可预测的动力学。 - **指令越难，收益越大**：RxR-CE 单目成功率提升 9.1 个点（26.7%→35.8%），高于 R2R-CE 的 7.1 个点，SDTW 从 20.4 升到 26.5。 - **算力门槛低**：单张 RTX 3090、不到 40 小时训练；适配的额外墙钟代价约 1.1 秒每回合（17.78 秒到 18.92 秒），真机成功率 70%→85%。 ## 局限性 - **反馈质量受世界模型表达能力所限**：前瞻差的信息量取决于世界模型本身，作者提出可以引入带不确定性或结构化的世界模型，但没有给出验证。 - **测试时适配仍依赖机外算力**：虽然梯度更新与动作执行异步并行，实时性还是靠外部计算资源，面向资源受限平台的优化被列为后续工作。 - **范围限于单智能体与中短程任务**：长程规划、多智能体场景没有验证，语言接地与世界建模更紧的耦合也只是展望。 - **方法描述的细节前后不一致**：正文说重建损失对齐下一步视觉特征，算法伪代码里用的却是当前校准表征；触发条件在正文是百分位、伪代码写成固定阈值。 - **真机证据偏粗**：只报了总成功率 85% 对 70%，没有按指令复杂度或场景类型分解，也没有给出失败案例的分布。 ## 常见问题（FAQ） ### 我要复现这个工作，需要多少算力？ 论文里训练用的是单张 NVIDIA RTX 3090，训练时间不到 40 小时。推理批大小为 1，走在线评测协议。对个人研究者来说，这是少数不需要集群也能跑起来的具身导航工作。 ### 它和 NavMorph 有什么区别？ NavMorph 是同一位一作的前作（ICCV 2025），用上下文演化记忆让世界模型自演化，但推理期的动作仍不被反馈引导。SC²-WM 把世界模型的前瞻差直接算成内部反馈，并且用同一个信号决定「只修状态」还是「顺手在线更新模型」。 ### 为什么不用大模型（MLLM）来做导航？ 作者主动把范围收在轻量世界模型这一侧，理由是 MLLM 路线推理开销大、在线适应性受限。代价也摆在表里：单目全量对比中，StreamVLN 的成功率 56.9%、DualVLN 到 64.3%，都高于 SC²-WM 的 50.9%。作者同时说明 monoVLN 用了更强的三维高斯特征场但未开源，没法作为世界模型的基座。 ### 真机效果可信吗？ 真机跑了 100 句指令、每句 5 次重复，共 500 次运行，成功率 85% 对基线 70%。需要注意两点：环境是约 100 平方米的室内家居场景，深度只用于避碰；论文没有公布按复杂度分层的成功率，所以「增益集中在视觉歧义与路口决策」这个说法是作者的观察，不是分层统计。 ### 这套反馈能接到强化学习里吗？ 论文用的是模仿学习，因为 VLN-CE 的部分可观测性和稀疏奖励让纯奖励驱动训练不稳定。作者认为前瞻差可以当内在奖励用，给稠密信号，或者作为辅助表征加速策略优化——但没有做实验验证。 ## 参考链接 - 论文 arXiv 摘要页：https://arxiv.org/abs/2608.07548 - 开源代码（作者提供）：https://github.com/sunrise-ikun/SC2_WM - R2R-CE / RxR-CE 基准：https://jacobkrantz.github.io/vlnce/ - 全景基线 ETPNav（TPAMI 2024）与 HNR（CVPR 2024）：论文参考文献 [3][4] - 同作者前作 NavMorph（ICCV 2025）：https://arxiv.org/abs/2506.23468 ## 一句话收尾 如果只带走一句：**当外部监督既稀疏又延迟时，智能体能实时拿到的误差，就是「自己想象出来的未来」和「当前理解」之间的差**。把它算准、用对触发条件，闭环就成立了。 延伸看什么：先读 NavMorph（ICCV 2025）看世界模型在 VLN-CE 上怎么演化记忆，再对比 UNeMo（AAAI 2026）的层级预测-反馈——这两篇连起来，能看清「反馈信号」这个问题是怎么一步步被问清楚的。 --- > 给大家推荐一款自用写文献综述、无虚构文献的 AI： > > 🌟 **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi)** > > 官网：[qiewenpaper.com](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi) > > 覆盖 **3.6 亿篇**可溯源真实中英文文献，能自动整合文献观点生成规范综述 > > 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 --- > **🍀后记🍀** > > 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 > > **🌸讨论QQ群**：[白拾的小屋](https://qun.qq.com/universal-share/share?ac=1&authKey=Suzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyTh&busi_data=eyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3D&data=hgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQ&svctype=4&tempid=h5_group_info) (750365700) > > **⭐B站账号**：[白拾的物理AI组会](https://space.bilibili.com/98639326)（活跃于知识区和动画区） > > **✨GitHub主页**：[YhbCode000](https://github.com/yhbcode000)（工程文件）