news 2026/10/22 7:27:46

【VLN】SpatialNav空间场景图零样本VLN

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【VLN】SpatialNav空间场景图零样本VLN

一句话定位

允许机器人先完整逛一遍环境,把点云整理成楼层–房间–物体的 Spatial Scene Graph;任务时 MLLM 看「以自己为中心的俯视局部图 + 罗盘全景拼图 + 候选点附近物体」,做零样本视觉语言导航。

给新人的直觉
经典 VLN 像第一次进迷宫只准看眼前;SpatialNav 像扫地机器人:先建一张带房间标签的平面关系图,再听「去卧室」——看不见的房间靠图,不靠猜。

背景概念

术语白话
Zero-shot VLN不针对 VLN 数据集训专用策略,主要靠 MLLM 推理
Pre-exploration任务前允许充分探索(偏离「纯在线局部」经典设定)
SSGSpatial Scene Graph:带几何布局与语义标签的分层场景图
Remote object localization问图:若走到某个候选落点,周围会有什么物体

论文在干什么

痛点:零样本 VLN 只有局部观测 → 探索低效;多卧室等同指令候选时无法消歧(论文 Fig.1)。

做法:

  1. 假设预探索后有点云(可用现成 SLAM);自动/半自动做成 SSG(楼层分割 → 房间分割 → GPT 房间分类 → SpatialLM 物体检测)。
  2. SpatialNav三件套:agent-centric ~7 m 俯视房间布局图;八方向罗盘拼成一张图;对每个候选导航点从 SSG 取邻域物体描述。
  3. 评测:R2R / REVERIE / R2R-CE / RxR-CE val-unseen,SR 约 57.7% / 49.6% / 64.0% / 32.4%,超以往零样本并逼近部分有监督学习。

关键创新(3 条)

  1. 设定:把「家用预建图」写进零样本 VLN 问题定义。
  2. 表示:SSG 显式编码全局布局+语义,而不是只靠 prompt 历史。
  3. 用法:地图裁成 agent-centric + 视觉罗盘对齐 + 远程物体,专门解决「墙后面是什么」。

局限

  • 仿真侧大量依赖 Matterport 类点云;真机噪声由同系列SpatialAnt再补。
  • 大开放空间房间分割仍难,论文对 >20 m² 区域有人工核验。
  • 不替代局部避障控制器;仍要 waypoint / 底层控制。
  • 分数与「禁止预探索」的经典 VLN 设定不可直接横比吹嘘。

要点总结

  1. SSG ≈ 分层语义场景图,不是纯占用栅格。
  2. 预探索设定 = 工程友好,≠ 经典 VLN 规则。
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/22 7:26:50

AI大模型学习指南:收藏!揭秘高薪城市与岗位选择秘籍,小白也能看懂腾讯大模型工程师求职指南:小白也能看懂的学习路线与避坑经验

本文为想进入腾讯从事大模型相关工作(如游戏Agent、产业侧、平台岗)的程序员提供求职指导。文章强调不同岗位对技能要求不同,需掌握扎实的软件工程基础、RAG技术、Agent架构设计、评测与可观测性、项目经验及跨团队协作能力。建议备考者系统学…

作者头像 李华
网站建设 2026/10/22 7:25:32

计算机网络基础知识第四天

计算机的性能指标:包括速率 带宽 吞吐量 时延 时延带宽积 往返时间 利用率 丢包率关于速率, 先来引入一个新单位量:比特(bit,简b)比特是表示表示数据量的单位 就是二进制中的0或1常见数据量的单位&#xf…

作者头像 李华
网站建设 2026/10/22 7:24:52

渲染流水线

8.3 渲染流水线渲染流水线是浏览器将 DOM、CSSOM 转化为屏幕可视化像素的完整执行流程,与事件循环深度协同,按固定帧率周期性执行。完整的渲染流水线分为样式计算、布局、绘制、合成四个核心阶段,不同阶段对应不同的性能开销。配合 requestAn…

作者头像 李华
网站建设 2026/10/22 7:23:56

SUAPP AI 云端建模成果:导出 skp/glb 之后要检查的三件事

下载之后,建议先检查结构能否按需修改、几何是否符合设计输入、材质显示是否适合交付用途,再决定模型进入哪一步。本文围绕模型导出、可编辑模型与成果校核展开,供使用AI建模软件的设计人员安排人工检查;三件事属于项目方法建议&a…

作者头像 李华
网站建设 2026/10/22 7:23:25

为什么 LLM 会产生幻觉?——token 级别的解释

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华