一句话定位
允许机器人先完整逛一遍环境,把点云整理成楼层–房间–物体的 Spatial Scene Graph;任务时 MLLM 看「以自己为中心的俯视局部图 + 罗盘全景拼图 + 候选点附近物体」,做零样本视觉语言导航。
给新人的直觉
经典 VLN 像第一次进迷宫只准看眼前;SpatialNav 像扫地机器人:先建一张带房间标签的平面关系图,再听「去卧室」——看不见的房间靠图,不靠猜。
背景概念
| 术语 | 白话 |
|---|---|
| Zero-shot VLN | 不针对 VLN 数据集训专用策略,主要靠 MLLM 推理 |
| Pre-exploration | 任务前允许充分探索(偏离「纯在线局部」经典设定) |
| SSG | Spatial Scene Graph:带几何布局与语义标签的分层场景图 |
| Remote object localization | 问图:若走到某个候选落点,周围会有什么物体 |
论文在干什么
痛点:零样本 VLN 只有局部观测 → 探索低效;多卧室等同指令候选时无法消歧(论文 Fig.1)。
做法:
- 假设预探索后有点云(可用现成 SLAM);自动/半自动做成 SSG(楼层分割 → 房间分割 → GPT 房间分类 → SpatialLM 物体检测)。
- SpatialNav三件套:agent-centric ~7 m 俯视房间布局图;八方向罗盘拼成一张图;对每个候选导航点从 SSG 取邻域物体描述。
- 评测:R2R / REVERIE / R2R-CE / RxR-CE val-unseen,SR 约 57.7% / 49.6% / 64.0% / 32.4%,超以往零样本并逼近部分有监督学习。
关键创新(3 条)
- 设定:把「家用预建图」写进零样本 VLN 问题定义。
- 表示:SSG 显式编码全局布局+语义,而不是只靠 prompt 历史。
- 用法:地图裁成 agent-centric + 视觉罗盘对齐 + 远程物体,专门解决「墙后面是什么」。
局限
- 仿真侧大量依赖 Matterport 类点云;真机噪声由同系列SpatialAnt再补。
- 大开放空间房间分割仍难,论文对 >20 m² 区域有人工核验。
- 不替代局部避障控制器;仍要 waypoint / 底层控制。
- 分数与「禁止预探索」的经典 VLN 设定不可直接横比吹嘘。
要点总结
- SSG ≈ 分层语义场景图,不是纯占用栅格。
- 预探索设定 = 工程友好,≠ 经典 VLN 规则。