空间智能×AI Agent：从“能聊天”到“能动手”的落地实践

空间智能这个词最近有点热，热到我一个平时只关心落地应用的人，都不得不多花几个晚上把它相关的论文、Demo和产品逻辑翻了一遍。原因很简单：过去两年我们聊AI，聊的是“它能说什么”；现在大家开始聊“它能做什么、能走多深、能在真实世界里帮你干多少活”。说白了，AI正在从一个聊天窗口，变成一双眼睛、一双手。

这期空间智能前沿日报想认真聊的，就是这个从“能聊天”到“能动手”的过程。我会讨论空间智能到底是什么，AI Agent怎么把语言能力变成实际行动，以及两者汇合之后到底能在哪些场景里产生真金白银的价值。如果你也在关注AI应用落地方向，或者正纠结要不要投入精力研究空间智能，这篇内容应该对你有参考价值。

1. 空间智能是什么：从“看见”到“理解”再到“行动”

1.1 先拆解概念：空间智能不是三维识别的马甲

空间智能这个术语第一次大面积出圈，是因为几笔大额融资和几位AI圈重量级人物的公开强调。但这个词本身并不神秘，它本质上是指：AI对三维空间中的物体位置、几何关系、遮挡、运动趋势、物理约束进行感知和理解，并在此基础上完成预测或行动的能力。

打个比方。人类走进一间房间，扫一眼就能知道“沙发离桌子大概多远”“水杯在沙发右边、伸手能够到”“从门口走到窗户不会被绊倒”。这些判断不需要刻意计算，这就是空间智能。对人类而言它几乎是本能，但对传统AI来说，它曾经极其困难。一个二维视觉模型能识别出图片里有一把椅子，但无法回答“这把椅子面朝哪个方向、离镜头多远、能不能承重”这类问题。传统NLP模型能生成一段请你“把桌上的杯子递过来”的文字，但完全不知道杯子在哪、手该怎么伸。

所以空间智能并不是给三维识别换了个名字。三维重建也好、目标检测也好，更多是“感知”层面的单点能力；空间智能强调的是感知之后的“理解”与“行动”闭环。理解意味着不仅要认出物体，还要推断物体之间的关系、运动趋势和物理属性；行动意味着要基于这种理解生成具体的、可执行的指令或姿态。

我在追踪这个方向时，最明显的感受是：过去几年大家把视觉模型和语言模型分开训练，一个负责“看”，一个负责“说”；现在则拼命想让模型同时具备“看”和“做”的能力。空间智能就是这中间的那块拼图。

1.2 为什么“能聊天”不够了：三股力量逼着AI动手

很多人会问，聊天聊得好好的，为什么要折腾“动手”？我觉得背后有三股推力。

第一是数据瓶颈。围绕文本的大规模预训练已经接近天花板，高质量文本数据快被用完了。而视觉数据、视频数据、空间数据还有大量未被利用。空间数据的来源广、维度多、信息密度高，是下一代模型训练最重要的燃料。谁先能把空间数据消化掉，谁就能在下一轮竞争中占据优势，这是很多大模型团队愿意重仓布局空间智能的根本原因。

第二是场景需求。纯聊天产品很难独立创造足够大的商业价值，企业客户真正愿意付费的是“解决问题”。比如物流仓储要机器人把货架上的商品抓下来，室内设计要让AI根据户型图自动摆放家具，自动驾驶要让车在复杂路口做合理决策。这些需求都要求AI从“给出文字建议”升级为“直接执行并交付结果”。

第三是Agent生态的成熟。推理成本下降、工具调用框架逐步标准化，让“让AI调用工具完成任务”变成工程上可落地的方案。从Chat到Act，不是某个单一模型的突破，而是一整套工程体系成熟的结果。模型负责理解意图和拆解任务，工具负责执行，空间智能负责让执行过程真实可靠。

三股推力加在一起，结论就很明确：AI的下一个增长点，不在对话框里，而在真实空间里。

2. AI Agent：把“想法”变成“动作”

2.1 Agent的基础结构：感知、规划、记忆与工具调用

想要理解“能聊天”到“能动手”，必须先理解AI Agent的基本结构。我习惯用一个四模块框架来拆解一个典型Agent：

• 感知模块：接收信息，包括用户的文字输入、图像输入、传感器数据、系统状态等。在空间智能场景下，感知模块经常还要接入深度相机、点云、三维重建结果。
• 规划模块：由大模型承担，负责理解用户意图，把任务分解成多个子步骤，决定每一步该调用什么工具。
• 记忆模块：保存任务的中间状态、历史信息和执行结果，让Agent在多轮操作里不迷路。
• 执行模块：也就是工具调用，连接外部API、代码执行器、移动设备或机械臂，把规划结果变成真实动作。

这个结构并不复杂，但每个模块都有很多细节。比如规划模块，现在主流还是“思维链”加“ReAct”这类方法，让模型一边思考一边行动，每一步都输出“我观察到了什么、下一步该做什么”。再比如记忆模块，短期记忆用上下文窗口就能解决，长期记忆则要把重要信息存到向量数据库里，在需要时检索出来。

过去一年最明显的变化是，工具调用的标准越来越统一。各大模型厂商跟进推出的函数调用格式和工具调用协议，让“模型输出一个结构化指令，系统执行后返回结果”变成了一套通用玩法。这带来的直接好处是：你可以把任何能力封装成一个工具，然后让模型自由组合。空间智能里的“视觉定位”“深度估计”“三维重建”都可以封装成工具，交给Agent调度。

2.2 从“对话”到“行动”的关键转变：模型要开始对结果负责

对话系统和Agent系统有个本质区别：对话系统只对“说出来的话”负责，Agent要对“做出来的事”负责。

举个很简单的例子。你让聊天机器人“帮我订一张明天到上海的票”，它可能给你一段建议：“你可以去某APP看看”。这个回答在文本层面是完整的，但没有完成任何实际动作。而Agent会自己打开订票工具、查询车次、提交订单，然后告诉你“已经订好，订单号是XXX”。

从工程角度看，这个转变带来了几个新问题。第一是错误成本变高了。对话说错了可以改口，动作做错了可能造成实际损失，所以Agent必须有更严格的校验和回滚机制。第二是需要反馈闭环。动作执行之后，系统要把结果反馈给模型，模型判断是否满意，不满意就调整策略再来。第三是安全限制必须前置。在让Agent执行动作之前，要给权力设边界，包括权限控制、动作审核、告警机制。

这也是为什么我始终觉得，做Agent比做聊天机器人难得多。模型能力只是地基，真正考验工程能力的是怎么在可控的范围内把模型能力释放出来。空间智能的加入，又会把这个问题提升一个量级：模型不仅要保证自己的输出正确，还要保证对空间的操作正确。

3. 空间智能 × Agent 的落地场景：哪些地方真的在“动手”

3.1 具身智能与机器人：从Demo到产线还有多远

具身智能是空间智能和Agent结合最典型的场景。所谓具身，简单说就是给AI一个物理载体，比如机械臂、四足机器人、人形机器人，让它在真实世界里活动。

在具身智能的发展上，我观察到两条路线。一条是“模型驱动”路线，直接把视觉-语言-动作模型做端到端训练，输入图像和语言指令，输出关节动作或运动指令。另一条是“模块化”路线，把感知、规划、控制拆开，感知用视觉大模型，规划用语言大模型，控制用传统机器人学方法。两条路线各有优劣，端到端潜力更大，但数据需求极高；模块化更容易落地，但链路长、集成复杂。

目前来看，大多数真实产线上的方案还是模块化为主。一个典型的抓取任务会被拆成：目标检测与位姿估计、抓取点规划、路径规划、运动控制。空间智能模型负责前两环，比如用三维重建或者深度估计模型得到物体在相机坐标系下的位置，然后通过抓取点生成网络输出机械臂的抓取姿态。

这个行业里常见的误区是，以为有了一个大模型，机器人就能自动学会所有操作。实际根本不是这样。真实环境里有光照变化、物体形变、遮挡、摩擦力不均等问题，任何一个环节没处理好，抓取成功率都会掉得很明显。这也是为什么现在大家都在做sim-to-real迁移，先用仿真环境大量训练，再在真实场景做少量微调。空间智能在这条链路里承担的任务，是让模型对“空间关系”有先验的理解，减少真实调试的试错成本。

3.2 三维内容创作与数字孪生：AI开始直接生成“世界”

除了物理世界的机器人，空间智能在数字世界里同样大有可为。最典型的就是三维内容生成。过去做一张三维场景，需要美术人员用建模软件一点一点搭，动辄几个星期。现在出现了大量基于生成式AI的三维工具，能直接通过文字或图片生成可编辑的三维模型和场景。

这些工具背后的空间智能模型，要解决的其实是两个问题：几何一致性和物理合理性。几何一致性是指生成的模型在形状、拓扑、纹理上必须自洽，不能出现两个面穿模、一个物体悬空这些低级错误；物理合理性是指物体之间的关系要符合常识，比如杯子应该放在桌面上而不是浮在半空。

数字孪生也属于这个范畴。工厂要做产线仿真，城市要做智慧管理，第一步都是把物理世界数字化。传统做法是激光扫描加人工修模，成本很高。现在用多视角图像送入三维重建模型，配合大模型的语义理解，可以快速生成带语义标签的数字孪生场景。比如扫描一个仓库，AI能自动识别出货架、通道、货物，并给出合理的空间布局建议。

在这个方向做Agent，价值在于“生成之后的修改与交互”。一个室内设计Agent，你告诉它“把客厅改成原木风，沙发靠窗”，它不仅要能重新生成设计方案，还要能局部修改三维场景，更新材质和家具位置，并且保证修改后空间仍然合理。这比单纯生成一张图难很多，因为三维空间存在全局约束，改一个地方可能影响其他部分。现在很多团队正在解决这个问题，思路是先建立场景的图结构，把物体之间的依赖关系显式建模，再做局部修改。

3.3 自动驾驶、AR/VR与端侧设备：空间智能的普惠入口

如果说机器人和数字孪生是重场景，那自动驾驶、AR/VR和端侧设备就是空间智能进入普通人生活的入口。

自动驾驶天然就是空间智能的试验场。车辆需要在毫秒级时间内感知周围环境、预测其他交通参与者的轨迹、规划自己的行驶路径。过去几年自动驾驶从单纯的感知算法演进到端到端模型，本质上就是在让整个“感知-预测-规划”闭环变得更智能。空间智能在这里的作用，不只是识别出前方有个行人，而是理解“行人可能往左走还是往右走，我要不要减速”。这种对动态空间关系的理解，是L3以上级别自动驾驶的关键。

AR/VR就更好理解。在混合现实环境里，虚拟物体必须和真实空间对齐，随便乱放的话用户会立刻出戏。空间智能负责实时理解房间的几何结构、光照条件、遮挡关系，让虚拟物体“稳稳地”待在应该待的位置。这类设备出现后，大家都意识到了三维交互界面是下一个平台，但真正让这个平台成立的核心能力，就是空间智能。

端侧设备的落地更现实一点。手机通过深度相机做人脸识别、手势控制，扫地机器人靠激光雷达和视觉建图规划路径，无人机做自主避障。这些设备上的空间智能模型通常要兼顾精度和功耗，所以模型压缩、量化部署、端侧推理框架都是重点。我试过在嵌入式设备上跑轻量化的深度估计模型，帧率大概能到十帧左右，做个简单的避障Demo是够的，但真要商用还得继续优化。

4. 技术栈选型与实操复盘：做空间智能Agent该从哪里下手

4.1 模型与框架怎么选：一个实用的选型清单

考虑做空间智能相关应用时，模型选择是最关键的一步。我把目前常见的开源模型和工具按功能整理成一张表，方便大家对照：

选择原则其实很直白：先锚定你的任务类型，再选模型。比如你要做室内场景的AI设计助手，那么Depth Anything做深度估计、SAM做家具分割、视觉-语言模型理解用户意图，这样的组合足够起步。如果要做机械臂抓取，那FoundationPose这类专攻位姿估计的方案会更合适，通用分割模型反而帮不上太多。

框架方面，如果只是快速验证想法，LangChain或者Dify都够用。但如果要深度定制，我建议干脆自己写工具调用层，反而更可控。框架给了你脚手架，同时也给你带上了枷锁，尤其在空间智能这种需要频繁传递图像、点云等非结构化数据的场景里，标准框架往往不够灵活。

4.2 搭建一个“能动手”的最小Demo：从对话到控制机械臂

空谈技术选型没用，还是得动手。我搭了一个最小可用的“空间智能Agent”Demo，功能非常简单：用户输入“抓取桌上的可乐罐”，Agent通过视觉模型定位目标物，再调用机械臂控制接口完成抓取。

整体链路如下：

1. 部署一个视觉-语言模型，负责把用户的自然语言指令转成“检测目标物体”的结构化任务。
2. 调用Grounding DINO加SAM，从相机画面里定位可乐罐的边界框和分割掩码。
3. 用Depth Anything从单目图像里估出目标物的深度，结合相机内参计算出目标在相机坐标系下的三维位置。
4. 将三维坐标发送给机械臂控制接口，进行运动规划和抓取。

这里面每一步都有不少细节。比如第一步，视觉-语言模型如果识别错了目标，后面全白搭，所以需要加一层确认机制，让模型输出“我找到了一个银色罐体，是否为目标？”再等用户确认。比如第三步，单目深度估计的精度有限，测出来深度可能有几厘米的偏差，这时候可以用机械臂末端的深度传感器做一次矫正，或者让机械臂先移到目标附近，再通过手眼标定精调。

我写的一段核心Python伪代码如下：

import numpy as np # 假定相机内参 fx, fy, cx, cy = 600.0, 600.0, 320.0, 240.0 K = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]]) # 1. 从模型输出获得目标中心点像素坐标 (u, v) 和深度 d u, v, d = model_detect("可乐罐") # 2. 将像素坐标 + 深度转成相机坐标系下的三维点 X = (u - cx) * d / fx Y = (v - cy) * d / fy Z = d # 3. 通过手眼标定矩阵 T 转到机械臂基座坐标系 P_cam = np.array([X, Y, Z, 1.0]) P_base = T @ P_cam # 4. 发给机械臂去做规划抓取 robot.grasp(P_base[:3])

这个Demo跑通之后，你就能直观感受到“从能聊天到能动手”的工程量在哪。模型本身并不难，难的是把各种坐标系对齐、把误差控制在可接受范围内、把异常情况处理干净。我第一次跑的时候，机械臂抓了十几回才成功一次，后来发现是深度估计偏差加手眼标定没校准好。调整之后成功率才上来，但也远没有到稳定的程度。

4.3 踩坑记录：我在这条路上踩过的几个坑

做空间智能Agent，踩坑几乎是必然的。我把印象最深的几个坑写出来，希望你能少走弯路。

第一个坑是单目深度估计的不稳定性。Depth Anything在静态场景下表现不错，但一旦画面里出现运动物体，深度图就会抖动，尤其是物体边缘，深度值会在前后两个距离值之间跳变。这种情况在机器人抓取任务里非常致命，因为坐标稍微偏一点，抓取就会失败。我的解决办法是加了一个时序滤波，对连续几帧的深度输出做中值滤波，同时结合目标跟踪框的稳定性判断是否可信。

第二个坑是手眼标定不到位。相机装在机械臂旁边，和机械臂基座的相对位姿关系必须精确。我用OpenCV自带的标定板做手眼标定，前几次总是有毫米级误差，后来发现是标定板不平整。换了一块刚性亚克力标定板之后，误差明显下降。这让我意识到，很多标定问题和算法无关，硬件选型才是大头。

第三个坑是大模型上下文不可控。Agent在跟视觉模型、工具系统多轮交互时，经常会出现“幻觉式执行”，比如用户让“抓取绿色杯子”，模型却找到了一排绿色物体，然后自己选了一个就执行了。为了避免这种问题，我在工具调用层加了一层规则校验，要求模型输出必须包含目标类别、置信度、空间范围字段，程序端再对这些字段做合法性检查。模型输出不合法就直接要求重试，宁可多跑几轮，也不要执行错误动作。

还有一个工程上的坑是延迟。视觉模型加语言模型串联起来，整个链路耗时经常超过五秒，对交互体验非常不友好。我把视觉模型放在本地GPU上推理，语言模型用轻量化版本，并通过流式处理把首帧结果尽快返回。最终把整体延迟压到了两秒以内，虽然谈不上实时，但至少能用。

4.4 再补一个经验：评测体系一定要提前搭

这个经验是我做了几个空间智能项目之后才悟出来的。做聊天机器人，你可以靠人工问答去主观评估效果；但做空间智能Agent，必须提前搭一套量化评测体系，否则项目根本没法推进。

原因很简单。空间智能任务的结果是客观的：物体抓没抓到、位姿误差多少、三维重建的精度多高、路径规划有没有碰撞。这些问题不是“感觉还不错”就能蒙混过去的。我一开始做机械臂抓取时，凭印象觉得“成功率还行”，后来实测统计才发现只有六成左右，离上线差的远。从那以后，我再做这类项目，第一件事就是把评测脚本写出来，每次改动模型或参数，自动跑一遍测试集，记录指标。

具体来说，我会为每个场景定义三到五个核心指标。比如机械臂抓取关注抓取成功率、平均定位误差、单次任务耗时；三维重建关注Chamfer距离、F-score、纹理保真度；室内设计Agent关注用户指令满足率、空间布局合理性评分。这些指标不一定都能量化完美，但至少能让团队对“当前系统处在一个什么水平”有统一认知，不会出现产品觉得能用、研发觉得还远的情况。

评测数据的积累还有个额外好处：当模型更新或者换了新方案时，你可以直接对比历史数据，快速判断是变好了还是变差了。空间智能方向迭代速度很快，模型版本三四个月就会换一代，没有一套稳定的评测基准，你根本不知道该不该升级。

5. 四个月实操下来，我对空间智能Agent的几点判断

5.1 空间智能会让AI真正成为“生产力工具”

聊天模型解决的是信息获取和内容生成的效率问题，空间智能Agent解决的是物理世界任务的效率问题。两者不在一个量级。对个人来说，聊天机器人帮你写邮件、总结文档，省的是几分钟；对工厂来说，一台搭载空间智能的机器人替代人工完成质检、分拣、搬运，省的是一个人一年的成本。只有进入物理世界，AI的杠杆效应才会被真正放大。

这四个月我在多个场景里反复验证同一个结论：凡是需要“人眼判断+手部操作”的任务，空间智能Agent都有机会参与；凡是只需要“阅读+打字”的任务，现有聊天模型已经够用。所以判断一个场景值不值得做，先问一句：这个任务有没有物理空间维度？如果有，空间智能就是刚需。

5.2 数据闭环是唯一靠谱的护城河

这个方向技术壁垒并没有想象中高。开源模型已经很强大，SAM、Depth Anything、Qwen-VL这些模型直接拿来用，表现都不差。真正拉开差距的是数据闭环。你能不能在真实场景里持续收集到高质量的标注数据，能不能把失败案例沉淀下来反哺模型和策略，这决定了系统能不能越用越准。

我见过一些团队，模型选型很新，代码架构也很好，就是没有认真收集真实场景数据，结果Demo惊艳，一上真实环境就露馅。反观那些跑得稳的项目，都有一个共同点：每一台设备都在回传数据，每一次失败都在触发记录，每一条记录都在进入下一个训练或调优周期。空间智能不像纯语言模型那样能在互联网文本里自学，它必须依赖真实空间里的反馈数据，谁掌握数据闭环，谁就掌握主动权。

5.3 从交互到执行，AI创业者的话语权在变大

最后说点行业观察。过去做AI应用，大家总觉得自己在给大模型“打工”，核心能力都在模型层，应用层随时可被替代。但空间智能Agent扭转了这种关系。因为空间智能的落地严重依赖场景工程：你需要做手眼标定、需要调机械臂控制、需要处理物理环境的不确定性、需要搭建评测体系。这些工程能力大模型厂商不会替你解决，也不愿意替你解决。

这意味着，掌握场景Know-how的团队，在大模型生态里有了真正的议价能力。大模型再强，也只是你系统里的一个组件。当你能把“空间理解、任务规划、底层控制、质量反馈”串成闭环时，你就不再是简单的模型调用方，而是具备完整交付能力的方案商。这个转变，会让AI创业者第一次感受到“技术在手，天下我有”的底气。

这期日报写到这里，我自己的体会是：空间智能和AI Agent的交叉处，恰恰是接下来最值得投入的方向之一。聊天模型证明了“机器能理解语言”，空间智能要证明的是“机器能理解并改造物理世界”。两者结合之后，能给机器人、内容创作、自动驾驶、AR等无数场景带来实质变化。这个方向还很早期，模型能力、工程实践、硬件成本都有大量问题要解决，但也正因为早期，每个人参与进去都有机会做出真正有差异化的东西。如果你也在这个方向探索，我的建议是先从小场景、小Demo做起，把“看”和“做”的闭环跑通一次，再慢慢扩大边界。下一步我计划写一篇更偏实战的教程，把我搭建的室内场景Agent代码仓库整理出来，拆解每一层的设计思路。如果你有具体的落地场景或者踩过的坑，欢迎在评论区聊聊，我会挑有价值的问题放到后面的日报里展开。