机器人基础模型技术全景：LLM、VFM、VLM、VLA四类模型拆解与集成实践

1. 机器人基础模型技术全景拆解

机器人基础模型这个词这两年出现的频率越来越高，但很多人第一次听到的时候会犯迷糊：它到底指的是某一类模型，还是一整套技术栈的组合？我自己的理解是，它更像是一个"能力底座"的概念——把大模型在语言、视觉、视觉语言对齐、视觉语言动作映射这几个层面的能力，逐步迁移到机器人身上，让机器人从"只会执行预设指令"变成"能理解、能推理、能泛化"。

这个方向之所以值得单独拿出来讲，是因为它解决了一个非常现实的问题：传统机器人控制方案里，每一个任务几乎都要单独写策略、单独采数据、单独调参，换一个场景就得推倒重来。而基础模型的思路是把"通用理解能力"和"动作生成能力"解耦，用大规模预训练打底，再用少量任务数据做适配。适合阅读这篇内容的人包括：做机器人算法落地的工程师、想从纯软件方向切入具身智能的开发者、以及需要评估技术路线选型的产品和技术负责人。

我下面会按 LLM、VFM、VLM、VLA 四条主线拆开讲，每条线说清楚它是什么、为什么需要它、在机器人系统里承担什么角色、实操时怎么用、容易踩什么坑。最后再讲它们怎么串成一条完整的链路，以及我在实际调试中总结出来的一些经验。

1.1 四类模型的分工关系

先把全局图景说清楚，不然后面容易混。LLM 是语言大模型，负责语义理解、任务分解、逻辑推理；VFM 是视觉基础模型，负责从图像里提取通用特征，比如分割、深度、关键点；VLM 是视觉语言模型，负责把"看到的"和"说出来的"对齐，实现图文问答、指令 grounding；VLA 是视觉语言动作模型，直接把视觉输入和语言指令映射成机器人动作序列。

这四者的关系不是并列的，而是层层递进：LLM 提供"大脑"的推理能力，VFM 提供"眼睛"的感知能力，VLM 把两者粘合起来形成"看懂指令"的能力，VLA 再往前一步，把"看懂"变成"做到"。很多团队一开始只做 VLM，发现机器人能回答问题但动不了；或者只做 VLA，发现泛化性很差，根子就在于底层感知和语言理解没有打好基础。

提示：不要指望一个模型解决所有问题。实际系统里这四类模型往往是组合使用的，LLM 做高层规划，VLM 做中层指令解析，VLA 做底层动作生成，VFM 作为感知 backbone 被 VLM 和 VLA 共享。

2. LLM 在机器人系统里的真实角色

2.1 为什么机器人需要语言模型

很多人会问：机器人做动作，跟语言模型有什么关系？我一开始也有这个疑问。后来在实际项目里发现，语言模型最大的价值不是"聊天"，而是把模糊的人类指令拆解成可执行的子任务序列。比如你说"把桌上的杯子收进柜子里"，这句话对人来说很简单，但对机器人来说包含了一连串隐含步骤：找到杯子、判断杯子位置、规划抓取姿态、移动到柜子、打开柜门、放置、关门。LLM 做的就是把这个自然语言指令翻译成结构化的任务图。

另一个价值是常识推理。机器人遇到没见过的情况时，LLM 可以基于预训练知识给出合理猜测。比如杯子旁边有一把刀，LLM 会倾向于建议先移开刀再抓杯子，这种安全相关的常识判断是传统规则系统很难覆盖的。

2.2 任务分解的实操做法

我常用的做法是给 LLM 一个固定的输出 schema，让它输出 JSON 格式的任务列表，每个子任务包含动作类型、目标物体、约束条件。这样下游模块可以直接解析，不需要再做自然语言处理。prompt 里要明确告诉模型可用的动作原语有哪些，否则它会编出不存在的动作。

# 任务分解 prompt 的核心结构示例 prompt = """ 你是一个机器人任务规划器。可用动作原语： - navigate_to(location) - detect(object) - grasp(object, pose) - move_to(location) - release() 用户指令：{instruction} 请输出 JSON 格式的子任务列表，每个子任务包含 action 和 params 字段。 """

实测下来，任务分解的准确率跟两个因素强相关：一是动作原语的定义是否清晰，二是是否给了 few-shot 示例。我一般会给 3 到 5 个示例，覆盖常见指令类型，准确率能从六成多提到八成以上。

2.3 注意事项与踩坑记录

第一个坑是 LLM 的"幻觉动作"。如果你不限制动作空间，模型会输出一些听起来合理但系统根本不支持的动作，比如"旋转手腕 270 度"而你的机械臂腕部只能转 180 度。解决办法是在 prompt 里硬性约束动作空间，并在解析层做合法性校验。

第二个坑是长任务的上下文漂移。任务步骤超过十步之后，LLM 容易忘记前面的约束条件，比如"不要碰倒旁边的瓶子"。我的做法是把关键约束单独抽出来，作为全局条件在每个子任务执行前重新注入，而不是指望模型自己记住。

第三个坑是延迟。LLM 推理一次动辄几百毫秒到几秒，对于需要实时响应的场景不友好。实际部署时我会把 LLM 放在"慢环路"里做规划，把快速反应交给底层的 VLA 或传统控制器，形成快慢双环结构。

3. VFM 视觉基础模型的选型与落地

3.1 VFM 到底解决什么问题

视觉基础模型的核心价值是"免训练的特征提取"。传统做法是每个任务单独训一个检测器或分割器，数据标注成本极高。VFM 通过大规模预训练，已经学到了通用的视觉表征，你拿它做 zero-shot 或者 few-shot 迁移，效果往往就能用。

在机器人场景里，VFM 主要承担三件事：一是物体分割，把场景里的可操作物体抠出来；二是深度估计，给抓取提供三维信息；三是特征匹配，用于跨视角的物体定位。这三件事是后续抓取和导航的基础。

3.2 选型对比与参数考量

选型时我最看重的是推理速度和精度的平衡。分割类模型精度高但慢，适合放在"看到目标后仔细分析"的环节；特征类模型快，适合放在"持续跟踪"的环节。实际系统里往往是多个 VFM 组合使用，而不是只选一个。

3.3 实操中的标定与对齐

VFM 输出的深度是相对深度，不是真实物理尺度，这是最容易踩的坑。我的做法是用一个已知尺寸的标定板，在目标工作距离上采几组数据，拟合出相对深度到真实深度的线性映射系数。这个系数跟相机内参和工作距离有关，换了场景要重新标。

分割结果和机器人坐标系的转换也需要仔细处理。分割出来的是像素掩码，要转成机器人能用的三维抓取点，中间要经过相机内参反投影、手眼标定矩阵变换。手眼标定的误差会直接体现在抓取精度上，我一般要求标定残差控制在 2 毫米以内才继续往下做。

注意：VFM 的 zero-shot 能力在标准数据集上很漂亮，但在真实工业场景里，光照变化、反光材质、遮挡都会让效果打折扣。上线前一定要在真实场景采一批数据做验证，不要只看论文指标。

4. VLM 视觉语言模型：让机器人"看懂指令"

4.1 VLM 的定位与能力边界

VLM 是把视觉和语言对齐的模型，输入图像加文本，输出文本。在机器人系统里，它主要干两件事：一是指令 grounding，把"左边那个红色的盒子"这种指代性描述定位到图像里的具体区域；二是场景问答，回答"桌上有什么""哪个物体离机械臂最近"这类问题。

它的能力边界要说清楚：VLM 能告诉你"杯子在图像左上角"，但不能直接告诉你"杯子在机器人基座坐标系下的三维坐标"。后者需要结合深度信息和标定矩阵换算。很多人误以为 VLM 输出就能直接用于控制，这是不对的。

4.2 指令 grounding 的实现路径

我常用的路径是：VLM 输出目标物体的 bounding box 或分割掩码，然后把这个掩码和 VFM 的分割结果做交并比匹配，取匹配度最高的实例作为目标，再用深度信息反投影得到三维位置。这条链路里 VLM 负责"语义定位"，VFM 负责"精确分割"，两者互补。

prompt 设计上，我会要求 VLM 输出结构化的定位结果，而不是自由文本。比如要求它输出{"target": "红色盒子", "bbox": [x1, y1, x2, y2], "confidence": 0.9}这样的格式。结构化输出便于下游解析，也便于做置信度过滤。

4.3 常见失效场景与应对

VLM 在以下几种情况下容易失效：一是物体描述有歧义，场景里有多个相似物体；二是遮挡严重，目标只露出一小部分；三是光照极端，图像过曝或过暗。应对办法分别是：让用户指令更具体、引入多视角融合、做图像预处理增强。

还有一个隐蔽的坑是 VLM 的"语言偏见"。如果指令说"拿起左边的杯子"，但图像里左边其实没有杯子，VLM 有时会强行在左边找一个最像杯子的东西，而不是告诉你"左边没有杯子"。解决办法是在 prompt 里明确要求模型在目标不存在时输出 null，并做置信度阈值过滤。

5. VLA 视觉语言动作模型：从"看懂"到"做到"

5.1 VLA 的核心思想

VLA 是把视觉、语言、动作端到端建模的模型，输入图像序列加语言指令，直接输出动作序列。它的核心思想是跳过中间的表征转换，让模型自己学习"看到什么"到"做什么"的映射。这条路线的优势是端到端优化，减少了手工设计的中间环节；劣势是数据需求量大，可解释性差。

我理解 VLA 最关键的突破在于"动作 token 化"——把连续的动作空间离散成 token，然后用类似语言模型的方式做序列预测。这样就能复用语言模型的训练范式，把动作生成变成一个序列建模问题。

5.2 动作空间的设计取舍

动作空间设计是 VLA 落地最关键的决策之一。常见的选择有：关节位置增量、末端执行器位姿增量、以及两者的混合。关节空间的动作更贴近底层控制，但泛化性差；末端位姿空间更抽象，泛化性好，但需要逆运动学求解。

我的经验是：抓取类任务用末端位姿增量更合适，因为抓取本质上是末端执行器相对物体的位姿调整；而灵巧操作类任务用关节空间更合适，因为手指的精细动作很难用末端位姿描述。实际系统里往往是分层设计，高层用末端位姿，底层用关节控制。

5.3 数据采集与训练要点

VLA 的训练数据质量比数量更重要。我见过不少团队堆了几万条演示数据，但动作抖动严重、标注不一致，训出来的模型动作很"脏"。数据采集时要注意：演示者的动作要平滑、一致，同一任务的多次演示要在关键节点上对齐，标注要精确到帧。

训练时的一个关键技巧是动作分块预测，也就是一次预测未来若干步的动作，而不是只预测下一步。这样能减少累积误差，动作也更连贯。分块长度我一般设 8 到 16 步，太短了连贯性不够，太长了精度下降。

提示：VLA 模型的泛化能力高度依赖训练数据的多样性。如果只在一种桌面上采数据，换个桌面颜色可能就失效。采集时要刻意覆盖不同的光照、背景、物体摆放，哪怕每个条件只采少量数据，对泛化也有明显帮助。

6. 四类模型的串联与系统集成

6.1 完整链路的搭建思路

把四类模型串起来，我常用的架构是三层：规划层用 LLM 做任务分解，感知层用 VFM 加 VLM 做目标定位和场景理解，执行层用 VLA 做动作生成。层与层之间用结构化消息传递，而不是端到端黑盒，这样每一层都能单独调试和替换。

这个架构的好处是可解释、可调试。哪一层出问题，看对应的中间输出就能定位。坏处是层间接口设计要花心思，消息格式要统一，延迟要控制。我的做法是定义一套统一的任务描述协议，所有层都按这个协议收发消息。

6.2 延迟与频率的匹配

不同模型的推理频率差异很大，LLM 可能几秒一次，VLM 几百毫秒一次，VLA 几十毫秒一次。系统集成时要做频率匹配，不能让快环节等慢环节。我的做法是异步流水线：LLM 规划结果缓存起来，VLM 按需触发，VLA 持续运行做底层控制，三者通过消息队列解耦。

6.3 失败恢复机制

实际系统里模型出错是常态，必须有失败恢复机制。我的做法是在每个环节加置信度检查和超时检查，置信度低或超时就触发重试或降级。比如 VLM 定位置信度低于阈值，就退回让 VFM 做全场景分割再筛选；VLA 执行超时，就暂停并请求重新规划。

7. 常见问题排查速查与实操心得

7.1 问题排查速查表

7.2 几条踩坑换来的经验

第一条：不要一上来就追求端到端。我见过太多团队想直接训一个 VLA 解决所有问题，结果数据不够、调不动、没法调试。分层架构虽然"土"，但能让你快速定位问题，等系统跑通了再考虑局部端到端优化。

第二条：仿真和现实的差距比想象中大。仿真里训好的模型直接上真机，成功率往往腰斩。我的做法是仿真预训练加真机微调，真机数据哪怕只有几百条，对最终效果提升也很明显。

第三条：评估指标要贴近任务。不要只看模型的 loss 或准确率，要看任务成功率、平均完成时间、人工干预次数这些端到端指标。我见过模型指标很漂亮但实际任务成功率很低的案例，根子就在评估指标选错了。

第四条：留好人工接管的口子。再好的模型也有失效的时候，系统设计时一定要留人工接管的接口，关键时刻能切手动，这在实际部署时是刚需。

7.3 后续可以扩展的方向

这套架构跑通之后，我下一步想尝试的是多模态反馈闭环，也就是让机器人在执行过程中持续用 VLM 检查执行结果，发现偏差就即时纠正，而不是等整个任务做完再判断成败。另一个方向是跨本体迁移，把在一个机械臂上训好的 VLA 迁移到另一个构型的机械臂上，这需要解决动作空间对齐的问题。这两个方向我还在摸索，有进展再单独写一篇分享。