我第一次在命令行里跑通一个VLA模型的推理时，第一反应不是“哇好厉害”，而是“这玩意怎么这么像LLM”。输入一段自然语言指令，传入一张摄像头画面，模型吐出一串动作位姿，机械臂就开始动。整个过程不需要写状态机，不需要标定任务栈，也不需要人肉设计奖励函数。直到我尝试把一段比较长的指令喂进去，服务直接提示 invalid prompt，被安全策略拦下——那一刻我才真正意识到，VLA的调用方式既像ChatGPT，又完全不是ChatGPT那回事。
这篇内容适合三类人：想入行具身智能、正在对着“具身智能学习路线”找方向的学生；已经在做机器人控制、想搞清楚VLA（Vision-Language-Action）到底怎么把视觉语言模型接进动作空间的工程师；以及准备“具身智能面试”、需要把VLA原理讲透的求职者。我会从范式转变讲到架构拆解，从Diffusion Model的动作头讲到Prompt的任务接口设计，再带你在LIBERO上完整跑一遍测试，最后聊几个面试高频问题的回答思路。
1. 为什么VLA会站在具身智能的十字路口
1.1 从“手写规则”到“喂数据”：机器人控制的三次转向
传统机器人控制的核心是“建模+求解”：建立运动学模型、动力学模型，然后用工控机去解MPC或LQR。这套方法的优点是可控性强，安全边界清晰，缺点是任务泛化能力极差——换一个物体、换一个背景光照，可能就要重新调参数甚至重新建模。我做过工业机械臂项目，深刻明白“一个螺丝拧一年”这句话不是玩笑，很多时候不是控制器不行，而是你根本没法把“拧螺丝”这件事的所有边缘情况写成规则。
第二次转向是端到端模仿学习。用神经网络直接从像素映射到动作，典型如DAgger、BC等算法。这在仿真环境里效果还可以，但到了真实世界，数据量不够、状态分布偏移严重，稍微偏离训练分布就崩。而且当时的网络结构基本都是CNN+MLP，根本吃不下“语言指令”这种强语义输入，任务只能用one-hot类别编码，等于给每个任务单独训一个模型。
第三次转向就是大模型入场。2022年底到2023年，RT-1、RT-2陆续出现，Google先把语言条件引入机器人策略，再直接把视觉语言模型（VLM）当成策略网络用。这时候“具身智能agent”才真正有了解释——它不再是“感知-规划-控制”三段式拼装，而是把语义理解直接折叠进动作生成里。
1.2 VLA到底解决了什么：把语义压缩进动作空间
VLA的关键词是 Vision-Language-Action，但请记住，它不是“视觉+语言+动作”三个模块的简单拼接，而是把视觉观察和语言指令共同编码成条件，然后在一个网络里直接生成动作。
这意味着三件事：
- 任务描述从“0号任务”变成了自然语言，你可以用任意人类可读的句子指定任务；
- 多任务共享一套参数，不需要为每个任务单独维护策略；
- 语言模型的语义理解能力可以直接迁移到控制，比如“把红色的杯子放在盘子里”，模型不需要你提前告诉它哪个是红色、哪个是杯子。
我个人的理解是，VLA真正的贡献不是“能用一个模型做很多任务”，而是把控制问题重新形式化为“条件生成问题”。这个视角的转变才是后面所有Diffusion、Flow Matching等生成式控制方法能够移植过来的根本原因。
1.3 一个容易被忽略的前提：VLA能吃到的数据长什么样
谈VLA绕不开数据。它的训练数据通常长这样：一段第三人称或腕部相机录制的机器人操作视频，加上对应的语言指令，再加上每一帧的动作状态（通常是7维：3维位置、3维姿态、1维夹爪开合）。
这个数据格式决定了VLA的输入输出边界：输入是图像序列加文本，输出是动作序列。看起来和VLM训练数据差不多，但微妙之处在于——动作序列是连续的高频信号，通常10Hz到50Hz，而语言指令是稀疏的、离散的。怎么把这两者对起来，就是VLA架构设计的核心矛盾之一。
所以你在读VLA综述时会发现，所有模型都在回答同一个问题：动作到底应该以什么形式“长”在语言模型上？这个问题没有唯一答案，这就是为什么市面上有离散动作token派、连续回归派、Diffusion派、Flow Matching派。下面逐一拆。
2. VLA架构逐层拆解：视觉编码器、语言主干与动作头
2.1 视觉编码器：不只是“看图”，而是要把观察变成Token
VLA的输入侧基本沿用VLM（视觉语言模型）的做法。图像先经过视觉编码器，变成视觉token，再和文本token拼接后一起送入语言模型。
视觉编码器常见选择有：
- CLIP系列（OpenVLA用的SigLIP）；
- DINOv2等自监督视觉特征；
- ViT直接微调。
选哪个不是随意的。CLIP特征天然对齐了语言语义，适合需要理解“物体的语义属性”（比如颜色、类别）的任务；DINOv2特征更强调几何结构和物体一致性，适合需要精细操作的场景。实际工程里，很多人会同时抽CLIP和DINOv2的特征然后拼接，这也是很多VLA模型会标注“使用两种视觉骨干”的原因。
一个值得注意的细节是：视觉token的数量直接决定显存占用和推理时延。以OpenVLA为例，SigLIP会把224x224的图像切成256个patch token，序列长度一下就上去了。所以在落地时，很多人会做视觉token降采样或直接减少输入帧数，牺牲一点点成功率换实时性。
2.2 语言主干：VLM承担任务理解，LLM不一定够
主干网络一般有两种思路：
- 直接用预训练VLM微调，比如RT-2、OpenVLA用的是PaLM-E或Llama-2作为语言底座；
- 先通过Projector把视觉特征对齐到语言特征空间，再和文本一起过LLM，比如类LLaVA结构。
这里有一个容易踩的认知误区：不是随便拿一个LLM就能做VLA。语言模型必须理解“空间关系”和“指令意图”，但很多纯文本LLM对空间位置并不敏感。所以在VLA训练里，语言模型部分的参数往往需要解冻和微调，而不是像做RAG那样冻结。我自己实测下来，冻结语言主干去做VLA，指令跟随准确率会明显偏低，尤其在对空间关系的理解上，差得非常多。
也正因为如此，很多VLA论文会强调“使用7B量级以上的模型”，因为太小的语言模型根本装不下足够复杂的语义-动作映射，这也是VLA模型普遍比较大的原因之一。当然，这不等于说小模型没戏，后面在效率优化部分我会再提。
2.3 动作头：VLA和VLM的分水岭
普通VLM输出的是文本token，VLA如果要控制机器人，就必须多一个“动作输出口”，这就是动作头（Action Head）。动作头基本决定了模型的输出形式和控制风格，也是本文后续两章的核心主题。
常见的动作头设计有几类：
- 离散动作token：把动作每个维度离散成若干个bin，当成文本token一样生成，典型是RT-2；
- 连续回归头：直接回归动作向量，简单粗暴，典型是Octo早期版本；
- Diffusion/Flow matching头：用生成模型去噪出动作序列，典型是π0、GR00T N1；
- 混合专家动作头：不同任务类型走不同动作专家，π0给灵巧手和移动基座设计了不同专家，也属于这种。
判断一个VLA模型是否适合你的场景，主要看动作头的设计：如果你只需要6自由度协作臂抓取，离散token或连续回归完全够用；如果需要高频、平滑、多峰的动作分布（比如双手操作、柔性物体操作），Diffusion类动作头明显更可靠。
3. 生成式控制的两条路线：自回归动作Token与Diffusion Policy
3.1 为什么朴素回归做不好机器人控制
很多人第一次接触VLA时会问：既然视觉和语言都能编码，那直接接一个全连接层回归动作不就行了吗？理论上可以，但实践效果很差，核心原因是动作分布不是单峰的。
给你举一个例子：“把盘子推到桌子中央”。人类的操作轨迹可能是从左边推、从右边推、先抬一点再推——多种方式都算成功，动作分布天然是多峰的。如果用均方误差去回归，模型学到的是这些轨迹的平均值，结果往往是一条“什么都不像”的中间轨迹，可能撞到障碍物，或者动作软绵绵地原地磨蹭。这就是所谓“回归到均值”问题。
生成式控制就是绕开“直接回归”的路线，改用生成模型去采样动作，让它能保留多峰分布。再直白一点：传统控制是在解一个函数 y=f(x)，生成式控制是在建模一个条件分布 p(action | observation, instruction)，再从中采样。
3.2 RT-2式自回归：把动作当成语言一样生成
RT-2是这条路线最有代表性的模型。它把动作每个维度的数值离散为256个bin，然后作为一个特殊token追加到输出序列里，动作生成就被转化成和文本生成一样的next token prediction问题。
这么做的好处非常明显：整个框架极其简单，不需要额外设计输出头，VLM的训练和推理管线直接复用，语言模型说token的本能直接变成说动作。缺点同样明显，一是离散化必然带来精度损失，7自由度动作要离散成256个bin，坐标精度肯定不如连续值；二是自回归生成是逐token解码的，动作序列一长，推理时延线性增长，机械臂控制器通常要求10Hz以上的刷新率，自回归很吃力；三是误差累积，动作token是一个一个蹦出来的，前面token错一点，后面就会越来越偏。
不过这不妨碍RT-2成为教科书级工作。没有它，后续所有“VLA就是把动作当成token”的思路都不会出现。
3.3 Diffusion Policy：从图像生成迁移到动作生成
Diffusion Model大家不陌生，Stable Diffusion画图就是这套东西。它的核心逻辑是：先定义“加噪”和“去噪”两个过程，训练时往动作序列里逐步加高斯噪声，直到完全变成噪声；推理时从纯噪声出发，在视觉-语言条件的引导下逐步去噪，还原出动作序列。
为什么Diffusion适合动作生成？因为它本身就是为“多峰分布”设计的。生成图像时它能画出同一只猫的无数种姿势，生成动作时它自然也能生成同一指令下的多种合理轨迹。另外，Diffusion去噪过程是在整个动作序列上迭代修整的，不是像自回归那样一个token接一个token地硬憋，因此出来的动作天然更平滑、更连贯。
具体到实现层面，Diffusion Policy通常用一个U-Net或Transformer作为去噪网络，输入是“带噪动作+当前时间步t的embedding+视觉语言条件”，输出是噪声估计。训练用的损失函数就是简单的MSE：预测噪声和真实噪声的差。
代码层面，核心训练循环大概长这样：
# 伪代码，理解为主 def train_step(batch): obs = batch["obs"] # 视觉观测 lang = batch["lang"] # 语言指令 action = batch["action"] # 真实动作序列，shape=(horizon, action_dim) # 随机采样时间步 t = torch.randint(0, num_timesteps, (action.shape[0],)) # 对动作加噪 noise = torch.randn_like(action) noisy_action = q_sample(action, t, noise) # 前向加噪 # 条件编码 cond = encode(obs, lang) # 用网络预测噪声 pred_noise = denoiser(noisy_action, t, cond) # MSE损失 loss = F.mse_loss(pred_noise, noise) loss.backward()推理时用DDIM等采样器，一般10～20步就能出比较稳定的动作序列。从真实部署角度，我建议先试20步，效果稳定后再往10步压，不要一上来就追求低步数，动作输出抖动会很严重。
3.4 Flow Matching 与 π0：Diffusion的“快进版”
Diffusion虽好，但迭代步数多、推理成本高，这在机器人实时控制里很致命。Physical Intelligence在π0里用了Flow Matching替代传统Diffusion，思路可以理解为“让噪声以直线路径流向数据”：Diffusion的去噪路径是曲线，需要很多步去修正；Flow Matching学习的是一个速度场，让样本沿着直线从噪声分布流到数据分布，自然步数更少。
实际效果就是，π0能用4～10步就完成动作生成，精度和稳定性还比很多几十步的Diffusion更好。这也是为什么我看到越来越多论文和项目把动作头从DDPM改成Flow Matching，说它是“Diffusion的快进版”虽然不完全严谨，但抓住了核心差异。
π0还有一个工程细节很值得学：它给不同类型的动作（移动基座、机械臂、灵巧手）分配了不同的动作专家，各自用Flow Matching生成，然后由一个统一的Transformer调度。这类“专家混合”设计让同一个模型可以输出异构动作，比如底盘用二维速度、夹爪用开合角度、机械臂用七维位姿，互不干扰。这比硬把所有动作塞进同一个向量要合理得多。
4. Prompt在VLA里不只是提示词：任务接口的工程学问
4.1 指令措辞如何影响动作分布
大语言模型时代大家习惯了“prompt engineering”，觉得多试几次措辞总能调对。但VLA里的Prompt承担的是任务接口，不是角色设定——它直接决定模型去哪个动作分布里采样。
我做一个真实对比给你看。同一段操作视频，用“put the bowl on the plate”训练，模型学到的是“拿起碗、放到盘子上”；换成“move the bowl to the plate”，模型学到的可能是“推动碗直到它到达盘子”。语义几乎一样，但动作模式差很多。所以在VLA里，prompt不是随便写写就行，它必须和训练数据里标注指令的方式保持一致。这也是为什么我们在实际项目中会严格规定指令模板，不允许用户自由发挥。
对新手，我建议参考Romo、RT-2这类开源数据集里的指令写法：先写主谓宾结构，再加空间关系或目标状态。比如“pick up the red mug on the table and place it in the tray”这样的指令，模型理解起来远比“handle the mug”容易。
4.2 推理时的模板一致性，比想象中更重要
很多VLA模型在训练时会把指令套进一个固定的模板，比如“[INST] {instruction} [/INST]”或者“Task: {instruction} Action:”。如果你在推理时换了模板，比如多加了一个“please”，或者把指令放在不同位置，效果可能会莫名其妙地掉点。
原因在于，语言模型对指令位置的注意力分配是训练出来的。训练时指令总在序列开头，推理时突然放到中间，模型对任务语义的感知就会变弱。我自己就踩过这个坑：原本在LIBERO上成功率能到80%，为了“更自然”地在指令后面加了一句“please do it”，成功率直接掉到60%出头。排查了整整两天，最后发现就是模板不一致。
所以在VLA落地上，我强烈建议：
- 尽量复用模型自带的指令模板，不要自创；
- 如果需要多语言或自定义格式，先做一批数据做微调，不要直接硬套；
- 指令长度控制好，很多VLA模型对token数量有上限，超出后表现为输出动作异常而非报错，特别迷惑人。
4.3 部署时常见的Prompt翻车现场
除了模板问题，部署时还会踩到两类和Prompt相关的坑。
第一类是安全过滤器误伤。在一些云端推理服务里，输入的文本会经过一层安全策略检查，如果你的指令里含有某些词，服务会直接拒绝，报 invalid prompt 之类的错误。对于机器人控制这种场景，指令经常包含“拿刀”“切”等动作词，很容易被误杀。解决的办法不是绕过过滤器，而是改写指令用更安全中性的表述，比如“pick up the cutter”比“cut the fruit”更容易通过，同时也不影响任务本身的语义。
第二类是长指令截断。VLA模型的输入序列往往包含多帧图像，留给文本的空间本来就有限。如果指令写得太长，后面的内容会被截断，尤其是关键的目标物体往往写在句尾，一截就没了。我的做法是：重要信息前置。把核心任务动词和目标物体放最前面，修饰性描述往后放，这样即使被截断，模型还能拿到主干信息。
5. 在LIBERO上把VLA跑起来：环境准备与调参心得
5.1 LIBERO到底在测什么
LIBERO是机器人操作领域目前最常用的VLA基准之一。它不是单一任务集，而是一组精心设计的任务套件，核心是测试模型在不同维度上的泛化能力：
- LIBERO-Spatial：测试空间关系理解能力，比如“把碗放在盘子左边/右边”；
- LIBERO-Object：测试物体属性理解能力，比如“把红色的物体放进碗里”；
- LIBERO-Goal：测试长程任务规划能力，任务步骤更多，目标状态更复杂；
- LIBERO-100：一个包含100个任务的综合性大套件，测试多任务学习能力。
LIBERO用的是仿真的桌面机械臂平台，基于MuJoCo物理引擎，每个任务都能给出确定性的成功判定。对于研究者和初学者来说，LIBERO最大的价值是让你在一个可控环境里比较不同VLA模型，不需要买真实机械臂就能复现论文结果。
5.2 从零跑通一次评估的完整流程
我以OpenVLA在LIBERO上的测试为例，给你梳理一遍完整流程。
第一步，准备环境。推荐用Anaconda创建独立环境，Python版本3.9或3.10，避免系统Python环境被污染。
conda create -n libero python=3.9 conda activate libero pip install libero如果你是在命令行终端里执行，注意不要用Anaconda Prompt自带的base环境直接装，依赖冲突的概率非常大。
第二步，安装依赖。LIBERO依赖robosuite、MuJoCo等仿真套件，其中robosuite建议使用LIBERO官方fork的版本，直接装官方版本可能出现API不兼容。
pip install robosuite pip install mujoco这里我特别想提醒一个常见问题：很多人装完之后运行脚本，报错找不到OpenCV相关模块，或者提示 libGL.so.1 缺失。这不是环境没装好，而是系统缺图形库：
sudo apt-get update sudo apt-get install libgl1 libglib2.0-0装完再跑一般就能过。macOS上类似问题可能表现为cv2导入失败，需要确认conda环境里有opencv-python且和python版本匹配。
第三步，下载数据和模型权重。LIBERO数据集中包含人类遥操作的演示数据，评测时需要加载对应的checkpoint。如果网络访问国外模型库比较慢，可以配置镜像源，比如设置 HF_ENDPOINT 环境变量指向国内镜像，能省非常多时间。
第四步，跑评估脚本。以OpenVLA为例，它的评估命令大致是：
python experiments/robot/libero/run_libero_eval.py \ --model_family openvla \ --pretrained_checkpoint openvla/openvla-7b \ --task_suite libero_spatial \ --num_steps_wait 5 \ --embedding_cache跑起来之后，MuJoCo窗口会弹出，你能看到机械臂根据指令执行任务的全过程。最终终端会输出成功率，比如“Success rate: 76/100”。
5.3 实测中反复踩到的几个坑
我在多个环境里跑过LIBERO评测，下面这些坑基本每次都能遇到：
显存溢出（OOM）。7B模型跑推理，即使batch size为1，显存占用也经常接近10GB。如果你的显卡只有8GB显存，建议先打开半精度推理，或把图像分辨率降低。不要一上来就追求大模型，先用小模型把流程跑通更重要。
动作频率和控制频率不匹配。LIBERO的仿真控制频率一般比模型输出频率高。模型的推理输出是10Hz的话，仿真里可能需要做动作插值。没有插值的话，机械臂会一卡一卡地动，成功率直接下滑。解决方法是观察每一步的等待时间和执行时长，必要时在底层循环里添加零阶保持或线性插值。
评测随机种子影响结果。LIBERO的任务初始化会引入随机性，同一个模型用不同seed跑，成功率可能有5～10个百分点的波动。所以论文里报告的数值基本都是跑多个seed取平均，你自己测的时候也别用单次结果下结论，至少跑3个seed取平均。
关于成功率，还有一个容易忽略的细节：任务必须运行到终止条件才能判断成功或失败，部分模型在任务完成后会继续乱动，把原本成功的状态弄得一塌糊涂。开源模型里如果没有做终止检测，评测时你会看到明明已经完成了任务，但因为机械臂没有停止，最后被判失败。处理办法是在评测脚本里加入提前终止逻辑，判断目标条件达成后立刻停止仿真。
6. 学习路线与面试高频问题：从入门到能聊透VLA
6.1 学习路线：从Transformer到VLA复现
很多人在知乎或社媒上问“具身智能VLA怎么学”，我的建议非常明确：不要一上来就读VLA最新论文，你会被一堆技术名词淹没。按这条路线走会稳很多：
第一步，打底。把Transformer和Diffusion Model吃透，至少要知道自注意力是怎么算的、DDPM的前向加噪和反向去噪在做什么、文本条件是怎么注入的。这个阶段用李沐的Transformer论文精讲和DDPM原文配代码就够。
第二步，看VLM。VLA的语言和视觉编码部分是从VLM搬过来的，你需要理解CLIP的对齐方式、LLaVA的结构。至少自己跑一遍LLaVA的推理，知道视觉token是怎么进入语言模型的。
第三步，读VLA论文。严格按照时间线读：RT-1 -> RT-2 -> Octo -> OpenVLA -> π0。不要跳着读，每一步的演进逻辑是递进的。读的时候带着“动作头到底怎么设计的”这个问题，比通篇泛读有用一百倍。
第四步，动手复现。打开LIBERO，先拿一个现成模型跑通评测，然后把Diffusion动作头替换成离散token动作头，对比差距。改一遍动作头，你对VLA的理解会超过不动手的人好几倍。
6.2 面试中关于VLA的高频问题与回答思路
结合我看到的面试题和大家被问懵的案例，整理几道高频题和参考思路：
“VLA和VLM有什么区别？” 核心答法：VLM输出语言token，VLA输出动作；VLA在VLM基础上增加动作头，训练数据从图文对变成“图像+指令+动作”三元组；VLA的目标不是生成描述，而是生成可执行控制信号。
“为什么用Diffusion Policy而不是MLP直接回归动作？” 核心答法：动作分布是多峰的，回归会退化为平均动作；Diffusion建模条件分布，可以采样多种合理轨迹；Diffusion的迭代去噪过程天然平滑，适合控制信号。
“离散动作token和连续动作Diffusion哪个好？” 核心答法：离散token简单、与LLM兼容，但有量化误差和推理延迟；连续Diffusion精度高、平滑性好，但需要额外设计采样器；工业部署上我倾向continous + flow matching，研究对比实验就都做。
“VLA训练数据从哪来？” 核心答法：三类来源——人类遥操作数据、仿真数据自动生成、互联网视频中提取动作信息。现实落地中仿真数据占大头，因为遥控采集成本高、覆盖率低。
“一个具体项目：给你一个机械臂抓取任务，你怎么部署VLA？” 核心答法：先确认场景是否有充足数据，再选择合适的动作头，然后设计固定指令模板，接着在仿真里评测，最后迁移到真机加安全限制（如动作限幅、急停）。
写在最后的一点个人体会
把VLA从论文变成能跑起来的系统，这个过程最大的收获不是“我会调模型了”，而是建立了一种新的问题视角：控制不一定非要解优化问题，也可以用生成模型“画出”动作序列。Diffusion Policy、Flow Matching这些方法看似花哨，本质都是在回答同一个问题——如何让机器人的行为分布更像人类演示的数据分布。
我自己在LIBERO上跑通第一个VLA模型时，最强烈的感受是：这套东西的可解释性比传统管线差很多，出错了你很难说是视觉认错了、语言理解错了还是动作生成错了。所以如果你打算在真实机器人上用VLA，一定记得给系统加安全垫层，把动作限幅、碰撞检测、急停这些都保留下来，让神经网络做决策，让传统控制兜底。
真要做这块，别怕踩坑。环境装不上、指令模板不一致、动作头调不收敛，这些我都经历过，而且是反复经历。能把一个开源的VLA模型在本地从零跑到出结果，你对具身智能的理解就已经超过大多数人。再把动作头换一遍，你就可以去面任何一家招VLA工程师的团队了。
