世界模型、VLA与WAM：机器人学习三条技术路线对比与选型指南

做机器人学习这几年，大家应该都有一个共同的感受：模型的名字是越来越像科幻设定了。世界模型（World Model, WM）、视觉-语言-动作模型（Vision-Language-Action model, VLA），还有夹在中间、看起来像缝合怪的世界动作模型（World Action Model, WAM），隔三差五就出现在论文标题、厂商发布会和各家的招聘 JD 里。尤其是最近，VLA 的话题热度明显上来了，从 RT-2 到 OpenVLA，再到 π0 和 NVIDIA 的 Alpamayo，连自动驾驶圈子都在往 VLA 上靠。与此同时，世界模型那边也有 Cosmos、Genie 这些"视频生成即仿真"的大动作。两条路线看起来都很火，但很多人其实没搞明白：它们到底是不是一回事？各自主解决什么问题？真实落地的时候，选哪个更靠谱？

这篇文章我不想照着论文 PDF 念，而是从一个非常朴素的问题出发：一个机器人要完成一次抓取或者一次变道，中间到底发生了什么？围绕这个问题，我会把 WM、WAM、VLA 三条技术路线的设计动机、网络结构、训练方式和适用场景掰开揉碎，最后给出一套可以拿去直接用的选型思路。已经入坑的工程师可以从里面找一些排坑经验，刚接触这个方向的研究生也能靠这篇文章快速建立起对三种模型的整体认知。

1. 三条路线都在解决同一个问题：动作从哪来

1.1 传统机器人流程的瓶颈在哪里

在深度学习方法大规模进入机器人领域之前，一个典型的机器人系统长这样：感知模块用相机和激光雷达输出物体的位姿信息，规划模块在构型空间里搜索一条无碰撞轨迹，控制模块再把轨迹跟踪成关节力矩。这套"感知—规划—控制"的模块化流水线非常成熟，工业界用了很多年，但它有一个很要命的断裂带：每个模块都是独立开发、独立调优的，误差会在模块之间逐级放大。感知阶段把物体位姿估偏了 3 厘米，规划阶段就算再精确，末端执行器也会抓空；规划输出了一条完美轨迹，控制器一抖动，整个任务照样失败。

更麻烦的是，模块化系统很难应对开放世界。你给机械臂写了一条"抓取圆柱体"的规则，它就只能在训练它的那个场景里抓圆柱体。换个光照、换个背景、换一种从来没见过的杯子造型，传统感知模型可能还能勉强定位，但规则和轨迹完全泛化不过去。这个问题在自动驾驶上暴露得更彻底——你不可能给道路上所有 corner case 写规则。

所以学术界和工业界开始思考一个更激进的问题：能不能砍掉中间那些手工设计的模块，让模型直接从传感器输入映射到动作输出？这个思路催生了端到端策略，而端到端这条路继续分化，最后长出了我们今天要聊的三根枝杈：WM、WAM、VLA。理解它们的分化逻辑，比背模型名字更有价值。

1.2 看、想、做：三种模型的定位差异

用一句话概括三者的分工：

• WM 管的是「想」。它建模环境动态演变的规律，输入当前状态和动作，输出未来状态。未来状态可以是像素空间的一帧图，也可以是压缩后的隐向量。
• VLA 管的是「看 + 做」。它把视觉观测和语言指令直接映射成动作，中间不显式建模环境变化。
• WAM 管的是「想 + 做」。它同时保留对未来状态的预测能力，又把预测结果用于当前动作的生成，是前两条路线的融合形态。

打个比方：WM 像是你闭上眼睛在脑子里推演"我伸手去够那个杯子，会不会把旁边的花瓶碰倒"；VLA 像是熟手司机，看到前车刹车灯亮了，脚已经踩上制动踏板，根本不需要有意识地推演"我如果不刹会怎样"；WAM 则是"边模拟边行动"，脑子里始终有一个预演器在实时运行，每做一个动作之前先飞快地自问一句"如果这样做，下一步世界会变成什么样"。

这三者的定位差异，直接决定了它们在网络结构、损失函数、训练数据上的巨大差异。下面一个一个拆。

2. WM（世界模型）：让机器人在想象中试错

2.1 世界模型到底在建模什么

先给一个严格但不绕的定义。给定当前状态 s_t 和动作 a_t，世界模型学习环境的转移函数 p(s_{t+1} | s_t, a_t)，也就是"环境下一步会变成什么"。如果任务里还有奖励信号，它也可以顺带学习奖励模型。但在深度学习的语境下，世界模型通常不是一个显式的概率转移矩阵，而是一个深度网络，用来拟合下一帧观测，或者下一帧观测的隐空间表征。

这里有一个特别关键的分叉：世界模型预测的是像素空间，还是隐空间。这两者的工程含义完全不同。

像素空间预测的代表是视频生成模型，比如 NVIDIA 的 Cosmos、Google 的 Genie 以及各种基于扩散模型的 world simulator。它们输入一段历史视频帧和动作指令，输出未来视频帧。这种做法的好处是预测结果人类可以直接看，非常直观，拿来做数据生成和策略预训练特别方便；坏处是计算量惊人，而且像素级误差对决策来说其实是冗余的——我们只关心"杯子有没有被碰倒"，并不关心杯子上第 137 个像素是什么颜色。

隐空间预测的代表是 Dreamer 系列模型。它先用 VAE 把高维图像观测压缩成低维隐状态，然后专门学习隐空间的动态转移，也就是 latent dynamics。决策和规划都在隐空间里做 rollout，效率和稳定性都比像素空间好得多。代价是失去了人类可读性，你很难直观判断模型"想象"出来的画面是否合理。

如果你做的是强化学习闭环，我建议优先考虑隐空间 WM；如果你做的是仿真数据生成或者可交互环境构建，那像素级 WM 更合适。这两者不是竞争关系，但工程上的取舍完全不同。

2.2 代表工作与关键技术点

世界模型领域这几年最有影响力的进展，按我自己的标准排序是这样的：

• Dreamer 系列（V1/V2/V3）：model-based RL 的标杆。它在 latent 空间里学习环境动态，用 imagination rollout 来训练 actor-critic，样本效率远超 model-free 方法。你想想，真实机器人交互一次要花多少时间、冒多少风险，能在模型脑子里"想象"出一万次试错，这个优势在真实机器人任务里几乎是决定性的。
• MuZero：它不算严格意义上的视频级世界模型，但它的核心思想是"隐式学习"一个与奖励和值函数对齐的转移模型。MuZero 在围棋、国际象棋和 Atari 上的表现证明了：不显式建模像素，只在抽象空间里做规划，照样能取得顶级决策能力。
• Genie / UniSim / Cosmos 这类视频生成型世界模型：它们的卖点不是直接控制，而是给机器人和自动驾驶生成可交互的仿真场景。Cosmos 官方定位就是 physical AI 的 world foundation model，主打"给物理智能体提供世界模拟能力"。

我特别想强调一点：视频生成型世界模型在 pipeline 里的角色，更接近一个"数据引擎"而不是决策器。你用它生成海量分布外场景，用来预训练策略模型、做闭环评测、或者给人类标注员提供仿真素材，这比让它直接输出动作靠谱得多。

2.3 WM 的强项与软肋

先说强项。第一，样本效率高，这是世界模型最大的本钱。在 model-based RL 里，凭空想象出来的经验（imagined experience）可以反复复用，极大减少真实交互需求。第二，具备前瞻能力，能回答"如果我执行这个动作，会发生什么"，这是高级智能的基本组件。第三，支持反事实推理和策略评估，比如"要是刚才没抓稳会怎么样"，这种能力 VLA 天然不具备。

但软肋同样致命。第一是误差累积，也就是 compounding error。预测一步没问题，预测十步还行，预测一百步，误差会像滚雪球一样指数级放大。像素空间模型更明显，两步之后的画面基本就开始糊了。第二是"学到了假规律"。世界模型是从纯数据里学环境动态的，训练数据一旦缺少关键物理规则（比如质量、摩擦系数、物体间的遮挡关系），它就会学出一个"看起来合理但物理错误"的动态。拿这种 WM 去做数据生成，生成的仿真数据和真实物理压根对不上，sim-to-real 直接翻车。第三是训练不稳定，隐空间 WM 的损失函数通常由 reconstruction loss、dynamics loss、reward loss 好几项组成，权重怎么调非常玄学。我见过不止一个团队，模型结构没有问题，硬是按在 loss 权重上一调就是两个月。

3. VLA（视觉-语言-动作模型）：把「看」和「做」焊在一起

3.1 VLA 的模型结构

VLA 的基本思想非常直接：把机器人的策略建模成一个条件分布，输入是图像、语言指令、历史动作，输出是当前动作。它的底座是一个多模态 Transformer，视觉 token 由 ViT 编码器切patch得到，语言是文本 token，动作也转化成 token 或者是连续向量，全部统一扔进自注意力层里处理。

这里最关键的设计决策是"动作怎么表示"，它直接决定了训练难度和输出精度。早期 RT-2 的做法是把动作离散化成一个个动作 token，跟文本 token 一起做分类任务，好处是能复用语言模型的整个预训练结构，坏处是离散化会损失动作精度，毕竟机器人控制需要的是连续力矩和连续位置。后来的 π0 改用了 flow matching 的动作头，直接在连续空间里生成动作，精度上去了，训练也更稳。这也是我很推荐大家关注 π0 的原因——它在动作表示上的选择体现了 VLA 从"能跑通demo"到"能部署到真实机械臂"的必然技术演进。

另一个关键点是"一切皆 token、一切皆序列"的设计让 VLA 可以直接继承互联网上大规模预训练的视觉-语言模型先验。你用几个月的网图文数据把底座训好，再拿几十万条机器人轨迹去微调动作头，模型天生就"知道"杯子是什么、鸡蛋是什么、"轻轻拿起"是什么意思。这是 VLA 相对于传统端到端策略模型最核心的竞争力。

3.2 代表性模型盘点

• RT-2：Google 的里程碑工作。把 PaLI-X / PaLM-E 这样的视觉语言模型改造成机器人策略，在动作输出层加上 action token。它证明了"用互联网知识提升机器人控制"这条路可行，也让整个领域意识到：语言模型不是只会聊天，它内部的常识对机器人决策有大用。
• OpenVLA：开源社区的代表。基于 Prismatic VLM（底座是 Llama 2 7B 加视觉编码器）微调得到。7B 参数，一张 A6000 就能推理，是目前学术实验室最常用的 baseline。它是很多论文对比的锚点。
• π0（pi-zero）：Physical Intelligence 在 2024 年底开源的工作。用 flow matching 动作头处理连续控制信号，支持双臂和灵巧手，真实机器人上的泛化性表现不错。现在不少机器人创业公司都在它基础上做领域微调，属于"拿得出手"的开源底座。
• NVIDIA Alpamayo：面向辅助驾驶的开源 VLA 推理模型。它把 VLA 的思路搬到了车上，输入前视摄像头画面和导航指令，直接输出驾驶行为决策。这是 VLA 从实验室机械臂走向自动驾驶载具落地的一个标志性探索。

看到没，VLA 这套范式已经不局限于"桌子上抓杯子"了，它在往自动驾驶、移动操作这些大尺度场景渗透。这也是为什么我说现在是了解 VLA 的最好时机。

3.3 VLA 的落地问题

网络结构好看，但真正落地你会踩一堆坑。我按杀伤力排序：

• 数据策略失衡。VLA 的语言能力是从互联网上继承来的，但动作预测头是随机初始化的。微调阶段如果动作数据不够，会出现一种很诡异的割裂状态：模型能完美回答"这个场景里有几个物体"，但让它输出正确动作就彻底抓瞎。动作头的收敛对数据质量极其敏感，数据不够的情况下，模型只会变成一个"话痨"。
• 实时性压力。7B 参数的模型，在边缘设备上单次推理动辄几百毫秒到几秒。机器人控制闭环通常要求 10Hz 以上的频率，你必须做量化、剪枝、动作降频，每一步都是一轮拉锯战。很多团队模型效果很好，一上真机就废，卡在推理速度上。
• 评测难度大。VLA 领域有个公开 benchmark 叫 Libero，里面包含一系列桌面操作任务，专门用来测语言条件泛化能力。但 Libero 任务相对简单，在 Libero 上取得高分，离真正产线稳定运行还差着十万八千里。评测迁移问题现在已经是 VLA 社区争论最激烈的话题之一。

4. WAM（世界动作模型）：在预判与执行之间建一条双向通路

4.1 WAM 想解决的问题

WAM（World Action Model，世界动作模型）并不是某一个特定模型的名字，而是一类架构取向。它出现的原因非常朴素：VLA 直接把"看"映射到"做"，一步到位，但它缺少对"如果做了什么会怎样"这种因果关系的显式预判；WM 有强大的预判能力，但它本身不是一个策略模型，不会输出动作，没法闭环控制。那能不能把两者的优势放到同一个模型里，联合训练？

WAM 的答案是可以。它的网络里同时存在一个"未来状态预测分支"和一个"动作解码分支"，训练时既优化 next-state prediction loss，又优化动作回归或者模仿学习 loss。这样一来，模型既能像世界模型一样想象未来，又能像 VLA 一样输出可执行的动作。用一句大白话总结：WAM 在输出动作之前，被强制要求先想清楚"世界在下一步会变成什么样"。

4.2 典型设计：预测网络加动作头

WAM 的常见设计方案可以归纳成三层架构。第一层是感知编码层，视觉编码器提取当前观测特征，语言编码器编码任务指令，也可以把历史动作序列一起编码进去。第二层是世界模型层，用一个 dynamics head 预测未来若干步的隐状态或者关键帧特征。这个 head 既可以是 Dreamer 那种隐空间 rollout 网络，也可以是视频预测模型，看你对计算资源的忍耐程度。第三层是动作解码层，基于当前特征和预测出来的未来特征，解码出当前动作。动作解码可以是简单的 MLP 回归，也可以上 diffusion policy 或者 flow matching，后者更适合高精度连续控制。

训练损失一般是多项加权求和，概念上长这样：

for batch in dataloader: obs, lang, actions, next_obs = batch # 1. 感知编码 feat_obs = vision_encoder(obs) feat_lang = lang_encoder(lang) # 2. 世界模型分支：预测未来状态 pred_next = dynamics_head(feat_obs, feat_lang, actions) loss_dyn = mse_loss(pred_next, target_next) # 3. 动作分支：基于当前和未来状态预测动作 pred_act = action_head(feat_obs, feat_lang, pred_next) loss_act = flow_matching_loss(pred_act, actions) # 4. 联合优化 loss = lambda_dyn * loss_dyn + lambda_act * loss_act loss.backward() optimizer.step()

这段伪代码里，lambda_dyn 和 lambda_act 的权重配比非常敏感，是 WAM 训练里最容易翻车的点。lambda_dyn 太大，模型会花全部精力去当"算命先生"，动作输出敷衍了事；lambda_act 太大，未来状态预测分支形同虚设，WAM 退化成普通的 VLA。通常的做法是先固定 lambda_act，然后从小到大地扫 lambda_dyn，以动作任务的成功率为主要指标选点。

最能体现 WAM 思想的代表工作是 UniPi（Universal Planning Interface）。它用视频生成的方式做"planning as inference"——先让模型根据文本指令生成"机器人完成任务"的未来视频，再从生成的视频里逆推动作。生成视频是"想"，从视频里提取动作是"做"，两者通过同一个文本条件串联起来，非常优雅。虽然 UniPi 的具体实现更偏视频生成一些，但它把"预判与执行"放到一个模型里联合建模的思路，正是 WAM 的核心精神。

4.3 与 WM 和 VLA 的本质区别

再帮大家把界限划清楚。WAM 和 WM 的区别在于：WM 只学环境动态，不负责动作生成，它是一个环境模型；WAM 的输入里有观测和指令，输出里必须包含动作，它是一个策略模型。WAM 和 VLA 的区别在于：VLA 直接输出动作，中间不强制做过未来状态的显式表征；WAM 在输出动作之前，强制模型先预测未来状态，并且把预测结果作为动作解码的输入条件。

这个"强制先想再做"的设计，既是 WAM 的灵感来源，也是它的代价。好处是模型被迫去理解环境里的物理因果关系，泛化性和长期规划能力更强；坏处是训练更复杂、推理开销更大，而且未来状态预测的误差会直接污染动作输出。如果 dynamics head 预测得不准，WAM 的错误模式会是"一步错、步步错"，甚至比 VLA 的直出更不稳定。

5. 把三种模型放到同一张桌上：九个维度横向对比

5.1 关键维度对比表

为了方便大家在方案评审时快速对照，我整理了一张常用来做技术选型的表，覆盖算法设计到工程落地的九个核心维度：

先声明两点。第一，这张表说的是"典型情况"，不排除某些具体模型在单项上表现反常；第二，不同维度之间往往存在权衡关系，比如 VLA 泛化性好很大程度上是拿样本效率换来的，WAM 规划能力强是拿推理开销换来的。选型的时候不要单看一两个维度，要看"你的场景最缺哪个能力"。

5.2 用三个真实场景检验选型逻辑

泛泛而谈没有意义，我们拿三个具体场景来试一下。

场景一：仓储机械臂拣选。SKU 动辄上千种，任务指令由 WMS 系统实时下发，物体形态千奇百怪。这个场景的核心矛盾是"泛化到从来没有见过的物体"，动作精度要求高但原本就有人类的拣选数据可以模仿。这种场景的首选就是 VLA，尤其是 π0 或者 OpenVLA 这类能基于开源底座做领域微调的模型。互联网预训练带来的物体概念理解，在这里是降维打击。

场景二：自动驾驶或者室内移动导航。核心矛盾不是"抓得准不准"，而是"安全"和"长时程决策"。你需要的不是快速执行动作，而是"如果我不刹车，三秒后会怎样"这样的后果推演。这种场景显然更适合 WM 或 WAM。业界在做安全决策和闭环评测时，也更倾向于用显式的世界模型做仿真推演和规划验证。NVIDIA Alpamayo 是 VLA 在驾驶场景的一次重要尝试，但真正负责安全兜底的那一层，目前还得靠规则和显式模型。

场景三：高校和科研实验室。探索"机器人如何从经验中学习的机制"，不做商业交付，没有实时性 KPI。这种场景特别适合做 WAM，因为 WAM 把"理解因果"和"学会动作"放在同一个框架里端到端训练，学术贡献点和故事性都很饱满，发论文的价值密度高。

记住一句话：没有银弹。拿 VLA 硬做长时程规划，你会被误差累积折磨；拿纯 WM 去做灵巧抓取，你会发现动作生成还得自己再造一套 policy。

6. 真实项目里的选型顺序与排坑手册

6.1 我自己用的四步选型决策流程

这几年陆续给几个机器人团队做过技术咨询，我一般用四步走的方法帮他们做技术选型。

第一步：明确瓶颈。先问自己：当前系统最缺的是什么？如果是"新物体泛化能力不足"，往 VLA 方向走；如果是"安全规划做不好、corner case 处理不了"，往 WM 方向走；如果两者都要且你有充足的算力和数据预算，再考虑 WAM。

第二步：盘数据家底。VLA 需要海量多模态数据——图片、指令、动作三元组。如果你的数据仓库里只有几万条单任务轨迹，训练 VLA 基本是送人头。这种条件下，更务实的方案是用现成的视觉语言模型做感知，再配合传统运动规划，先上线跑起来。

第三步：盯部署约束。把推理时延、算力上限、是否边缘设备这三个数写死在需求文档里。7B 的 OpenVLA 和 300M 的轻量策略，在真实产线上的体验差着一个数量级。如果边缘设备只有 20W 功耗，那就算 VLA 效果再好，你也得先做量化蒸馏再说。

第四步：评估要前置。不要等项目快结束了才上 benchmark。从第一周开始就把评测环境搭起来，每次改动都完整跑一遍，把"训练两星期才发现方向错了"这种惨案扼杀在摇篮里。

6.2 数据、评测和训练中的实践清单

讲几个我看到无数人反复在踩的坑，每一项都有真金白银的教训。

• 动作数据与相机帧率对齐。VLA 微调时，动作数据和图像帧率必须硬件同步。公开数据集通常已经对齐了，但你自己的真机采集如果忽略了同步问题，模型会学到"观测和动作错位"的坏习惯，表现就是一到高速动作就颤抖。
• 数据增强要克制。VLA 对光照、平移这类视觉变换确实敏感，但过度做颜色增强反而会破坏 ViT 在预训练阶段学习到的统计分布。我的经验是先不加任何增强把 baseline 跑通，然后逐个加，每加一个都回测一次，不要一步到位上最强 augment。
• Libero 只是及格线。在 Libero 上刷到 90 分以上的成功率，只说明模型的基本框架是对的。真实环境的开放性、干扰项、物理引擎差异都会让分数大幅缩水。把 benchmark 当排错工具，别当成军功章。具体的做法是先把 checkpoint 转换成推理格式，用 benchmark 提供的接口接入任务环境，按成功率和平均步数两个维度跟踪，失败案例必须输出成视频逐帧看。
• 世界模型训练一定要做可视化验收。定期把模型预测的未来三帧、未来十帧可视化出来看。loss 正常下降但画面模糊、画面崩坏的情况非常常见，这通常意味着模型在做"平均化未来"而不是"理解未来"。剪掉不真实的 building rollouts，再决定要不要继续加大训练预算。
• WAM 的权重配比要单独做实验。别指望一套 lambda_dyn 和 lambda_act 在所有任务上通用。抓取任务和导航任务最优配比可能差出好几个量级，我建议把配比搜索当成一个独立超参任务来做，别看它不起眼，它对最终效果的影响经常比模型结构还大。

6.3 关于技术路线收敛的个人判断

最后说点私货。我目前接触到的项目里，真正跑出商业效果的方案，绝大多数不是"纯 VLA"或者"纯 WM"，而是混合架构：用 VLA 做高层任务理解和动作粗规划，用轻量 WM 做局部安全校验和异常检测，底层再用传统控制器做执行跟踪。这个三层结构让我想起人自己——大脑皮层想任务，小脑和前庭做平衡，脊髓做反射。把不同尺度的智能放在不同层级的模型里，而不是一个模型包打天下，是当下工程性价比最高的路线。

另一个观察是：最近越来越多的 VLA 论文开始加入"未来帧预测"这个辅助任务，或者在训练时引入视频生成做数据增强。这其实就是 WAM 的思想在悄悄渗透。我认为未来的机器人基础模型不太会继续分成 WM 和 VLA 两个阵营，而是会收敛到"带世界模型约束的多模态动作模型"，也就是 WAM 方向的进化版。现在开始投入 WAM 方向的研究者和工程师，大概率能吃到一波先发红利。当然，这只是我个人基于项目实践的一点判断，技术演进从来不会完全按预想来，但提前把这条技术脉络理解透，无论风向怎么变，你都不会站错边。