「统一世界‑动作模型」
目录
01 行业现有路线的核心矛盾
1.1 三大专家模块
1.2 训练面临的三大痛点
02 EgoANT人类数据自动标注流水线
2.1 时序分割阶段
2.2 语义标注阶段
03 后训练：兼顾性能与推理效率
3.1 未来视觉噪声增强
3.2 历史条件流匹配（A2A，Action‑to‑Action）
04 实验：仿真与真实机器人双维度验证
4.1 仿真基准LIBERO与RoboTwin2.0
4.2 真实世界双机械臂实验
4.3 人‑机联合预训练的缩放定律
4.4 消融实验
05 总结
机器人基础模型领域分化成了两条技术路线：视觉‑语言‑动作模型（VLA）擅长语义理解，但仅依靠动作监督，对环境物理动态的建模能力偏弱；世界‑动作模型（WAM）从视频生成模型继承强大时空先验，可在分布偏移场景下的语义推理、指令理解能力存在短板。
港科广团队提出的UniWAM这篇工作试图把两套体系的优势揉进同一个Transformer混合架构，一套模型同时完成物理推理、未来视觉生成、机器人动作预测，依靠人类第一视角数据、机器人演示数据、VQA数据联合预训练，在仿真、真实双环境的多项基准刷新性能，还揭示了人‑机联合预训练的对数‑线性缩放规律，为通用机器人基础模型提供了新的实现路径。
图 | UniWAM在统一架构内融合物理推理、视觉生成与动作预测，在机器人与人类第一视角数据以及VQA数据上预训练
01 行业现有路线的核心矛盾
VLA类模型依托大尺度视觉语言预训练，语言理解、指令解析能力很强，但是训练信号只有机器人动作，模型很难学习环境会如何变化，也就是世界动力学。当环境物体摆放、光照、视角发生变化，很容易失效。
而WAM世界动作模型，以视频生成模型为骨干，通过预测未来帧学习物理世界的演化规律，对环境动态理解更强，但短板在于语义推理。面对复杂语言指令、分布外新场景，理解任务目标的能力不足。
图 | UniWAM整体架构与预训练数据概览
一直以来的难点就在于：如何将VLM的推理泛化能力和WAM的动力学预测能力结合在一起，并且在混合异构数据训练的时候，不破坏原有模型各自的能力。简单拼接两个独立模型会带来巨大的算力开销，不同数据源的优化目标还会互相冲突。UniWAM给出的解法是MoT（Mixture‑of‑Transformers）混合Transformer架构，设计配套的数据处理流水线、分组件的预训练策略以及后训练增强方案。
1.1 三大专家模块
整套架构划分为三大专家模块，依靠联合多模态注意力完成信息互通：
- 物理推理器（Physical Reasoner）：基于Qwen3‑VL‑2B‑Instruct，负责语言解析、语义理解，输出语言形式的物理描述；
- 世界生成器（World Generator）：基于Wan2.2‑TI2V‑5B视频生成骨干，在VAE隐空间预测未来视觉帧；
- 动作预测器（Action Predictor）：专门用来输出连续机器人动作块。
简单理解：推理器看懂指令理解任务，世界生成器想象接下来环境会变成什么样，动作预测器输出机器人该怎么动；三者通过共享的注意力层互相交换信息，动作生成可以参考语义理解，也可以参考对未来画面的预判。
1.2 训练面临的三大痛点
训练层面最大的痛点有三个： 第一，把VLM适配具身机器人任务，不能毁掉原本的语言能力； 第二，人类视频、机器人演示、VQA问答这三类数据分布差异巨大，直接混训会出现目标冲突； 第三，大规模异构原始数据噪声极高，轨迹、视频片段需要清洗与标注。
UniWAM的解决思路是物理语言监督+分组件分配不同数据源的监督信号。将机器人末端执行器的运动转化成自然语言文本描述，把底层动作转换成VLM熟悉的语言输入输出范式。
- VQA视觉问答数据：只监督物理推理器，保留预训练得到的语义知识；
- 人类第一视角数据：监督推理器与世界生成器，挖掘人类视频里的物理交互知识，规避人类手部动作标签精度不足的问题；
- 机器人数据：同时监督全部三个专家模块，利用高精度动作标注学习真实的控制输出。
02 EgoANT人类数据自动标注流水线
为了处理海量人类数据，论文提出EgoANT自动标注流水线，把长的第一视角原始视频切分成原子操作子任务，并且生成对应的语言描述。
图 | EgoANT标注流水线：原始第一视角视频经过时间分片、粗‑精两级时间分割，多候选路径生成语义标签，输出带时间区间的子任务与描述
2.1 时序分割阶段
EgoANT分为时序分割与语义标注两大阶段。先以0.5秒采样帧生成时间快照，做粗粒度事件分割，再在粗边界附近做局部精细化修正。
2.2 语义标注阶段
分割完成之后，通过多条解码路径生成多份候选文本，最后只用大模型做纯文本筛选，输出子任务时间边界和自然语言描述，这套工具解决了EgoDex数据集缺少子任务标注的问题。
03 后训练：兼顾性能与推理效率
完成预训练之后进入后训练阶段，除了继续联合训练三个专家模块，还设计了两项关键技术，解决模型依赖完美未来预测、采样步数过多的痛点。
图 | 历史条件动作流：动作生成从被扰动的历史动作出发，而不是纯高斯噪声
3.1 未来视觉噪声增强
训练时以50%概率对未来帧的隐特征加入噪声扰动，但保持当前观测不变。迫使动作预测器不要过度依赖完美的未来视觉预测，学会从粗糙的视觉表征抓取和控制相关的语义，增强视觉生成与动作预测模块之间的交互。
3.2 历史条件流匹配（A2A，Action‑to‑Action）
传统流匹配从纯高斯噪声迭代出动作序列。UniWAM改用带小噪声扰动的历史动作片段作为生成起点。历史运动本身就携带时序连续性，以此初始化流匹配过程。
图 | 不同去噪步数下，N2A（噪声生成动作）与A2A（历史动作生成动作）性能对比
从实验结果看，A2A仅仅2‑4步推理就可以达到甚至超过N2A十步去噪的效果，大幅降低推理时间。在实际部署中，论文默认使用4步A2A作为推理配置。
这里需要客观看待指标含义：更少的去噪步骤代表更高的运行速度，但收益建立在模型已经学到良好的时序动作先验之上；如果任务分布和训练集差异极大，历史动作带来的初始化也有可能引入错误的运动先验。
04 实验：仿真与真实机器人双维度验证
实验围绕5个问题展开：域内性能、分布外鲁棒性、真实世界指令跟随、长时序任务、人‑机混合训练缩放规律。
4.1 仿真基准LIBERO与RoboTwin2.0
表 | LIBERO标准套件成功率（%）
在LIBERO基准，UniWAM平均成功率99.2%，超过此前SOTA。而更有参考价值的是分布偏移测试LIBERO‑Plus，用来模拟光照、视角、物体布局、机器人状态、语言指令扰动，UniWAM总体成功率92.6%，在机器人本体扰动、语言指令、光照、背景扰动维度上取得最优结果。
RoboTwin2.0双手机器人基准分为C2C（干净训练‑干净测试）、C2R（干净训练‑随机域测试）。UniWAM C2C成功率75.14%，C2R达到68.32%；从C2C到C2R性能仅下跌6.82个百分点。对比基线π₀.₅下跌24.70个百分点，Spatial Forcing下跌50.46个百分点。
值得说明：C2R的性能衰减幅度小，代表模型对物体、背景、高度变化的泛化能力更强；但仿真域随机和真实世界的域差距依旧存在，仿真上的低衰减不能完全等价于真实环境表现。
4.2 真实世界双机械臂实验
图 | 真实世界评估任务概览：指令跟随任务与长时序桌面整理任务
真实硬件使用AgileX Piper双臂平台，腕部相机加全局第三人称相机，设置四类指令跟随任务（Pick‑Anything、Diverse‑Interaction、Place‑Relative、Drawer‑Storage），以及一个长时序桌面整理任务。评测指标分为任务成功率SR与指令跟随率IFR。IFR衡量模型是否正确理解语言指向的物体和交互行为，哪怕后续操作失败，只要目标选对，IFR算通过，这个指标可以剥离运动执行因素，更聚焦语义理解能力。
图 | AgileX Piper双臂平台
UniWAM四项任务平均任务成功率67.5%，指令跟随率82.5%。对比基线π₀.₅，任务成功率提升13.1个百分点，指令跟随率提升21.9个百分点，尤其在需要同时理解物体+动作语义的Diverse‑Interaction任务提升明显。
长时序任务“整理桌面”，设置6个里程碑，用0‑6分的Task Progress任务进度打分。UniWAM平均得分5.0，π₀.₅为4.8，Motus仅3.2。模型只接收一条高层指令“整理桌子”，需要自己推理中间子目标，不需要人工给出分步指令。
图 | 真实世界指令跟随与长时序任务结果
4.3 人‑机联合预训练的缩放定律
论文一个很有意思的发现：人类第一视角数据不是越多越好。小数据规模下加入人类数据甚至会损害性能；当机器人训练数据规模超过1000小时之后，人类数据才开始带来正向增益。推测原因：小规模的时候，人类手部运动与机器人本体形态差异带来域冲突；数据规模足够大之后，模型可以提炼两者共通的物理交互先验，实现跨本体知识迁移。
同时作者拟合得到人‑机联合预训练的对数‑线性缩放定律：验证损失和训练数据小时数的对数近似线性关系，拟合R²≈0.983。预训练的验证损失可以作为下游机器人操控性能的指示信号。
图 | 有无物理语言监督下，机器人与人类数据表征的t‑SNE可视化
t‑SNE可视化也印证物理语言监督的作用：加入物理语言监督之后，人类、机器人样本在表征空间重叠度显著提升，语言描述搭建起跨本体的共享语义桥梁。
4.4 消融实验
图 | RoboTwin2.0消融实验结果
消融验证了三块关键设计的价值：
1. 三类数据源（VQA、机器人、人类数据）全部一起训练性能最高，机器人数据提供基础操控能力，VQA强化感知理解，人类数据补充世界动力学知识；
2. VLM训练策略：解冻推理器+物理语言监督+多源预训练是完整链路，缺少任意一环性能大幅下滑；
3. 后训练的两项技术：历史条件动作生成、未来视觉噪声增强，两项叠加才能拿到完整收益。
05 总结
UniWAM提出了一套统一世界‑动作模型范式，尝试弥合VLA擅长语义推理、WAM擅长物理动态建模之间的鸿沟。依靠MoT多专家架构、物理语言监督、三类异构数据的分组件预训练，搭配EgoANT自动人类视频标注工具；在后训练阶段引入未来视觉噪声增强与历史条件流匹配，兼顾模型能力和推理效率。
仿真基准取得SOTA，在真实双臂机器人的指令跟随、长时序任务表现优于基线，同时揭示人‑机混合预训练的对数‑线性缩放现象。它代表一条可行的通用机器人基础模型路线：不只学怎么动，同时学看懂语言、想象世界如何变化。但高训练成本、真实开放场景的泛化，依旧是这类具身大模型绕不开的现实挑战。
Ref
论文标题：UniWAM: Unified World-Action Model
论文链接：https://arxiv.org/abs/2610.02054
项目链接：https://uniwam.github.io/
 六大默认成员函数)