快速了解部分
基础信息(英文):
- 题目: Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-training
- 时间: 2026.1
- 机构: AgiBot Research, AgiBot, Shanghai Innovation Institute
- 3个英文关键词: Embodied Reasoning, Vision-Language-Action (VLA), Flow Matching
1句话通俗总结本文干了什么事情
本文提出了一个名为GenieReasoner的机器人系统,通过一种新的“动作分词器”将复杂的连续动作转化为离散的“思维令牌”,让机器人既能像大模型一样进行深度思考和推理,又能精准地执行具体的物理动作。
研究痛点:现有研究不足 / 要解决的具体问题
现有的机器人视觉-语言-动作(VLA)模型面临一个两难困境:要么擅长推理但动作粗糙(离散动作模型),要么动作精准但缺乏深度思考能力(连续动作模型)。这两种能力很难在同一个模型中兼得。
核心方法:关键技术、模型或研究设计(简要)
提出了GenieReasoner系统,核心在于FACT(基于流匹配的动作分词器)。它将连续的机器人动作转化为离散的令牌序列,使得模型可以在离散空间进行推理规划,同时通过解码器还原出高精度的连续控制信号。
深入了解部分
相比前人创新在哪里
- 解耦评估:提出了ERIQ基准,首次将“具身推理能力”和“动作执行精度”分开评估,证明了推理能力直接影响任务成功率。
- 精度与推理的统一:不同于以往离散化方法(如FAST)会损失精度,FACT利用流匹配技术,用极短的离散令牌就能还原出高保真的连续轨迹,打破了“离散则粗糙”的限制。
解决方法/算法的通俗解释
想象一下,机器人思考时用的是“语言”(离散的词),但行动时用的是“肌肉”(连续的运动)。
- 以前的做法:要么让机器人用“肌肉”直接思考(连续模型),但这很难处理复杂的语言逻辑;要么把动作切成一个个格子(离散模型),但这让动作变得像像素画一样粗糙。
- 本文的做法:发明了一种“翻译器”(FACT)。机器人思考时,把复杂的动作压缩成几个简单的“动作密码”(离散令牌);执行时,再根据这几个密码,瞬间还原出流畅精准的动作(流匹配解码)。
解决方法的具体做法
- 设计FACT分词器:
- 编码端:使用VQ-VAE将连续动作压缩为紧凑的离散令牌(Code),保留语义。
- 解码端:使用流匹配(Flow Matching)技术,通过求解微分方程,从离散令牌和噪声中重建出平滑、精确的连续动作轨迹。
- 构建GenieReasoner:将上述分词器与视觉语言模型(VLM)结合,进行三阶段训练(预训练、联合训练、后训练),实现视觉、语言、动作的统一。
基于前人的哪些方法
- VQ-VAE / 离散化:借鉴了将连续信号转化为离散码本的思想,但改进了量化方式。
- 流匹配(Flow Matching):利用了Rectified Flow等生成式模型的思想,用于动作的高保真重建。
- VLA架构:基于现有的视觉-语言-动作模型框架(如π0\pi_0π0等),旨在解决其推理与控制的割裂问题。
实验设置、数据、评估方式、结论
- 数据:使用了自建的ERIQ基准(6000+问答对)和AgiBot World等机器人操作数据集。
- 评估:
- ERIQ得分:测试模型的推理能力(空间感知、规划、错误恢复、意图理解)。
- 真实世界任务:测试抓取、摆放等操作的成功率和语言跟随准确性。
- 结论:
- GenieReasoner在ERIQ上的得分(82.72%)显著高于基座模型(58.64%)。
- 在真实任务中,它既保持了离散模型优秀的语义理解(语言跟随),又达到了连续模型的高操作精度,综合表现优于π0\pi_0π0、π0.5\pi_0.5π0.5和π0\pi_0π0-FAST等基线。
提到的同类工作
- π0\pi_0π0/π0.5\pi_0.5π0.5(Google DeepMind等):典型的VLA模型,通常使用连续动作头,虽然动作精准但推理能力受限。
- π0\pi_0π0-FAST:一种将动作转化为离散令牌的方法,虽然利于推理,但重建精度差且解码不稳定。
- RoboBrain / Gemini Robotics:强调具身推理的工业级项目,通常采用分层规划,存在高层推理与低层控制的对齐问题。
和本文相关性最高的3个文献
- π0\pi_0π0:本文直接对比的核心VLA架构之一,代表了“连续动作控制”的主流方法。
- π0\pi_0π0-FAST:本文直接对比的核心VLA架构之一,代表了“离散动作量化”的现有技术(SOTA),本文的FACT旨在解决FAST的精度和稳定性问题。
- ERQA:现有的具身推理基准,本文的ERIQ基准是在此基础上的扩展和完善,旨在解决现有基准缺乏对错误恢复和人类意图理解覆盖的问题。
我的
- 能够推理,离散token+流匹配解码的VLA。