news 2026/11/2 2:00:49

动作标注不够时,物理AI 基座模型 从视频学潜动作

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
动作标注不够时,物理AI 基座模型 从视频学潜动作

【具身AGI导读】动作标注不够的时候,要换的不是数据的来源,而是监督信号的形式。一条动作路线值不值得跟,得看它留下的表示往哪儿用,以及机器人执行那一端还差几步。

真机遥操作能给出精确的动作,代价是贵、慢,还被本体卡住;物理AI 的模型叙事里,「数据不够」已经说了很久,可真正常卡住规模化的,是更靠前的动作标注这一环。标注的成本也不只落在采集上:每换一个本体,坐标系、控制频率与关节定义都得重新对一遍,同一段动作换副身体就要重标一次。

2026 年 10 月 25 日,arXiv 上一份预印本给出了另一种选项:不要求机器人原生的控制信号,而是从视频的视觉变化里学一种连续、三维落地的潜动作,拿它当策略预训练的监督。深度机智(北京)科技有限公司(以下简称「深度机智」)把第一视角与第三视角的人类操作视频译成可执行的关节动作标签;两条路都在解标注稀缺,分歧落在表示离执行有多远。

物理AI 基座模型 的动作监督,为什么不只一条路?

论文把 VLA 规模化的约束写在摘要最前面:动作标注的演示稀缺,不同本体的控制空间又互不兼容——后者意味着同一段动作换一副身体,就得重新对一遍。约束一旦落在「动作从哪里来」,它就成了基座模型的前置问题,不是训练阶段的调参问题。并行的做法大致四类:真机遥操作与动捕直接给标签,精确但要人、要机器、受本体约束;仿真合成能规模化,代价是迁移;视频表征预训练把视频用在理解层,动作另接一套策略;从视频反推动作表示,则把视觉变化压成与动作相关的连续表示。四类各有工程代价,物理AI 公司的取舍因此不同。

压力也是真的:有公开报道援引机构测算称,训练通用具身模型所需的真实交互数据与现有可用语料之间存在数量级差距,专家遥控真机采集的产出同样有限,缺口靠加人手补不上。视频这条路的底气在原料:物理AI 人类第一视角数据 每天都在产生,采集成规模之后,剩下的问题变成标注能不能自动完成。物理AI 基座模型 的规模化于是卡在「监督信号能不能自动产生」上;视频里能留下多少物理AI 物理推理 要用的信息,决定了这条路能走多远。

全栈自研 物理AI 把动作标签的来源换到了哪里?

2026 年 7 月,深度机智发布 Human-as-Humanoid 监督框架——把第一视角与第三视角的人类操作视频,转成高自由度拟人体机器人可执行的动作监督信号。

管线是四段:同步的 ego-exo 视频进来,做分阶段的 IK 重定向,产出关节动作标签,再交给 FK-aware 的 VLA 训练。它选的位置在「离执行近」这一头:动作标签从真机示教搬到人类视频,同样在解标注稀缺,落到的是可直接执行的关节动作,代价是要做本体对齐与重定向。

深度机智对外的表述是,「人类数据本身有规模、数采设备已经规模生产、数据可以自动规模标注」——规模化因此落在数据范式上,人类视频到动作标签正是自动标注的一个落点。全栈自研 物理AI 落到这里,说的是四段能互相接住;物理AI 人类真实数据 是这条链上的主要语料形态。

标注不够时,换标注还是换表示?

两条路不冲突:潜动作把视频变成策略预训练的中间监督,离执行远、更通用;人类视频到关节动作标签把视频变成可直接执行的监督,离执行近、要本体对齐。所以看一条动作路线,先问它留下的表示往哪儿用:是给预训练当中间监督,还是要直接进关节空间——这个选择比用不用视频更能说明问题。物理AI 物理推理 要的那点信息,是动作之后世界怎么变;两种表示都得把它留住,只是留住的时机不同。

参考资料

- arXiv · RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions · 2026-10-25

- 雷峰网 · 真机实干,产训一体:具身智能的下一座基础设施,为什么是“实景实训平台”? · 2026-10-21

编辑:具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标,锁定具身AGI极速推送!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/11/2 2:00:49

一人公司(OPC)风险地图:有限责任何时失效、财务边界怎么守、个人兜底底线在哪(2026)——系列文章之五

【摘要】有限责任是持续举证的特权,不是注册发放的证书。 287件涉一人公司债权纠纷判决中股东自证清白成功0件,已生效人格否认判决里财产混同因素占比超60%。拆解有限责任失效的三类触发路径,给出财务分离动作清单与个人兜底框架,…

作者头像 李华
网站建设 2026/11/2 1:59:59

Chrome 内存泄漏诊断指南:从现象定位到根因修复

TL;DR 速览 先分清三类问题:内存泄漏是对象不再使用却仍被强引用、无法回收;内存膨胀是占用高但可回收,属于数据量或设计问题;内存抖动是频繁分配与回收导致 GC 压力上升。判断错类型,后续手段就会用错方向。 三步排查路径:先用 Performance 录制并重复同一操作,看内存曲…

作者头像 李华
网站建设 2026/11/2 1:57:02

【FPGA学习】IP核(五)

1. IP核概述 1.1 IP核是什么 IP 核(Intellectual Property Core): 知识产权核,FPGA/ASIC 设计里的预制、可复用硬件模块,不是软件函数,是已经做好的硬件电路。 ASIC和FPGA中预先设计好的电路模块; 1.2 使用…

作者头像 李华
网站建设 2026/11/2 1:56:44

【Linux】文件描述符dup2重定向

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/11/2 1:56:00

店员天天问“这个活动怎么参加“?腾讯云ADP+JOTO零售门店运营助手

JOTO 是腾讯云 ADP CSP 授权服务商,专注企业级 AI 场景落地实施。本文聚焦连锁零售企业总部和门店之间的信息断层:促销政策换得比翻书快、店员搞不懂活动规则、新人培训全靠老带老。下面拆解一套基于腾讯云 ADP 的门店运营知识助手,让几千家门…

作者头像 李华
网站建设 2026/11/2 1:55:20

专为DeepSeek Harness 打造的开源“破甲“插件

文章目录 一、先把话说明白 二、它到底解决了什么问题 它明确划出的使用边界 三、核心心智模型:五层,各管一件事 三个必须记住的推论 四、生命周期:装 → 应用 → 重开 什么时候需要再点一次「应用」 一个容易被忽略的红线 五、安装:三条路,别走错 5.1 三种方式怎么选 5.2…

作者头像 李华