📋 目录
- 💸 开场:一台机器人60万,一套设备几千块
- 🔁 遥操作的四个死结
- 👤 以人为中心:把人的手当传感器
- 📊 RoboPaint 对照实验:省了时间,赔了20个百分点
- 🔗 为什么"以人为中心"这件事比想象难
- ⚠️ 三个必须说清的口径
- 🏗️ 领码 SPARK 融合平台:让采集现场和训练现场用同一本账
- 🎯 给数据团队的五条判断标准
💸 开场:一台机器人60万,一套设备几千块
先看一个数字对比。
许晋诚在 AI 科技评论《物理 AI 50 人》访谈里讲遥操作的成本劣势时,说得很直接:
“一台机器人 60 万;而’以人为中心’的采集,成本主要在传感器和采集设备上,一套设备几千块。一台机器人的钱,够我采接近 100 个人的数据。”
这句话值得停下来想三秒。
遥操作是机器人行业最直觉的采数据方式:人戴着控制器,远程操作机器人做任务,录下来的画面和关节数据直接就是机器人的。听起来完美——没有映射误差、没有跨本体问题。
但按上面这组数字算:用真机采一份数据的成本,可以采将近 100 份"人手的"数据。
这就是帕西尼选的路。他们不采机器人,他们采人。
这个选择听起来像退步——毕竟机器人数据才直接可用。但当你把遥操作的四个死结摊开看,会发现"退步"是假的。
🔁 遥操作的四个死结
许晋诚在访谈中把遥操作的问题拆成了四条。这四条不是抱怨,是逐条核算过的。
死结一:构型一定会变
“数据在它自己同构型的机器人上使用是零损失的:采的时候构型一模一样,用的时候也一模一样。不同构型之间用数据会有损失,同构型就没有。但问题也随之而来——机器人构型一定会变。你永远无法让机器人’什么都不变’,哪怕就算大体上构型不变,只要传感器改了,数据同样用不了。”
这里有个容易被忽略的隐含假设:遥操作数据的"零损失"只在那个特定机器人、那个特定传感器配置、那个特定手型下成立。
而机器人产业恰恰是所有产业里迭代最快的:新手型半年一换、关节改版、夹爪换成灵巧手、传感器换代。每换一次,之前采的数据就贬值一次。
这是"零损失"这个说法的真正代价——它零损失,但有效期极短。
死结二:成本结构完全不对等
这是上面那个 60 万 vs 几千块的来源。展开看:
| 成本项 | 遥操作 | 以人为中心 |
|---|---|---|
| 主体资产 | 机器人本体(60 万/台) | 采集手套 + 传感器(几千/套) |
| 场地 | 机器人工作空间 | 人工作业空间(常可借用现成场景) |
| 复用性 | 换构型即失效 | 可跨构型重定向 |
| 同一笔预算能采多少 | 1 份 | 近 100 份 |
“一台机器人的钱,够采接近 100 个人的数据”——这个对比意味着,如果你的目标是采集广度(覆盖足够多的任务、物体、场景),遥操作是数量级上不可行的一条路。
死结三:效率低,而且废数据多
“遥操作要求你想象自己是机器人再去干活,很难;机器人构型和人不一样,还要用逆向运动学去解每个关节角,采下来很慢、很麻烦、废数据多。用人的方式采,又快又自然。”
三个关键词:要想象自己是机器人、要解逆运动学、废数据多。
遥操作员要做两件违背本能的事:控制一个身体结构跟自己完全不同的机器,还得同时在脑子里反解一遍关节角。这两件事都会拖慢速度、抬高出错率。而"废数据多"意味着你还要额外投入去筛掉采坏的。
死结四:最致命的——遥操作采不到真实触觉
这一条是触觉领域独有的死结,其他三个领域没有。
“遥操作采不到真实的触觉。人手上没有主动力反馈设备,你不知道现在触觉力有多大。所以大部分人一捏就捏死,采到的触觉数据没用。”
这一句值得反复读。
遥操作员的手上只有控制器,没有力反馈。所以他不知道机器人手指此刻承受了多大的力。结果就是:他想轻拿一个易碎品,但手感是空的,只能保守地用力——一捏就捏死。
更要命的是,"一捏就捏死"这件事发生在数据产生的那一刻。你采回来的不是"轻拿易碎品"的触觉数据,是"捏碎易碎品"的触觉数据。它不是噪声,是系统性偏置——整个数据集的力值分布都偏大。
而以人为中心就不存在这个问题:
“以人为中心’采集时,传感器就在我手上、隔几毫米,我的皮肤能直接感知到力度的传递——我可以很轻地把它拿起来。”
这就是为什么以人为中心这条路线在触觉领域不是可选项,是必需项。
👤 以人为中心:把人的手当传感器
清楚了死结,来看帕西尼具体怎么做。
硬件:把传感器贴在人手和人手操作的对象之间
帕西尼的 PXCap 系列五指数据采集手套,内置 30 个六维触觉模组,触觉点数密度高达 3015 个,采样 1 秒 100 万次。
关键在结构:传感器在手上,人也在操作。人手的力度传递路径上有传感器,人自己的皮肤也在同一时刻感知到了这个力度。这两路信息天然同步——不需要事后对齐。
空间信息:加视觉和编码器,把"手在哪"补齐
只有触觉是不够的,因为不知道手在空间中的位置。所以 PXCap Pro 是"触觉感知力、视觉记录态、编码器定姿态"三位一体:
| 模态 | 采什么 | 谁来定 |
|---|---|---|
| 触觉 | 接触力、扭矩、纹理、形状 | 六维触觉模组阵列 |
| 视觉 | 场景、物体、任务上下文 | 多视角相机(含 82 自由度五指动作) |
| 关节角度 | 手部姿态、关节运动 | 自研抗磁磁编码器(±0.15 度) |
三者之间的时间对齐,帕西尼的说法是:"相机间硬件同步 + 多模态间算法同步"的双重保障,系统延迟控制在 5ms 以内。
5ms 这个数字为什么重要?许晋诚在访谈里讲过一个很典型的客户问题:
“也有客户来找我们,说拿我们的数据去标感觉不准、差了 10%。我们技术团队一看,原来是他们的数据跟我们差了百毫秒,所以要先把时间同步性拉齐,一拉齐精度就上去了,波形图一看就知道时间没对齐。”
差了百毫秒,精度差 10%。这就是时间同步在具身数据里的权重——它不是个技术细节,它是精度本身。
采集现场的两条反直觉设计
第一条:审核拆成"80–90% 自动化 + 最后一层人工"。
“审核分几件事:动作有没有达成目的?有没有失败?失败不代表数据不能用,失败是更珍贵的负样本。……这里面80%—90% 都可以自动化审核,只有最后一步是人工干预,其余全部自动化。”
两个要点:失败样本被明确归类为"更珍贵的负样本",而不是垃圾数据——这个判断直接改变审核策略;质检是一个以规则引擎为主、人工兜底为辅的流水线,不是纯人工工位。
第二条:把任务顺序打乱。
“任务分第一步、第二步、第三步……并且顺序会被打乱,第二步可能变第三步,他踩一下脚踏就换序。”
为什么要打乱?因为如果采集员每次都按固定流程做,采出来的数据会混入一个极强的伪特征——任务顺序。模型可以靠"第一步应该先拿 A"这种时序规律拟合,而不用真学"怎么根据物体状态决定下一步动作"。打乱顺序是在人为破坏这个捷径,跟机器学习里的数据增强是同一个思路。
外加一条管理设计:采集员有每日任务量配额和排行榜。听起来不温情,但这是解决"数据质量靠手工认真"这个不可控问题的办法。
闭环:模型组反过来给工厂下任务
“我们同步做模型训练。在我们这边,最大的甲方就是模型训练组:模型组跟数据工厂说’你的数据让我的能力提升了多少,但还有些数据更有帮助’,然后下任务给工厂;工厂改完再反向交给模型组训练;模型能力又提升,再提新方向。”
这个"模型组是数据工厂的甲方"的机制,是整套体系能持续收敛的原因。
普通的数据工厂是推式的:工厂按标准采,采完卖,客户爱要不要。帕西尼是拉式的:模型组发现缺什么,反向给工厂下具体任务。
推式工厂的问题是产能利用率——采了一堆通用数据,客户买不买全看运气。拉式的问题是采集员被模型的短期需求牵着走,可能偏离长期目标。这两种张力要靠具体的接口设计来平衡。
📊 RoboPaint 对照实验:省了时间,赔了20个百分点
前面讲的所有好处,都得有一个诚实的对照。RoboPaint 论文(arXiv:2602.05325,帕西尼与上海交通大学、浙江大学联合发表)提供了一个难得的、把两套方案放在同一实验条件下的对比。
实验设计
论文采集的是标准化的多模态人类示范:3 路 RGB-D 视频、11 路 RGB 视频、29 自由度手套关节角、14 通道触觉信号。
然后用触觉感知重定向方法(几何 + 力引导优化)把人的手部状态映射到机器人灵巧手状态,再在逼真的 Isaac Sim 环境里渲染成机器人训练数据。
真机验证用的是UR5 机械臂 + DexH13 灵巧手,每个物体独立做 10 次试验。
结果一:成功率——遥操作 100%,生成数据 80%
| 训练数据来源 | 三个任务平均成功率 |
|---|---|
| 遥操作真机数据 | 100% |
| Real-Sim-Real 生成数据 | 80% |
差距 20 个百分点。重定向轨迹在 10 个物体操作任务上成功率 84%,其中简单几何体(椰子水瓶子、柔顺剂瓶子)达到 90–100%,复杂物体(塑料杯、相机)也在 80% 以上。
结果二:效率——遥操作慢 2.57 到 5.33 倍
这是以人为中心真正赢的地方,而且赢得不少:
| 任务 | 遥操作耗时 | 人工采集耗时 | 效率倍数 |
|---|---|---|---|
| 抓取并放置 | 约 1 小时 30 分 | 约 35 分 | 2.57× |
| 开箱 | 约 2 小时 | 约 30 分 | 4.00× |
| 推方块 | 约 2 小时 | 约 30 分 | 4.00× |
| 装袋 | 约 10 小时 | 约 2 小时 20 分 | 4.28× |
| 叠衣服 | 约 12 小时 | 约 2 小时 30 分 | 4.80× |
| 收桌子 | 约 16 小时 | 约 3 小时 | 5.33× |
注意这个梯度:任务越复杂、越依赖双臂协同和精细力控,倍数越高。
这有实际含义。简单抓取用遥操作采,无所谓,反正只要 1.5 小时。但叠衣服、收桌子这种任务,遥操作要 12–16 小时,人采只要 2.5–3 小时。你要么雇更多人采 16 小时,要么 3 小时采完去做下一件事。
两张表合起来读
| 维度 | 以人为中心 | 遥操作 |
|---|---|---|
| 成本 | 一套设备几千块 | 一台机器人 60 万 |
| 采集效率 | 快 2.57–5.33 倍 | 慢 |
| 力值真实性 | 皮肤直接感知,轻拿 | 无力反馈,一捏就捏死 |
| 跨本体 | 可重定向 | 换构型即失效 |
| 成功率 | 80%(重定向轨迹 84%) | 100% |
| 数据量上限 | 高(同样预算可采近百倍份数) | 低 |
这张表没有"谁赢",只有"你买哪一栏"。
如果你要做的是长尾场景铺量、或者根本拿不到足够的机器人来采——80% 换 2.57–5.33 倍效率是划算的。如果你做的是装配这种"错一次就废件"的任务,20 个百分点可能是不可承受的。
更重要的是:这 20 个百分点的差距,能不能靠更多数据补回来?这是论文没回答、但产业界最想知道的问题。
🔗 为什么"以人为中心"这件事比想象难
有理由担心这条路是"看起来省,其实把成本转移到了别处"。成本确实转移了——转移到三个地方。
转移点一:跨本体迁移的损耗
人的手有 22 个自由度以上(帕西尼的说法是"人手其实不止 22 个自由度,很多球轴"),灵巧手结构完全不同。迁移过程必然有损。
帕西尼的应对是内骨骼式的采集终端——“像人的手直接驾驭在灵巧手上,跟外骨骼不同,能适配很多灵巧手”,以及SomaRedirect 体感重定向技术,“把数据解耦为通用的运动表征,实现跨机器人构型的低成本迁移”。
但"低成本"和"零成本"差得很远。20 个百分点就是这项技术当前的成本。
转移点二:数据的一致性靠人工纪律维持
遥操作的数据天生有个好处:机器人每次动的轨迹是受控的。人以为中心的数据,主观性更强——不同人捏的力度不同、动作习惯不同、节奏不同。
帕西尼的应对是"场景工程"组:针对需求场景做定义,生成 SOP 文件,明确采集量要多大、采几次才够。加上审核、排行榜、模型组闭环。
但这套东西全部依赖"人"在执行。而人一多、一散、一流动,质量就会掉。
访谈里有一个细节很能说明问题:
“最终给客户时,比如某些大科技公司,我们给数据的同时给模型结果,他们就特别认可,因为他以前用过某家未做任何清洗、直接裸着丢出来的数据集,立项之后花了三个月做清洗和学习,很后悔;后来找我们买数据就提了三条:第一,先证明你的数据有用;第二,讲清楚清洗和标注到什么程度;第三,给我看模型训练效果。”
“花了三个月做清洗”——这是买方最痛的记忆。所以帕西尼卖数据时的卖点不是数据本身,是**“这批数据是干净的,而且我能证明它有用”**。这反过来定义了卖方的责任边界:卖数据的人必须把清洗和标注程度讲清楚,并把效果证明一起交出去。
转移点三:触觉一致性的物理门槛
许晋诚讲触觉标准时说了这么一段,是整段访谈里最"内行"的部分:
“触觉标准里我们不限制任何原理,只管一个:输出一致性一定要够高。我们把触觉传感器分几个级别,大家越往高级别爬越好,级别越高,数据的产出价值和价格越高,数据标准这边就会引用这个分级。”
关于一致性的后果:
“这次任务和上次任务,如果传感器一致性偏差很大,数据就偏差 20%,模型要信谁?”
还有一个必须自证的例子:
“也有客户来找我们,说拿我们的数据去标感觉不准、差了 10%。我们技术团队一看,原来是他们的数据跟我们差了百毫秒……”
注意这两个 20% 和 10% 是不同的事:20% 是一致性偏差导致的数据分布漂移,10% 是时间没对齐导致的标定误差。两个都是"数据本身没问题,但用起来有问题"——这类问题最贵,因为它不报错,只是让模型学得很烂。
以及一个更硬的门槛:
“**触觉传感器有一个前置条件:使用上必须是刚性连接,背板必须是硬质的。**非硬质的情况下,受压时前面后面都形变,你要算谁?没法算。”
手套的耐用性现实也很具体:
“手套确实很难做,人手握力大、关节活动幅度大,关节角度编码器在反复拉扯下可能发生偏轴。……原本只有两三个月寿命,现在提升到半年到一年,虽然本质上来说它是一种耗材。”
手套寿命半年到一年、线束是行业通病——这些细节说明"以人为中心"这条路的成本大头,最终落回到了硬件耗材上。
⚠️ 三个必须说清的口径
口径一:"3 到 6 倍于遥操作的效率"是官方宣传语,论文实测是 2.57 到 5.33 倍
帕西尼官方材料写的是"以 3~6 倍于传统遥操作的效率"。论文 Table 2 的实测区间是2.57× 到 5.33×,六个任务,平均值大概在 4.1 倍左右。
宣传区间和实测区间的差异在于:宣传取整了上下界,实测是逐任务的值。引用时写"论文实测 2.57–5.33 倍"更稳妥。
口径二:84% 和 80% 是两个不同的实验,不要混用
| 数字 | 是什么 |
|---|---|
| 84% | 重定向的灵巧手轨迹在真机(UR5 + DexH13)上、10 个物体操作任务的平均成功率 |
| 80% | 仅用生成数据训练的 VLA 策略(π0.5)在三个代表性任务(抓取放置、推拉、倾倒)上的平均成功率 |
一个测的是"轨迹能不能执行",一个测的是"训出来的策略好不好用"。中间还隔着一层模型。官方材料里两个数字经常并列,容易被读成同一个。
另外,π0.5 有三个对照架构(论文里还测了 DP),遥操作数据在这三个任务上都是 100%。20 个百分点的差距是在最有利于生成数据的设置下测出来的——三个任务、每个任务 10 个随机初始位置。
口径三:"80% 数据靠真实、10% 可以用仿真"是许晋诚对自家长尾场景的判断,不是行业共识
访谈原话:
“即便它触觉真实性、视觉真实性、力反馈真实性不够,也能补长尾——大约 90% 数据靠真实、10% 可以用仿真。”
紧接着他对"90% 靠仿真"的做法明确不看好,理由是成本和有效性:
“有做仿真数据的公司一年花一两个亿,还有建模成本,很多仿真数据公司在招美术建模师,而建模师建不出真实的物理效果,最大瓶颈是超弹性体:能建出形状,建不出受压后的视觉效果;大部分只能做刚体接触。你花一周建模一个东西,而实采只要去楼下便利店花五毛一块钱就买到了。而且仿真生成的几亿条数据不一定都有效,重复性特别高的会被判为无效(比如只是关节角偏了一下也算一条),而对模型来说数据越不一样越好。”
这段话里最扎实的是那个"五毛一块钱"的对照——实采的成本优势不是理论上的,是可以拿便利店发票证明的。
但 90/10 这个比例本身,是他在描述自己公司长尾场景做法时给出的经验值,不能当成行业共识引用。而且注意一个内在张力:他前面说"主要应用所需真实数据的体量远大于长尾数据",所以 10% 这个数字是他那个场景下的结论,不是通用比例。
🏗️ 领码 SPARK 融合平台:让采集现场和训练现场用同一本账
这一节写给做数据平台的人。
上面这几条死结、这套采集流程、这些口径误读,在企业里都有一个精确的对应物。企业没有机器人,但企业有一样的结构问题。
对应一:iPaaS 接数据——采集现场和训练现场必须在同一条链上
企业里的对应场景是:业务系统(ERP/CRM/工单)产生原始数据,采集现场是数据录入人员,训练现场是算法团队。
最常见的失败模式是:中间隔了一层 Excel 导出。隔了一层人工转换,数据的时序、语义、质量就都断了。而且中间那层转换没有审计:你不知道某个字段的值是采集时就没有,还是转换时丢的。
| 采集现场的问题 | 企业里的对应 | SPARK 的处理 |
|---|---|---|
| 任务顺序被固定,模型学到伪特征 | 字段按录入顺序产生,模型学到时序捷径 | 元数据登记变量清单 + 顺序随机化标记 |
| 力值分布系统性偏大 | 某环节默认值/兜底值污染数据 | 质量规则 + 分布异常检测 |
| 一致性偏差导致数据漂移 | 同名指标在不同系统算法不同 | 口径登记 + 血缘追踪 |
| 时间没对齐,精度差 10% | 多个源的数据时间基准不一致 | 接入层统一时区与对齐基准 |
最后一行是重点。帕西尼那个客户案例——精度差 10%,根因是差了百毫秒——在企业里每天都在发生,只是没人会想到"精度问题"可能是"时间戳没对齐"造成的。
对应二:治理中心前置——审核规则要写在采集之前,不在之后
帕西尼的审核结构是"80–90% 自动化 + 最后一层人工"。这个比例结构的关键不在 80%,在于它是一个流水线,不是一个工位。
企业里最常见的错误是:数据先进来,等出问题了才开始想办法治理。这时候脏数据已经流到了下游模型、报表、决策里。
对应的处理方式:
- 采集前:变量清单先行——每个字段定义类型、取值范围、是否可空、采集方式
- 采集时:规则引擎实时判——超范围、缺必填、逻辑矛盾(结束时间早于开始时间)当场拦
- 采集后:自动审核打标——可机器判的标"通过/不通过/待人工",只有待人工的进队列
- 人工环节:只处理规则判不了的边界情形,且人工判定结果要回流成新规则
“失败是更珍贵的负样本"这个判断,在企业里对应的是"异常数据要不要留”。大多数企业的做法是入库前就丢弃异常——因为没有人定义过异常值的位置和用途。帕西尼的做法是给失败数据一个明确的分类(负样本),这样它才能被检索、被训练、被计价。
对应三:全域守卫划权限——采集现场的权限和训练现场的不一样
有个容易被忽略的权限维度:谁能定义变量、谁能改口径、能不能看原始采样数据。
| 角色 | 变量定义权 | 口径修改权 | 原始采样数据 | 审核结果 |
|---|---|---|---|---|
| 采集人员 | 无 | 无 | 只看自己采的 | 看自己的返工项 |
| 数据审核员 | 提建议 | 无 | 全量可见 | 可见并可判 |
| 算法工程师 | 无 | 无 | 抽样可见 | 可见 |
| 数据负责人 | 有 | 有 | 全量可见 | 全量可见 |
关键在这个错位:能看到所有数据的人,不一定能改定义;能改定义的人,不一定能看到每一条原始数据。权限跟着数据粒度走,不是跟着岗位名走。
对应四:与 Dify 分工——规则归治理层,编排归应用层
上面这些规则(超范围判定、顺序随机化、分布检测、审核流转)应该写在治理层,不是写在某个 Agent 的 prompt 里。
Dify 这类编排层适合做的:从已治理的数据里生成一份采集质量周报、生成某个字段的口径说明文档、触发返工流程。
不适合做的:让它自己判断"这个字段的分布是不是漂了"——因为这个判断需要跨时间、跨来源、跨采集点的对照,prompt 里写不下这些上下文。
分工清楚了,采集现场才可能规模化。采集员不需要懂数据治理,但采集员用的小工具里,规则必须已经在了。
🎯 给数据团队的五条判断标准
① 先算"人力单位成本",再算"技术单位成本"。
一台机器人 60 万、一套手套几千块,这个对比说明:在数据采集环节,“用什么身体去采"这个决策的影响,可能大于"用什么传感器去采”。先把这个问题问清楚,再去比技术参数。
② 问"这份数据换个构型还能用吗"。
如果答案是不能,那你要算的是这条数据的有效折旧期,而不是它的采集成本。遥操作数据在机器人换型时的归零率,值得在采购前就问供应商。
③ 力反馈这件事,别用视觉代偿。
遥操作员手上没有力反馈这个缺陷是系统性的,不是培训能补的——它会让整个数据集的力值分布系统性偏大。触觉相关的任务,采集端没有力反馈闭环就不能用。
④ 把"时间同步误差"当成精度指标,不是技术细节。
帕西尼那个客户案例:数据精度差 10%,根因是差了百毫秒。你的数据管线里如果有多个源、多个时钟,那"最大允许时间偏移"必须是一个被监控的指标,而不是靠人记得。
⑤ 把失败和异常数据单独设计一个位置。
帕西尼的做法是"失败是更珍贵的负样本",并且有 80–90% 的自动审核支撑。企业里对应的动作是:先定义异常数据存哪、叫什么、谁有权检索,再考虑采集流程。
如果只定义成功数据,那你的数据资产里就永远只有一种信息。
遥操作是机器人行业最直觉的方案。以人为中心听起来像退步。
但把成本、效率、力值真实性、跨本体四项摊开再乘上 20 个百分点的成功率,这笔账的形状完全变了。它不是"哪个方案更好"的问题,是"你的瓶颈在数量、在质量、还是在速度"的问题。
而无论是哪条路线,有一件事是共同的:采集现场和训练现场必须用同一本账。数据从哪来、怎么定义、谁说了算、失败放哪——这些答案要在采集开始之前就定下来。
你们团队现在采数据,是"谁定义字段谁说了算",还是"算法提需求、采集照做"?这两种模式下,异常数据最后都去哪了?评论区说说,我帮你看看这两种模式各自的坑在哪。