具身智能数据飞轮：MOXI平台与Manus动捕手套的遥操作实践

具身智能项目做到一定阶段，所有人都会撞上同一堵墙：机器人缺数据。我到现在还留着那段录像：机械臂端着一杯水在桌面附近反复试探，杯沿已经碰到桌子边缘，但手腕不知道该怎么翻转，最后把水漏了一桌。这其实是绝大多数具身智能项目最真实的起点——不是模型不够强，是机器人根本没见过人类怎么稳稳把杯子放到目标位置这类操作数据。过去半年我一直在跑一套组合方案：用MOXI平台统一遥操作采集链路，动捕手套选了Manus方案，把“人类演示动作”高质量地变成“机器人轨迹数据”，从数据采集一路做到真机部署，把一条完整的数据飞轮转了起来。这篇文章把中间的技术决策、链路细节、踩坑记录完整拆开聊一聊，适合正在搭数据采集系统的同学，也适合想搞清楚具身智能为什么离不开动捕数据的算法同事。

1. 为什么具身智能最先卡在“数据”上——以及遥操作与动捕为何是最优解

先厘清一个前提：具身智能这两年网络结构迭代速度很快，模仿学习、扩散策略、视觉语言动作模型，大家都在用类似的特征提取器和回归头。算法结构趋同之后，真正拉开差距的变成了“喂给模型什么数据”。模型可以理解为一台高性能引擎，但引擎再强，加的是劣质汽油也跑不出性能。

1.1 三路数据来源，为什么最后只剩遥操作

当前能获取机器人操作数据的途径大致有三类：互联网视频、仿真数据、真机遥操作采集。

互联网视频量最大，YouTube和短视频平台上有海量人类操作视频，但严重缺少“动作信号”。视频里能看到手做了什么，却无法知道每根手指此刻的关节角度、手腕施加的力有多大、手臂末端在三维空间里的精确轨迹。这部分信息建模不出来，模型学到的是“看起来像”而不是“能执行”。

仿真数据解决了一部分动作信号问题，可以在物理引擎里生成大量轨迹和状态。但仿真到现实存在迁移鸿沟：接触摩擦、物体形变、相机噪声、机械臂响应延迟，这些在仿真里都难以还原。尤其涉及柔性物体——叠毛巾、撕包装袋、穿鞋带——仿真数据的价值断崖式下降。

剩下最靠谱的就是真机遥操作采集。人类操作员直接操纵机器人完成任务，机器人的关节角、末端位姿、夹爪开合力、相机画面被同步记录下来。每一条数据都是“观测+动作”的精确配对，且完全处于机器人的真实运动学空间内，不存在分布外的问题。

1.2 为什么必须动捕，不能靠机械臂示教

有些团队觉得遥操作就是用手臂拖拽机械臂记录示教轨迹，简单粗暴。但真做过桌面抓取、倒水、插排插这一类任务就会发现，绝大多数难度在“手”上，不在“整臂”上。

机械臂示教只能拿到末端的六维位姿轨迹，而手指的精细动作——捏、拧、搓、按压——完全无法通过拖拽机械臂表达。拿插USB线举例，任务成功与否往往取决于最后两厘米的朝向微调，以及两指之间的微小开合动作。这些信息只有佩戴动捕手套才能完整数字化。

Manus这一级别的动捕手套，本质是一套分布在手指各指节的惯性测量单元阵列，通过传感器融合算法实时估算每根手指的关节弯曲角度和手部全局姿态。它解决了两个关键问题：一是手部动作的连续、高频数字化；二是操作员手部与机器人末端之间动作空间的映射。

1.3 数据飞轮到底“飞”在哪里

飞轮的逻辑并不复杂，跟你滚雪球一个道理：先用一批人类演示数据训练出一个尚可使用的策略，把这个策略部署到真机上去跑，它会遇到很多没见过的边界情况——物体放歪了、光照变了、某个物体的形状跟训练数据不太一样。这些“策略不会做”的时刻，恰恰是最有价值的训练数据。把它们回收到数据集里重新训练，策略就变得更稳健，能处理更多场景，进而遇到更难更偏的数据，如此循环。

这套循环里，遥操作和动捕承担的是最前端的“数据生产”环节。飞轮转得快不快，很大程度上取决于数据生产端的信息保真度和吞吐量。这也是我把MOXI平台和Manus手套放在一起的初衷：解决“怎么高效、不丢细节地采集操作数据”这个飞轮的起点问题。

2. MOXI+Manus整套数据链路的架构拆解：从手套到机器人关节的每一环

聊完了“为什么”，再来看“长什么样”。MOXI在本文里指我们自建的一套遥操作与数据采集平台，名称就是我们内部对这个系统的代号。它不特指某个商业产品，而是一个把动捕手套、机械臂、相机、数据处理逻辑统一串起来的中间层。

2.1 硬件层的四个组成部分

整套采集工位分成四块：机器人本体、动捕手套、视觉感知、计算节点。

机械臂方面用的是某款七轴协作臂，七轴比六轴多了一个冗余自由度，末端姿态微调更灵活，也更贴近人类手臂的运动特性。夹爪最初选了二指平行夹爪，后来对开瓶盖、拔插头这类任务换成了带力控的三指夹爪，数据表达能力更强。

动捕手套用的就是标题里提到的Manus方案。穿戴上以后，食指、中指、无名指、小指、拇指的每个指节都能输出弯曲角度，配合手背上的位置追踪模块，还能拿到整只手的六自由度位姿。整套手套的好处是采样频率能到300Hz左右，延迟体感很低，长时间穿戴之后的舒适度也在线。

视觉感知用的是两台消费级RGB-D相机，一台固定在第三视角俯拍工作台，一台装在操作员肩部提供第一视角。深度信息对后续合成点云、做遥操作中的三维重建很有用。

2.2 MOXI平台承担的四个核心职责

硬件只是躯干，MOXI这个中间层才是大脑和神经。

第一个职责是坐标变换。手套输出的手部位姿是手套自身坐标系下的数据，机械臂末端要执行的是机械臂基座坐标系下的目标位姿，中间隔着操作员的身体位置、桌台高度、手套偏移量。MOXI在初始化阶段会执行一次标定，求出固定的变换矩阵，之后所有数据流过它时自动完成坐标系转换。

第二个职责是动作映射。手部全局位姿和机械臂末端位姿维度一致，可以直接映射；手指关节角和夹爪开合量则需要单独处理。手指弯曲的角度范围与夹爪开合距离范围不同，我采用了一段分段线性映射，把手指的弯曲百分比映射到夹爪开合百分比。后面踩坑部分会细讲这段非线性问题。

第三个职责是时间同步。手套、相机、机械臂控制器的采样频率各不相同，手上300Hz、相机30Hz、机械臂100Hz。MOXI在录制时给每条数据都打上统一的时间戳，特别冷启动和停机时用系统时钟对拍，离线后再按目标频率做重采样对齐，确保每个动作帧都有对应的视觉帧。

第四个职责是数据打包与回放。每采集完一段演示，MOXI会生成一个标准格式的数据目录，包含图像序列、深度序列、关节轨迹、动作指令、文本描述。内部集成了一个简易回放器，可以逐帧查看轨迹和对齐程度，当场发现问题当场重采。

3. 搭建第一版数据采集工位：硬件选型、坐标对齐与延迟控制

这一节会比较偏工程实操，也是整套方案里最容易走弯路的部分。设备买回来连上线只是第一步，真正花时间的在于让各个设备在同一个时空里和谐工作。

3.1 为什么选手套而不是力反馈遥操作臂

前期调研对比过专业遥操作臂方案，带力反馈的那种整套下来成本高出一个数量级，而且占地大、维护复杂。更重要的是，大多数桌面操作任务的瓶颈不在力感知，而在手部姿态的还原度。协作臂本身已经带有不错的力反馈能力，操作员虽然摸不到真实的物体，但通过相机的视觉反馈，配合夹爪的力传感器读数，基本能建立足够的临场感。

如果任务变成手术缝合、精密装配这一类对力反馈敏感的细粒度操作，职业遥操作臂的价值才会凸显。当前场景下，动捕手套是性价比最高的方案，同时数据采集不受线缆束缚——操作员可以直接站在工位旁做演示，无需被机械结构限制动作范围。

3.2 坐标系对齐的实操方法

坐标对齐做不好，采集回来的数据就是废的。我第一次搭建时偷懒，手套坐标系和机械臂坐标系直接用默认值，结果策略训练出来之后，机械臂总往桌面右侧偏移几厘米。

后来采用了一套较稳的标定流程：在桌面上固定一个已知几何尺寸的标定块，操作员佩戴手套用手指触碰标定块的三个已知顶点，记录手套坐标系下指尖的位置，同时用机械臂的末端分别移动到同样三个顶点，记录机械臂基座坐标系下的位置。拿到三对对应点之后，用最小二乘求取刚体变换矩阵，误差普遍能压到1厘米以内。

需要注意标定块的高度要和工作任务中常见的物体高度保持一致。如果又做桌面任务又做桌面下方的抽屉任务，建议分别标定两套变换矩阵，切换任务时手动加载，而不是用一个全局变换硬扛。

3.3 延迟：操作员比你更敏感

无线动捕手套带来的延迟叠加通信传输、中间层处理、机械臂执行，总延迟如果超过100毫秒，操作员会明显感觉“手不听使唤”，采集效率和动作质量都会下降。

我在实战中将工程链路控制在80到120毫秒左右，具体拆分如下：

• 手套SDK数据融合与传输：约20毫秒
• 无线网络传输：约10毫秒
• MOXI坐标变换与映射运算：约10毫秒
• 机械臂控制系统响应：约40毫秒
• 相机画面显示给操作员：约30毫秒（另走一路）

降低延迟最直接的手段是：手套SDK尽量只开启远程模式关闭渲染，减少本机计算负载；相机画面单独走低延迟模式；机械臂控制频率调到250Hz以上。

数据采集的SOP同样重要。我要求操作员每次采集前先做五分钟的预热操作，包括张开握紧、转动腕部、指捏小球，目的是让手套的传感器适应手部温度变化，减少零点漂移。预热之后执行一次零点校准，然后才开始正式录制。

4. 数据格式与“飞轮”的转动逻辑：一段操作如何变成策略训练样本

采集系统稳定跑起来之后，下一个问题很直接：录到的数据到底长什么样？拿什么结构喂给策略模型？以及飞轮到底从哪一步开始转。

4.1 标准数据包的结构设计

以一段“拿起杯子放到指定位置”的演示为例，MOXI产出的数据包包含如下组成部分：

之所以把hand_joint_angles和ee_pose分开记录，是因为两种坐标空间不同，训练的后期可能只使用其一。例如有些策略算法只依赖末端轨迹，有些则需要完整的手部关节信息来执行灵巧操作。数据格式越原始、越不经过预处理，复用的灵活性就越高。

4.2 从原始数据到训练样本的转换管道

原始数据不能直接进模型。实操中我按四个步骤做转换：

第一步是重采样对齐，把所有信号按控制频率统一重采样。比如机械臂本体控制频率是100Hz，那么一条15秒的演示最终得到1500组同步的观测-动作对。

第二步是归一化和滤波，对手部关节角做平滑滤波，去除高频抖动；对相机画面做统一的白平衡和曝光校正，减少不同时间段采集的图像风格漂移。

第三步是数据增广，包括左右镜像、轨迹时序扰动、夹爪开合时序抖动。特别要注意左右镜像时必须同步交换指令文本中的左右语义，像“把杯子放到左边的托盘”这种指令镜像后要修改为右边。

第四步是切分为训练集和验证集。验证集必须按“未见过任务的演示片段”划分，而不是随机抽帧。如果按帧随机划分，同一段演示前后帧才能互相“作弊”，获得虚高的验证指标。

4.3 飞轮的第一圈怎么转起来

完整飞轮的起步流程我拆成了四步：

先采集小规模种子数据。第一批只做3到5个任务，每个任务采集80到100条演示，覆盖操作员、不同物体位置、不同颜色外观。这个阶段的核心目标是快点跑通训练和部署链路，而不是追求数据量。

然后用种子数据训练基础策略，不在仿真里过度调优，能跑就上真机。部署到真机后，设置一个自动回录机制——当策略给出的动作置信度低于阈值，或者任务在规定时间内没有完成时，系统自动保存这一段传感器流。

接着人工回看回录片段并筛选。这一步价值很大，经验是大约30%的目标记录确实值得入库，剩下的或是对齐错位，或是操作员操作失误。这个比例会随策略迭代逐步下降。

最后把筛选后的数据经过同样的数据包格式回存到数据集，再次训练，飞轮完成第一圈旋转。

5. 真机部署与数据回流：策略上线后如何反哺采集侧

数据采集和训练跑通只是前半程，真正的考验是把策略部署到真机上——之前在仿真里没暴露的问题这时候全都会冒出来。

5.1 部署前必须检查的安全底限

具身智能策略部署不是单纯地把模型权重加载进控制器。我整理了三道安全保险：

机械层面：设置末端最大速度限制，通常是人工操作示范速度上限的80%，防止策略在异常状态下猛冲。夹爪夹紧力设置阈值，超过阈值自动回退。

控制层面：加入预测与真值的偏差监测，当策略输出的目标位姿与机器人的实际状态偏差突然变大时，立即暂停执行并请求人工介入。

软件层面：订阅一条独立于策略进程的看门狗通道，主进程中任何一步计算超时都会触发停机，而不是让机器人僵在原位。

这些措施听起来保守，但真机调试中我遇到过策略对特定光照生成异常轨迹的情况，如果没有速度限制，夹爪会直接朝桌面边缘撞过去。

5.2 部署中的推理频率与稳定性

策略模型在真机上的运行结构并不复杂：从多路相机采集画面，拼接后输入视觉编码器，提取特征后送入动作解码器，输出下一时刻的末端位姿和目标夹爪开合量。整个推理链路在200Hz的控制周期内完成，对计算负载比较敏感。

我实测下来，单块中等性能的GPU足够支撑轻量视觉编码器加扩散策略的实时推理。如果模型加大，优先做画面降采样而不是压缩控制频率。控制频率一旦从200Hz降到50Hz，同样的策略在真机上的成功率可能直接下降5到10个百分点，因为末端轨迹的插值颗粒变粗，容易错过细微的接触反馈。

5.3 回流数据的选取规则

数据回流不能做到全量自动入库，否则噪声会污染整个训练集。我的筛选分级如下表：

这一个回流环节的价值，在“开抽屉”任务上体现得最直观。第一版策略部署后成功率约90%，回流的失败数据主要集中在抽屉卡滞和手把位置偏移两类场景。补充了约500条边界案例数据后，第二版策略成功率提升到98%。期间网络结构完全没动，纯粹是数据分布补齐了盲区。

回流数据与采集侧数据共用同一套schema，是让飞轮转得顺畅的关键。MOXI在接入回流记录时，自动补齐时间戳、坐标变换和图像序列，确保新数据与原始种子数据无差别地混合，避免了“训练数据格式不统一”这种低级问题。

6. 实测中的踩坑记录：手套漂移、轨迹抖动与批次不一致

最后这部分是这半年踩坑的合集。很多问题不是逻辑上的硬伤，而是设备特性带来的软坑，网上文档里基本不会写。

6.1 手套零点漂移：采集半小时后夹爪“自己”半开

动捕手套持续佩戴30分钟以上，传感器温度变化和机械移位会让零点缓慢漂移。表现是操作员明明五指张开，手套输出的手指弯曲角却显示处于半握拳状态，映射到夹爪指令上就成了“机械爪永远半开着”，抓取动作变形。

规避方式分两个层面。操作层面：要求操作员每采15分钟刻意做一次五指完全张开、完全握拳的“复查动作”，并在软件里标注这一刻的读数作为浮动零点。算法层面：数据后处理时不再使用绝对弯曲角，而是使用相对前一帧的弯曲角变化量，这样零点漂移带来的常量偏差会在差分操作中被消除。

6.2 坐标跳变：手部追踪被遮挡时的“瞬移”

操作员的手臂交叉、手掌靠近桌面边缘时，手套的位置追踪模块偶尔会丢失信号，输出的手部位姿瞬间跳变几十厘米。如果这段数据直接进入机械臂执行，会让机械臂产生一个猛甩动作，既危险又毁数据。

我的解决办法是加入两层过滤：MOXI层对连续帧位姿变化做限幅，单帧位移超过设定阈值时暂缓执行，等待追踪恢复或保持在上一帧位置；后处理阶段对轨迹窗口做平滑插值，把丢失段的起止点均匀连接起来。两层过滤之后，坐标跳变对真实策略训练的影响基本可以忽略。

6.3 操作员批次不一致：模型会记住“谁在操作”

三位操作员分别采集各自批次的数据后，我训练出的模型出现了一个有趣现象：模型对某位操作员风格特别“上头”——那位操作员习惯快进快出地抓取，模型也学得动作急；另一位操作员动作稳而慢，模型只要换到这个风格就表现出明显的犹豫。

这其实是典型的批次偏差问题，模型学到了“操作员身份”这个与任务无关的特征。解决方案有三个：训练时混入不同操作员的数据，这是治本手段；数据增广时加大轨迹时序扰动的强度；在数据包里加入操作员ID提示，配合条件训练让模型学会忽略这个附带维度。

6.4 夹爪映射的非线性：真手与夹爪的运动学不等价

真人的手指弯曲是两个以上关节的联动，而二指夹爪本质上只有一个自由度。直接把手指弯曲百分比映射到夹爪开合百分比，在接近完全张开和完全闭合的两端会出现明显的非线性区——手指接近伸直时，夹爪开合的微小变化对应手指角度的大幅变化，策略在夹取松软物体时表现不稳定。

后来在标定环节增加了一组插值点：分别记录“紧握”“半握”“自然伸开”“完全张开”四种手势下夹爪应该对应的开合量，用分段线性插值替代全局线性映射。改完之后，夹爪对杯壁、软布、细小线缆的抓取成功率提升明显。

6.5 数据数量陷阱：脏数据对策略的伤害是指数级的

最后一坑非常反直觉：很多人以为数据量越多越好，实际上数据质量才是第一优先级。实验里哪怕混入15%的对齐错误数据，策略成功率就可能从90%跌到75%以下。具身智能的数据清洗，比模型结构选择更重要。

我现在每天采集结束都会花15分钟用MOXI的回放器从头到尾过一遍所有片段，肉眼标记明显异常帧。这个习惯看起来原始，但避免了大量无效训练迭代。

最后再分享一条我最近悟出来的体会：数据飞轮能不能转起来，核心不在某个炫酷的模型结构，而在于把数据采集、清洗、训练、部署、回流当成一条基建流水线来对待。戴上手套之前，先想清楚时间戳同步和坐标标定；部署策略之前，先设计好哪些失败案例值得自动回流。这些环节单独看都不难，但把它们拼在一起踏实跑通，具身智能项目就真正从“能看Demo”迈向了“能迭代系统”。