去年年中，我们团队卡在一个机械臂桌面抓取项目上。模型结构本身没什么问题，难的是后训练数据：一台六轴机械臂配示教器，熟练操作员折腾一下午，也就攒下四五十条有效演示，其中还有不少因为末端抖动或路径规划超时被直接废掉。后来我们把手持采数方案引入流程，把真人放进数据回路里，先绕开真机做后训练，这才把节奏跑起来。今天这篇就是把整套方案的原理、实施细节和踩过的坑完整盘一遍，给正被真机采数折磨的同行一个参考。
先说明一点，这里说的"绕开真机"不是彻底不碰真机，而是策略学习阶段不依赖实体机器人采数、不依赖真机试错，等模型在离线数据上学到一定能力之后，再回到真机做验证和部署。这套思路特别适合桌面操作、物体抓取、移动操作这类以视觉为主导的任务，也是目前不少人说的"把人放进回路"的真正含义：人负责演示、筛选、反馈，机器负责学。
1. 先算一笔账：真机采数为什么是后训练的真正瓶颈
1.1 时间和成本，不是线性增长而是指数恶化
后训练阶段最缺的从来不是模型容量，而是干净、多样、覆盖边界的操作数据。很多人一开始都习惯直接上真机，觉得"反正最终要在真机上跑，不如一开始就在真机上采"。这个逻辑听起来没错，但真正执行起来会发现账完全算不过来。
首先是节拍问题。真机遥操作采数，一条演示通常要做"复位—安全限速—操作—保存"这么一套流程。以一台六轴机械臂配合夹爪、工作站为例，熟练操作员用示教器或主手遥操作，一条15秒的轨迹，加上复位、检查和保存，实际要花2到3分钟。也就是说，一个下午满打满算也就四五十条，而且操作员长时间保持紧张状态，越往后轨迹质量越差。我见过不少团队为了凑数据量，操作员连续拉满两小时，结果后半段数据的末端速度曲线抖动得没法看，最后还是得清洗掉。
其次是一致性问题。同一台真机，操作员换一个人，习惯、发力方式、观察角度完全不同，数据分布立刻变成多模态。更麻烦的是，真机的运动学约束会"过滤"掉一部分人的自然动作——机械臂关节限位、奇异点、速度上限，这些都会让操作员被迫改变动作方式，采出来的数据其实已经被机器人本体"污染"了一遍。
1.2 安全限制直接扼杀探索性数据
后训练阶段最需要的恰恰是那种"不那么完美但包含纠错过程"的探索性数据。真机采数最大的问题就是不敢让模型乱探索。强化学习在真机上跑，一个超出力控上限的动作就可能撞坏夹爪，更别说让机械臂尝试一些未知轨迹了。所以实际项目里，真机采数只能规规矩矩地采演示轨迹，探索性数据几乎为零。
这带来一个隐性后果：模型在后续部署时遇到没见过的物体位置、没见过的光照条件，很容易崩溃，因为它从没见过"错误动作之后如何修正"这种过程数据。而手持采数恰恰可以低成本地采集大量"尝试—失败—调整—成功"的数据，因为人手的容错性天然比机械臂高得多。
1.3 一个反直觉的结论：绕开真机反而更接近部署场景
我做了几个项目之后才发现，手持采数采出来的数据，虽然在关节空间上跟真机对不上，但在任务空间上反而更贴近真实操作。
解释一下：真机遥操作时，操作员是在机器人坐标系里思考，动作是"让机械臂末端移到哪、夹爪开多少"，这中间经过了一层运动学映射；而手持采数时，人的手直接拿着夹爪在物理世界里操作，大脑规划的是"我的手应该往哪走、张开还是合拢"，这个动作直接发生在任务空间里。后训练要学的正是这种任务空间里的决策逻辑，而不是某个机械臂特定关节角度的组合。所以从任务学习角度讲，手持采数得到的轨迹，信息密度更高、语义更干净。
2. 手持采数的原理：它采的不是"动作"，是"末端轨迹+视觉上下文"
2.1 硬件选型与组装，没那么玄乎但细节很多
手持采数不是随便拿个夹爪录视频这么简单。我们当时的方案参考了这类设备的常见做法：手持夹爪主体用轻质材料做外壳，内部保留平行开合的机械结构，夹爪开合角度通过磁编码器读取；左右两侧各装一个鱼眼摄像头，提供接近机器人腕部视角的画面；顶部再加一个前视相机，用来记录桌面全局上下文。
触发采集的开关很重要，建议别用普通按钮，改成类似自行车刹车把手的扳机结构。这样人握着夹爪时，手指自然扣动就能控制开合，不需要额外分心去按按钮。我一开始图省事用过相机快门按钮改装，结果实际操作时经常误触，重新设计成扳机结构之后才松了一口气。
数据记录方面，最简单的方案是在夹爪本体上固定一个小型计算设备，同步记录左右鱼眼画面、夹爪开合角度和IMU数据。如果想省事，也可以让手机通过有线连接读取传感器数据。注意别用无线图传，手持采数时经常走动，Wi-Fi掉帧会让你后期对齐想骂人。
2.2 夹爪姿态对齐：这套方案最关键的一环
很多人第一次接触手持采数，都会问一个问题：人手拿夹爪的轨迹，跟机器人末端执行器的轨迹，几何学上完全两回事，怎么迁移？
这里的关键叫"抓握姿态对齐"，也叫gripper pose alignment。核心思想是：不把夹爪当作遥操作工具去映射关节角，而是把整个系统看成一只手拿着末端工具在作业。每个时间步记录的是末端工具的位姿变化量，配合夹爪开合量，组成"相对于当前观测的动作增量"。训练时，模型学到的是"看到当前画面，末端应该移动多少、夹爪开合多少"的映射，而不是某个机械臂的绝对位置指令。
这带来一个非常大的好处：机器人本体参数被彻底解耦了。你的机械臂臂长、基座位置、关节限位是什么样，都不影响训练。等到部署时，只需要把相对动作通过逆运动学转换成目标关节位置，就能在真机上执行。
2.3 视角一致性：鱼眼相机为什么比普通相机强
手持采数最隐蔽的坑在视觉域差距。机器人身上装的是腕部相机，人手持夹爪时眼睛看的又是头顶视角，如果不能做到视角对齐，训练出来的策略基本是废的。
解决方案是让手持夹爪上装的相机，尽量贴近机器人腕部相机的内参和位置。鱼眼镜头在这里比普通镜头有天然优势，因为它的视场角足够大，既能拍到目标物体，又能拍到操作环境的上文信息，接近人在操作时的视觉范围。我们当时选了190度视场角的鱼眼镜头，配合去畸变预处理，效果比最开始用普通摄像头好了不止一档。如果预算允许，后期可以再加一个前视相机做全局上下文，这在移动操作任务里尤其管用，因为人走动时全局视角能提供地面定位信息。
3. 把人放进回路的三种打开方式：演示、清洗、围剿
3.1 演示者：不是随便演示，而是按"演示协议"来
很多人以为手持采数就是找几个人随便操作一下，数据就自然具有多样性了。实际操作下来完全不是这样。如果没有明确的演示协议，采集出来的数据分布会很散：有的操作员动作太快，画面全是运动模糊；有的操作员习惯把夹爪放在物体正上方才打开，导致抓取阶段特征不明显。
我们后来给操作员定了几条铁律：第一，操作前先盯着目标看两秒，让相机稳定；第二，动作速度控制在"比正常稍慢一点"的节奏，保证鱼眼画面不拖影；第三步，每次操作尽量在同一个起止位置开始和结束，方便后期截取有效片段；最后，记录每个演示的元数据，包括操作员ID、光照条件、物体摆放位置，这些标签后面训练时都是关键条件变量。
3.2 质检员：数据清洗是后训练里最被低估的一步
手持采数据说快也快，熟练操作员一天能采几百条，但清洗工作如果不跟上，垃圾数据进模型，模型就学坏。我们项目里专门让一个人负责质检，标准流程是：先把采集到的视频按照2倍速回放一遍，重点看夹爪的夹持点是否稳定、有没有中途松脱、目标物体是否被意外碰倒。
更有意思的是，我们后来引入了一个"过程标注"环节。不只是看结果是否成功，还要标注失败尝试。比如某条轨迹最后没抓稳，但前半段"接近—对准—张爪"这个过程做得很好，那就把前半段保留，截掉后半段。这样一条失败轨迹能贡献出半条高质量数据，数据利用率大幅提升。建议你也试一下这个思路，尤其是在数据量紧张的项目里，效果非常明显。
3.3 评估员：用快速迭代围剿失败模式
人在回路的另一个重要角色是给策略当评估员。手持采数最大的优势是数据来源灵活，可以针对失败模式快速补充数据。我们训练初期策略经常在某些特定物体位置翻车，如果是在真机采数阶段，只能重新摆布机械臂、重新采数据；但用手持采数，我们可以直接让人拿着夹爪，在那个失败位置附近多演示几遍，甚至人为制造"从错误位置纠正回来"的过程。
这个闭环流程建议跑起来：先采一小批数据训练一个quick策略模型，然后拿到真机或仿真环境里跑一跑，观察失败集中在哪些场景，再针对这些场景手持补采几十条数据，重新微调模型。反复迭代两三轮之后，成功率会明显上升。这种做法相当于把真机试错的花费转移到人身上，成本低且安全。
4. 从手持数据到可部署策略：后训练流水线的关键步骤
4.1 数据预处理：先做时间同步、去畸变、轨迹平滑
手持采数的数据流和机器人日志格式完全不同，不能指望开箱即用。第一步是时间同步：相机帧率、夹爪编码器频率、IMU频率必须统一到一个时间基准上，否则图像和动作对不上，训练直接崩。我们用的是把所有传感器数据打上硬件时间戳，然后重采样到统一的15Hz。这个频率对大部分桌面操作任务是够用的，帧率再高反而增加训练内存开销。
第二步是图像去畸变。鱼眼镜头拍出来的原始画面边缘畸变非常严重，直接送入模型会让卷积核学出一些歪七扭八的特征。先用标定板把鱼眼内参标出来，再做去畸变，画面立刻正常很多。注意去畸变之后的图像分辨率不要压缩太狠，保留640x480左右比较稳妥，太低会丢失物体边缘信息。
第三是轨迹平滑。人手操作时末端轨迹天然包含一些微小抖动，对机器人执行影响不大，但如果直接作为训练标签，模型会把这种高频抖动学进策略里。我们用的是Savitzky-Golay滤波器对开合角度和位姿增量做平滑，效果比简单低通滤波好，能保留动作边界上的真实细节。
4.2 模型选型：从行为克隆到扩散策略/VLA的进阶路线
数据处理好之后，训练环节其实有不少现成路线。最基础的是行为克隆，把"当前观测→动作增量"当作监督信号直接学。行为克隆对数据量要求低，但泛化性弱，适合快速验证数据质量。
如果你想让模型更鲁棒，建议直接上扩散策略（Diffusion Policy）这类生成式模型。扩散策略把动作预测建模成"从噪声中逐步去噪生成动作序列"的过程，天然有多模态能力——同一种视觉场景它可以生成多种合理的动作轨迹，这对操作员风格多样性很强的数据特别友好。我们用这类模型替换掉行为克隆之后，策略在未见过的新物体位置上的成功率提升了将近一倍。
再进阶一步，可以把手持采数跟预训练视觉语言模型结合起来。具体做法是：用已有的VLM提取视觉特征，只在上层加一个动作预测头，然后用我们采集的数据做监督微调。因为VLM已经具备很强的场景理解能力，后训练阶段只需要让模型学会"针对这个场景输出合适的操作动作"，参数量增加不大，数据需求也远低于从零训练行为克隆。
4.3 离线评估：在连接真机之前先让策略"过一遍筛子"
很多人训练完之后直接上真机，结果被喷得满头包。我们的建议是，先做一轮离线评估，把明显不合格的策略筛掉。方法是：拿一批未参与训练的验证数据（也是手持采集的），在模型上做"开环预测"，看预测的动作序列和实际演示轨迹的差异有多大。如果验证集损失居高不下，八成是数据有问题或者模型容量不够，这时候回炉比上真机省时间多了。
有条件的话，甚至可以搭一个简陋的仿真环境，把策略的输出喂给仿真里的机械臂模型，统计成功率。仿真不能完全替代真机，但能筛掉一大批"一看物理上就不成立"的失败策略。我们项目里，离线筛选大约能提前淘汰掉三成候选策略，省下的真机调试时间非常可观。
5. 回到真机的最后一公里：连接、校验与避坑
5.1 连接真机时的坐标系对齐
手持采数训练的模型要真正跑在机器人上，第一件要做的事就是把相对动作映射到机器人的运动学框架里。这一步我们踩过不少坑。具体做法是：先定义机器人末端执行器的参考坐标系，然后根据当前机器人基座和相机的标定关系，把模型输出的末端增量动作换算成基座坐标系下的目标位姿，再用逆运动学解算出各关节目标位置。
这里比较关键的是相机到机器人末端的标定，也就是常说的手眼标定。在连接真机之前，一定要对手眼标定结果做一次验证：让机器人末端移动到几个已知位置，看视觉预测的位置和实际位置误差是否在可接受范围内。误差超过两厘米的任务，建议先重新标定，别硬跑。
5.2 执行层面的差异：限位、力控、速度三个必调项
手持采数时人的手腕活动范围很大，但机器人关节是有软限位和硬限位的。训练好的策略如果输出一个超过限位的位置指令，真实机器人的做法通常是直接拒绝执行或安全停止。所以我们部署时给动作输出加了一层限幅器，把所有末端动作限制在机器人可达空间内，并且做了平滑插值，防止指令跳动过大触发急停。
第二个必调项是力控。人持夹爪夹东西的时候，手的握力是无级变化的，但机器人夹爪往往有最大力限制。如果策略输出的夹爪开合量很大，而物体材质柔软，强行执行可能把物体夹变形或夹碎。这个问题的处理方式是：训练时在开合角度标签上做一个归一化，把"完全闭合"映射到机器人夹爪实际允许的力控范围内，部署时再叠加一个基于电流的力阈值保护。
第三个是速度。我们实测下来，如果直接把手持采数时的操作速度应用到真机上，机械臂的加速度往往超出电机能力，轻则触发过流保护，重则损坏机构。建议部署时对末端速度做一个上限控制，比如把最大线速度限制在训练数据的95分位以内，既保留动作意图，又保护硬件。
5.3 我踩过最无语的坑：设备维护与操作员一致性
最后分享几个非常隐蔽但杀伤力很大的坑，都是真金白银换来的教训。
第一个是标定漂移。手持夹爪的鱼眼镜头和夹爪本体连接处，虽然出厂调好了，但磕碰几次之后，哪怕只有一毫米的偏移，都会造成末端位置估计明显偏斜。我们有一段时间策略在真机上频繁失败，排查了半天，发现是手持夹爪用太久，相机支架框量扩大导致标定失效。从那之后，我们把"每次采数前用标定板验证一次内参"写进了日常流程。
第二个是操作员风格污染。有的操作员动作特别利落，有的则习惯慢悠悠地逼近；如果某一类风格在数据里占比过高，策略就会朝这个风格倾斜。处理办法有两个：要么在训练时把操作员ID作为条件输入，要么在采数阶段刻意均衡不同操作员的配额。我们后来采用后者，简单直接。
第三个是连接真机验证时的"场地条件差"。手持采数时人有大量主观补偿：握不稳会主动纠正，画面被手挡住会下意识挪开。机器人没有这些能力。所以连接真机时，建议不要完全复刻手持采数的桌面布置，要留出机器人运动的安全余量，否则很容易出现模型在训练场景里表现得很好、换到真机上却一头撞到旁边障碍物的情况。
说点实际的体会
跑完整套流程，最大的感受是：手持采数加人在回路这套打法，解决的不是"某个算法更好"的问题，而是把后训练阶段的数据瓶颈和真机试错成本同时压了下来。跟纯真机采数比，同样一个桌面清理任务，我们的有效数据积累速度提升了大概一个数量级，而且数据多样性反而更丰富。
当然要清醒一点：手持采数不是万能的。力敏感任务（插销、拧螺丝）、需要精确力反馈的操作，光靠视觉和末端位姿远远不够；那种任务，该上真机还是得上真机，甚至需要加入触觉传感器。但对于以视觉引导为主的抓取、放置、移动操作，这套方案确实是一个性价比极高的起点。
如果你正打算在项目里引入这个思路，我最后的建议是：先别买太多昂贵设备，拿一套简单的手持夹爪加两个鱼眼摄像头，先采两三百条数据，跑通从采数到训练再到真机验证的完整闭环，感受一下每一环的坑在哪里，再考虑要不要规模化扩展采集团队和硬件。毕竟，工具本身不贵，真正贵的是对流程的理解。
