人向机器人迁移：人类操作技能如何搬到机器人身上

做具身智能这几年，我被人问得最多的一句话是：机器人到底什么时候能学会干家务？每次听到这个问题，我脑子里第一个浮现的既不是某个炫酷的大模型，也不是某个灵巧手Demo，而是一个听上去很朴素的方向：human to robot transfer。这次打算把物理智能（Physical Intelligence）这套技术路线的第八篇重点放在它身上，聊聊人类演示里的技能到底怎么搬到机器人身上，以及我在真实项目里跑通这条路时踩过的坑。

先说清楚它是什么。human to robot transfer，直译就是“人向机器人迁移”，指的是让机器人通过观察、跟随或记录人类操作，把人的动作技能、任务策略甚至是决策习惯，转成机器人自己的动作序列。它解决的正是具身智能最核心的那个断层：模型可以理解世界，但不知道怎么下手。这套东西不是某个实验室的玩具，它直接影响着家用服务机器人、工业装配助手、特种作业设备这些场景能不能真正落地。如果你正在做模仿学习、机器人的数据采集、策略部署，或者只是对“机器人看电视学做饭”这件事感兴趣，往下看应该都能有点收获。

1. 为什么Human to Robot Transfer是整套技术路线的关键拼图

1.1 从“看得懂”到“做得到”：跨过最后一个断层

前面七篇如果把地图画全的话，大概覆盖了感知、世界模型、决策规划这些上层能力。可等模型真正接到机器人身上时，你会发现一个尴尬的事实：它知道“该拿起水壶”，但它不知道该用多大的力、手该走哪条轨迹、要不要先转一下手腕。传统解决方式不外乎两条路：一是把自动化工程师叫来，手写轨迹点、调示教器、做一堆if-else；二是从头做强化学习，设计奖励、跑几百万步仿真。前者费人，后者费电费时间。human to robot transfer刻意绕开这两条路，它赌的是：人类每天都在产出海量动作数据，这些数据里已经编码了“该怎么下手”的先验知识。机器人只要学会把这些先验知识“翻译”成自己的动作，就能少走一大截弯路。

这样解释为什么是关键拼图：其他模块解决的是“理解”，H2R解决的是“执行时的起点”。没有这一步，模型停在云端和海量视频里，永远落不到真实的机械臂末端。我在做部署的时候，感受特别深：哪怕你把感知模型调到天上去，只要动作头还依赖人工规则，一旦场景变了十条规则就废掉九条。H2R是让动作头具备“从人身上学习”的起点能力，整个系统才有机会跳出规则化的泥潭。

1.2 人类数据为什么是一块绕不开的富矿

先看数据规模。全球的视频平台上有天文数字级别的“做饭、打扫、修理”内容，如果把每一帧都当作潜在训练样本，这是任何机器人专用数据集都比不上的。再看数据质量，人类动作本身是长期演化的产物，拿筷子、拧瓶盖、扶盘子，这类动作在力控、轨迹、时序上天然接近“优质示范”。用人类演示做迁移，等于免费拿到了一份带专家风格的先验分布，这是从零探索学不来的。

但富矿同时也难挖，因为人类和机器人在身体结构上存在系统性差异：人有肩胛骨和肘关节的冗余，机械臂只有六个或七个自由度；人的手是五根手指柔性抓取，夹爪通常只有一两个自由度；人的动作轨迹是平滑的，而机器人控制周期可能只有几十赫兹。这就是“迁移”二字的分量所在，直接把人的关节角拷贝到机器人身上没有任何意义，必须先把人类数据转成机器人能够执行、又保留任务意图的表达。这也是为什么我会在数据采集部分花那么大力气讲表示方法——表示选错了，后面所有算法都是白搭。

1.3 路线图上的三条主要分支

按数据来源，H2R大致分成三条分支：遥操作采集、动作捕捉映射、视频迁移学习。遥操作是人直接操控主手或示教器，机器人实时跟随，采集到的状态-动作对最干净，关节角、力反馈都能拿到，但采集速度慢、人容易疲劳。动作捕捉是人穿动捕服或戴手套做动作，通过算法把人体骨架重定向到机器人，采集效率高，但遮挡、漂移、形态差异都是麻烦。视频迁移最诱人，因为它能吃互联网海量视频，但难点也最大：没有动作标签、没有力觉信息、视角还不统一。

选哪条分支，本质上是在数据规模、数据质量、采集成本三者之间做权衡。我的经验是：单一任务想快速落地，优先遥操作；要建大规模数据集，优先视频加逆运动学；精细操作或者需要可解释的动作轨迹，动捕和遥操作混合用。这里先给出路线概览，具体怎么选型我在后面结合实操再展开。

2. 数据采集：把人类动作变成机器人能懂的信号

2.1 三条主流采集路线对比

做H2R项目，最先怼到脸上的问题永远是数据从哪来，怎么采。我把三条路线的关键参数整理成了一张表，方便你做选型参考。

补充一点：采集时最好同步记录多模态信息，包括RGB-D图像、关节编码器、力矩传感器、IMU数据。哪怕当前策略用不到，留着对未来训练世界模型或做冗余恢复都有大用处。我吃过亏，早期为了省事只存了相机图和末端位姿，后来想做力控微调，数据里没有力矩信息，只能重新采一遍，时间成本翻倍。

2.2 数据清洗与标注：比想象中更脏更累

收集数据只是开始。人体和机器人数据脏的程度超出预期：演示开头总有几秒“空转”，也就是人还没想好要不要开始；演示中途可能会因为人分心而停滞；动捕系统偶尔会出现肢体穿模导致的关节跳变。这些脏数据如果不处理，训练出来的策略就会有莫名其妙的“等待动作”和“抽搐动作”，轻则降低成功率，重则让模型出现系统性偏置，比如每次都先原地愣一秒。

清洗流程我一般按四步走。第一步按任务边界截断首尾空转，只保留从手靠近物体到任务完成的核心片段。第二步按控制频率重采样，把不同批次的数据统一到同一个时间轴，比如统一到10Hz。第三步用滑动窗口平滑动捕跳变点，并人工肉眼扫一遍关键帧。第四步剔除失败演示，我建议不要只删整条，而是把失败片段标出来，留着做负样本。负样本不是用来给模型“学习错误”的，而是用来做安全过滤和异常检测的评估集。

标注方面，除了任务级标签如“拿起红色杯子放到桌上”，还要做子阶段标签，比如approach、grasp、lift、place。这样标签有两个好处：训练时可以配合阶段感知头做局部建模；部署后也能通过阶段分类器判断当前卡在哪一步。很多项目直接开训不看阶段分布，结果模型把所有动作混成一锅粥，出了故障根本定位不到原因。

2.3 动作表示的“翻译”问题

数据形态决定了迁移难度。我最常用也最推荐的动作表示是末端delta位姿加夹爪开合指令。所谓delta，就是每一帧相对于上一帧的位置和姿态变化量，单位是米和弧度。用delta而不是绝对位姿，好处是它对相机坐标系漂移不那么敏感，天然具备平移不变性；坏处是会累积误差，所以推理时要结合闭环反馈不断重置参考。也就是说，策略每次输出的是一小段变化量，执行器再把变化量叠到当前真实位姿上，形成闭环。

如果你面对的是灵巧手或人形机器人，末端位姿就不够用了，需要关节级表示。这时我建议用“关节角加末端位姿”双侧表示，一端喂给运动学求解器，一端喂给策略网络，让网络同时在任务空间和关节空间里做约束。多形态迁移时，我会在后面讲怎么用跨形态对齐处理这个问题。现在只需要记住：动作表示的选择会直接决定后续模型的泛化能力和部署稳定性，值得花时间在设计上。

3. 核心方法拆解：从模仿到泛化的关键机制

3.1 行为克隆：别急着把它当baseline

行为克隆（Behavior Cloning，BC）是H2R最早也最朴素的方法：把人类演示整理成状态-动作对，用监督学习拟合一个策略π(a|s)。它简单、稳定、可解释，所以直到今天我都建议先跑一版BC，用它做数据质量的试金石。如果BC都学不会，说明数据或者表示本身有问题，换更复杂的模型只会掩盖问题。我见过不少团队一上来就上扩散策略，结果扩散模型把脏数据里的噪声也学进去了，BC反而跑得更稳，这时候就得回头查数据。

BC最大的毛病是分布偏移（distribution shift）：训练时模型只见过成功示范的状态，部署时一旦偏离这些状态，它就不知道该怎么办，而且错误会不断累积。学术上常用DAgger来缓解，让专家在线纠正模型，但机器人场景里让人类随时接管机器人并实时给出最优动作，实操成本很高。所以现在的路线图里，BC更多是被当作一个基础组件，而不是最终解法。我自己的习惯是：先用BC跑通闭环，再决定要不要升级到更强的生成式策略。

3.2 扩散策略与隐式策略：为什么对人类数据更友好

人类做同一个任务往往有多种方式，例如拧瓶盖可以正手也可以反手，拿杯子可以用三指捏也可以五指抱。显式BC面对这种多峰动作分布时，会把输出平均成一条“哪也不挨哪”的轨迹，这就是学界常说的“平均动作”问题。扩散策略（Diffusion Policy）和隐式策略（Implicit Policy）就是冲着这个问题去的。

扩散策略的核心思想是：不直接回归动作，而是对动作分布做生成式建模。训练时逐步加噪、再去噪重建，推理时从一个随机噪声出发，通过多次去噪采样出动作。碰到多峰分布时，它能稳定地“选中”其中一条可行模式，而不是平均。你可以把它理解为：BC是把几条路线画成一条平均线，扩散策略则在每个路口保留多条路线，随机选一条能走通的。扩散策略输入可以是图像、点云，也可以是关键帧序列，输出通常是未来一段时间的动作序列，比如16步，这样它天然具备短时规划能力。

隐式策略走另一条路：用能量函数给每个状态下的候选动作打分，推理时通过优化方法找到得分最高的动作。它同样能表达多峰，而且不依赖生成模型的长时间采样，延迟更低。但它的训练更讲究负样本采样，负样本选得不好性能会明显掉。如果你追求部署实时性，隐式策略很香；如果你需要处理高度多模态的人类演示数据，扩散策略更省心。

3.3 跨形态对齐：让“人形”不再卡脖子

人类数据是人的形态，机器人可能长得完全不一样，有的六轴臂、有的七轴臂、有的人形机器人。直接端到端训练，策略会把关节空间和特定形态绑定，换一个机器人型号就废掉。跨形态对齐（Cross-Embodiment Alignment）的思路是把所有形态的数据灌进同一套框架，学一个与形态解耦的隐空间：输入层记录形态信息作为条件，中间层共享任务意图，输出层再根据当前机器人运动学恢复动作。

具体工程上常见两种做法。一是用形态标签做特征调制，比如通过条件归一化层把“当前是几自由度、有没有灵巧手”写进网络，让同一个主干网络在不同条件分支下激活不同参数。二是用跨注意力机制，让策略从形态描述中自适应读取执行参数。训练时混合多种数据源，同一任务同时提供人和多型号机器人的演示，模型就能学到“任务意图不变、执行方式随形态变化”的对齐。新机器人接入时只需要少量数据微调，这也是H2R往规模化方向走的重要前提。

3.4 重定向与逆动力学：处理形态差异的工程化方案

重定向（Retargeting）解决的是几何层面的迁移：把人体关节轨迹映射到机器人关节空间。它不是简单地做逆运动学，而是要同时考虑关节限位、末端朝向、速度和平滑性。我常用的做法是构建一个优化问题：最小化人与机器人在关键点（手腕、肘、躯干）上的位置差异，加上关节限位约束和加速度正则项。优先保证末端位置一致，其次才是肘部姿态，因为任务成败往往取决于末端，肘部只要别撞到别的物体就行。

逆动力学则解决力层面的迁移：人类施加在物体上的力如何换算成机器人关节力矩。很多做搬运任务的项目会忽略这一点，结果机器人轨迹学得一模一样，但夹爪力不够，东西滑掉了。解决思路是从人类动作中估计接触力和目标力，再映射到机器人力矩控制环。这需要采集时尽量带上力传感器数据，或者至少能从视觉和其他状态中估计受力。

这里有个很容易被忽略的点：人形机器人做全身任务时，除了手臂重定向，还要处理平衡约束和质心轨迹。直接把人类上半身动作强加给人形机器人，下半身很容易因为补偿力矩过大而摔倒。所以做全身迁移时通常会把双臂任务和步态规划分开，双臂用重定向，下肢用独立的稳定性控制器。这个“分离”看起来不够优雅，但在实际项目里最稳，也是我目前推荐的做法。

4. 实操层面：走通Human to Robot Transfer的最小流程

4.1 一个最小可复现的流程

我做迁移实验时有一套固定的流水线，分享出来供参考。以一个“拿起螺丝刀拧紧螺丝”的单臂桌面任务为例。

第一步，选任务和采集设备。我推荐先做桌面单臂任务，因为状态空间好控制、失败模式清晰。采集设备用主手遥操作，同时用两台深度相机拍不同视角，一个看全局，一个看手部特写。第二步，采集20到50条演示，每条演示记录RGB-D图像流、末端位姿、夹爪开合状态和关节角，统一存成一条带时间戳的记录。第三步，预处理：按前面讲的流程截断重采样，把轨迹统一到10Hz控制频率，做必要的光顺。第四步，定义动作表示：15维向量，前6维是末端delta位姿平移和旋转，第7维是夹爪开合量，后8维预留用来放冗余信息或辅助控制量。第五步，训练扩散策略：输入为过去4帧的RGB-D特征和末端状态，输出为未来16步的delta动作，训练迭代几十个epoch直到验证损失稳定。第六步，部署：推理频率控制在10Hz，把输出的动作序列按最小抖动原则重新规划执行，执行频率放到20Hz。

这里强调一下频率设计的逻辑：模型预测是10Hz，执行可以到20Hz，中间靠一个轻量的轨迹插值器衔接。这样既能保证策略有时间思考，又能让电机运动平滑。我一开始把模型推理频率直接当执行频率用，结果动作一顿一顿的，后来加了插值器才顺。你可以在真机上观察机械臂有没有“一顿一顿”的现象，如果有，大概率就是控制频率链路设计出了问题。

4.2 数据增强与视角变换的实战技巧

机器人部署和仿真环境最大的不同是“现场不听话”。训练时桌子在左边，部署时被挪到右边，策略就懵了。所以我强烈建议在数据增强阶段就引入多样化。

我试过比较有效的增强包括：物体初始位置在小范围内随机扰动；对RGB图像做轻微亮度、对比度扰动；在训练时随机变换末端初始偏移，让模型学会“从一开始就纠正偏差”。根据我的经验，只要数据采集时物体位置固定，即使用最强的模型，换个位置成功率也会骤降一多半；加了位置扰动后，成功率能回升到可用水平。这个现象背后是数据覆盖度问题，模型没见过那个状态，再强的拟合能力也无济于事。

视角问题更要命。一开始我用眼在手外，训练效果好，但部署时把相机换了10厘米位置，成功率直接跳水。后来总结出两条经验：精细操作尽量用眼在手上，因为末端视角随机械臂移动更稳定；全局桌面理解用眼在手外，但必须做多视角数据增强，或者在训练和部署之间保持严格一致的相机标定。另外，图像输入前统一做裁剪和归一化，可以省很多事。我的习惯是固定输入分辨率，同时把图像上的时间戳信息一起喂给网络，避免机器人把它当静态图处理。

4.3 评估迁移真的成功了

只统计“成功率”远远不够，我建议给自己列一张更详细的评估表。除了成功率，还要记录：平均任务时长、人类干预次数、动作抖动程度、对物体位置和外观变化的鲁棒性、对相机视角变化的鲁棒性。按照从易到难分三档测试：第一档固定初始条件，验证基本可用；第二档随机化物体位置和背景，验证泛化；第三档加入人为干扰，比如把螺丝刀换个颜色、多放一个无关物体，验证抗干扰。

光记指标还不够，我习惯每次失败都留下“失败档案”，例如“物体在视野边缘时抓取偏左”“动作中途停滞超过5秒”。根据个人经验，这些失败模式比成功率更能指导下一步要补哪些数据、调哪个环节。如果你发现几乎所有失败都集中在同一个阶段，比如抓取前的那一步，那么大概率不是策略不行，而是那个阶段的数据太少或者动作表示有问题，而不是急着换算法。

5. 常见问题与排查技巧实录

5.1 高频问题速查表

这张表是我几次项目迭代中沉淀下来的。它会帮你快速定位问题是在数据、标定、控制还是模型，而不是一开始就怀疑算法本身。很多时候你以为的模型问题，其实是系统链路里的某一个工程细节。

5.2 几则独门避坑心得

第一，不要用机器人控制器的“目标位置”直接当真实末端位姿记录。接通控时，控制器里的目标末端位置和实际编码器读数往往有细微偏差，除非你确认两者完全一致，否则请用外部视觉标定或者编码器反馈做交叉验证。我见过有项目因为这个偏差，抓取动作始终偏右，折腾了很久才发现是记录数据时用了设定值而不是反馈值。

第二，演示过程中的人为小抖动会被模型学成风格。我之前有一个项目，演示的人喜欢在拿取目标前轻轻“试探”两下，结果所有部署动作都带着试探性停顿。解决办法是采集时提醒操作者动作一气呵成，在预处理阶段对轨迹做低通光顺。这里的关键是，模型学习的其实是“演示集合的统计规律”，你不希望把人为噪声变成策略的固定风格。

第三，批归一化这类依赖批统计量的层在机器人策略里要慎用。机器人数据通常是非独立同分布的，尤其是时间相关数据，用层归一化往往更稳，这也是很多开源策略默认不用批归一化的原因之一。我早期训练时用了带批归一化的网络，结果发现训练集上loss很低，换一个场景的验证集上表现极不稳定。后来换成层归一化，这个问题立刻缓解。

6. 写在最后：一点个人体会

做了一段时间的human to robot transfer之后，我最大的体感是：这个方向真正的瓶颈不在算法，而在数据闭环。扩散策略、跨形态对齐这些方法本身已经很能打，但如果你没有一个稳定、廉价、干净的“人→机器人”数据生产线，再好的模型也发挥不出来。这一篇里很多细节看起来琐碎，比如数据频率、清洗流程、视角选择，但根据我的实际经验，这些地方恰恰是项目从“论文能跑”到“真机能用”的关键。后续我打算把跨形态迁移的模型结构单独拆一篇，把隐空间怎么建、条件特征怎么喂都讲透。如果你也正在这条路上摸索，欢迎带着你的踩坑记录来交流，很多问题真的是聊着聊着就聊明白了。