具身智能数据采集：从“跑通Demo”到“模型可用”的关键路径

1. 从“跑通Demo”到“模型可用”，数据采集从配角变成了主角

这两年我一直在做具身智能相关的项目，从一开始在仿真环境里跑强化学习，到后来转向真实机械臂上的模仿学习，再到尝试把大模型的能力接进机器人控制链路，一个感受越来越强烈：真正卡住项目进度的，不再是模型结构，也不再是算力，而是数据本身。

早期做视觉语言模型（VLM）的时候，“数据”通常意味着从互联网上爬取图文对，清洗、去重、配比，然后扔进训练框架里。那套流程虽然也繁琐，但至少数据是“存量”的，是已经存在于世界某个角落的文字和图片，你要做的只是把它们找出来、整理好。

但到了具身智能这个赛道，情况完全变了：机器人需要的数据，尤其是操作数据，世界上根本不存在存量。没有人给“把螺丝对准孔位并拧入”这个动作拍过几万条带关节角度、力矩反馈、末端速度的训练样本；也没有现成的语料库能告诉模型，“当夹爪碰到杯子侧面而不是顶部时，应该如何修正姿态”。这些数据必须在真实物理世界中，通过真机、通过人操作机器人、或者通过精心设计的自动化流程，一条一条“生产”出来。

这就是为什么专业数据采集方案开始成为这个领域绕不开的话题。我见过不少团队，算法水平没问题，论文也读得透，但项目卡在数据上几个月出不来成果。有的是用开源数据集训练，评估时发现泛化性一塌糊涂；有的是自己攒了一套采集设备，采出来的数据质量参差不齐，模型训练后动作抖得像帕金森；有的干脆雇人用示教器手动录数据，一天下来有效样本不到几十条。

这篇内容我想把这几年的实际经验整理一下，聊聊三个核心问题：为什么通用数据解决不了具身智能的需求，专业数据采集到底“专业”在哪里，以及作为研究团队，你该怎么判断自己需要什么级别的采集方案。

2. 具身智能的数据需求，和传统AI数据任务有本质差异

2.1 VLM数据是“认知”，具身数据是“行为”

先做一个最基础的区分。大模型领域常说的数据，核心价值在于认知——模型通过学习海量文本和图像，学会理解世界、理解语言、理解视觉内容之间的关系。GPT系列学的是“接下来最应该出现的token是什么”，CLIP学的是“这段文字和这张图片是否匹配”。这类数据的特征是：信息是显式的，标注是相对容易的，错误是可以容忍的——一张图文不怎么匹配的数据混进训练集，对整体效果的影响微乎其微。

具身智能模型的训练数据完全不同。一条有效的操作示教数据，是状态-动作对（state-action pair）在时间轴上的连续展开。它不只是一张图片、一段文字，而是一段包含视觉观测、关节角度、末端位姿、力/力矩反馈、甚至语言指令的多模态时序数据。模型要从这些数据中学习的，不是“这是什么物体”，而是“面对这个状态，下一步应该发出什么指令、施加多大的力、以什么轨迹运动”。

这意味着，数据采集中任何一点偏差都会被模型忠实学习。用人手引导机械臂时，如果人习惯于在到达目标点之前做一个明显的减速缓冲，模型学到的就是“接近物体时要先减速再加速”；如果采集时相机标定偏移了几毫米，模型学到的就是“抓取位置要比视觉看到的偏右几毫米”。

2.2 互联网上积累的“通用数据”为什么不够用

这两年开源社区提供了不少具身智能数据集，比如RT-1数据集、BridgeData等，也让一些团队产生了“直接拿来用”的想法。但经历过几次实操后，我的判断是：公开数据集只能用于预训练或调研，几乎不可能直接支撑你的具体任务。

原因之一，是本体差异（embodiment gap）。机器人的运动学结构决定了状态-动作空间的分布。别人的机械臂是7自由度的，你是6自由度的；别人的夹爪是平行开合的，你的是三指灵巧手；别人的移动底盘是全向轮的，你的是差速驱动的。这些差异意味着即使面对完全相同的视觉场景，最优的动作轨迹也是不同的。模型在别人的本体上学习到的策略，迁移到你的本体上，效果会断崖式下跌。

原因之二，是任务语义的差异。公开数据集里的任务往往是“拿起杯子”“打开抽屉”这类通用操作，而实际项目里的任务通常是“将特定型号的芯片放置到载具的指定槽位中”“将线束插入连接器并听到卡扣声”。这不仅是物体不同，更是任务的成功判据不同——后者带有明确的力觉和位姿约束，通用数据里根本没有这种粒度。

原因之三，是数据规模与多样性不足。具身智能模型目前公认需要的数据量级在十万到百万条量级，而大多数公开数据集的有效操作轨迹只有几千到几万条，且场景单调。也就是说，哪怕不考虑本体的差异，光靠公开数据，模型也远远没到“吃饱和”的状态。

2.3 人形机器人标准体系的落地，把数据问题推到了台前

说到这里我想提一下最近行业内比较关注的一个动向——有关人形机器人与具身智能标准体系的讨论越来越多，从基础术语到数据采集规范、评测标准，正在逐步成型。这背后反映出的一个事实就是：整个行业已经开始意识到，数据不规范，后面的模型训练、评测、量产就全都不规范。

没有统一的数据格式，A公司的数据B公司用不了；没有统一的采集规范，今天采的数据和明天采的数据在质量上可能完全不是一个分布；没有统一的安全标准，数据采集过程中的人机交互本身就存在风险。标准体系的缺失，本质上是在拖慢整个行业的数据飞轮转速。

所以我们现在讨论“专业数据采集方案”，并不是一个纯技术层面的优化问题，而是整个具身智能产业走向规模化之前，必须先补上的一块基础设施。

3. 专业数据采集方案的三个核心能力：可控、可扩展、可审计

3.1 可控：从“采到什么是什么”到“想采什么采什么”

专业数据采集方案和我自己最早用的那种“笔记本电脑+USB摄像头+遥控手柄”的方案，最大的区别在于可控性。

早期那种手动采集方式，本质上是在碰运气：人操作手柄的随意性很大，采集出来的轨迹可能有一半是无效探索——夹爪在物体上方比划了半天才抓下去，或者干脆没抓到。你事后看数据，发现大部分时间模型都在学习“犹豫”和“失败”。

专业方案的第一个特征是可控，具体体现在三个层面：

• 动作空间可控：可以约束采集时机械臂的末端速度上限、关节加速度上限，避免出现远超机器人物理能力的数据点。
• 场景配置可控：可以固定相机位姿、光照条件、物体摆放区域，减少与任务无关的视觉干扰。当然，也可以刻意引入干扰来做数据增强，关键是可以“按需配置”。
• 采集流程可控：比如设置“采集-重置-再采集”的工作流，每完成一次示教后自动将物体复位到初始状态，保证数据中任务起点的分布是可控的，而不是越采越乱。

很多团队在数据预处理环节花大力气做滤波、去抖、剔除离群点，这些当然重要，但本质上是在为采集时的粗糙做补偿。如果采集端就能控制数据分布，后续的清洗和整理成本会低一个数量级。

3.2 可扩展：从“一个人录一天”到“并行采集产线”

研究阶段一个研究生坐在工位上录数据，一天采200条轨迹，可能还够用。但当你要训练一个泛化性稍微好一点的操作策略，需要两万条有效轨迹的时候，这种单人模式就彻底转不动了。

可扩展性意味着，数据采集方案不能依赖某一个特定的人、某一台特定的设备。它需要做到：

• 标准化采集工位：多个工位使用相同的硬件配置和标定参数，保证不同工位采出来的数据在特征分布上是一致的。
• 非专家可操作：采集人员经过短期培训即可上岗，不需要理解背后的机器人控制原理。
• 数据自动汇聚：所有工位的数据实时汇总到统一的数据平台，自动完成格式转换、质量初筛和标注关联。

我们项目中期做了一个很典型的升级：从单个工位扩展到四个并行工位，采集效率翻了四倍，而数据质量波动反而更小了。原因很简单，单个工位采数据时，人的状态会影响数据分布——累了、分心了、操作速度变了，都会带偏数据；而多工位并行时，个体差异在很大程度上被平均掉了。

3.3 可审计：数据不只是用来训练的，也是用来定位问题的

这一点容易被忽略。当你的模型在某个case上反复失败时，你需要回溯到训练数据里去找原因。专业数据采集体系能够回答这样的问题：这条任务的所有原始视频是什么？对应的关节角度序列是什么？哪些数据是失败的演示（负样本）？数据增强做了哪些操作？

如果采集方案从一开始就没有把原始数据和元信息关联起来，出了问题就只能靠猜。这和写代码没有日志是一个道理——线上出了bug，没办法定位，只能靠肉眼review代码。

可审计性具体体现在数据格式设计上。我比较推荐的做法是：原始数据（sensor recordings）、标注数据（annotations）、元数据（metadata）三者分离，用统一的任务ID和时间戳关联起来。视觉流、关节状态流、力传感器流分开存储，而不是糅合成一个自造的二进制格式。这样每一步处理都有迹可循，模型训练到一半想换一个增强策略，也不需要重新采集。

4. 三类主流数据采集路线：遥操作示教、动作捕捉、自动化采集

4.1 遥操作示教：当下最主流，但“人的一致性”是最大变量

遥操作示教是目前学术界和工业界用得最多的方式。操作员通过主手（master device）控制从手（follower robot），完成一次示教后，系统记录下整个过程的视觉和状态数据。优点很明显：灵活，可以随时切换任务，不需要编程；人类先验丰富，人天生知道怎么拿杯子、怎么开抽屉，这些知识通过遥操作的方式直接注入到数据中。

但遥操作示教有一个深坑，我必须专门拿出来说：操作员的行为一致性，直接决定数据可用性。

我见过一个团队，数据采集安排了三个学生轮流值班，一人一天。结果训练出来的模型在推理时出现了诡异的“任务切换延迟”——后来排查发现，三个人的操作风格差异非常大。A习惯快进快出，动作干净利落，轨迹短；B习惯慢工出细活，每条轨迹耗时是A的两倍，中间还有大量调整动作；C介于两者之间。三种轨迹混在一起，模型学到了一个均值：不慢不快、不稳不准，两个任务都完成得不好。

解决方案是给采集人员建立标准操作流程。具体来说：

• 定义每个任务的“标准轨迹形态”：几点抓取、几点移动、移动速度大概什么范围，先自己操作几遍作为示范参考。
• 设置操作规范边界：比如完成一次示教的时间范围、允许的失败重试次数、夹爪闭合力的大小，超出范围的数据直接标记为低置信度。
• 定期轮换任务而非轮换人员：让同一个人在一段时间内专注做同一类任务，减少任务切换造成的行为漂移。

另外，遥操作方案里主手的选择也直接影响数据质量。力反馈主手比无反馈主手更利于精确示教，但这意味着成本和复杂度上升。我的建议是：如果你的任务涉及精细操作，比如插拔连接器、拧螺丝，力反馈必须上；如果只是抓取和搬运，无反馈主手配合视觉引导也够用。

4.2 动作捕捉方案：精度上限高，但工程复杂度也高

动作捕捉路线更适合人形机器人或全身操作场景。通过动捕设备（光学动捕系统、惯性动捕服或数据手套）记录人的动作，再映射到机器人运动学上。这条路线在“人形机器人的数据采集”话题下经常被讨论，因为人类自身就是最丰富的操作数据来源。

这套方案的优势在于，数据采集不需要真机，可以在虚拟环境或仿真环境里完成，然后利用动捕数据驱动机器人复现。不用真机意味着采集成本低、风险小、可以大规模并行。

但它有一个绕不开的问题：人机运动学映射的精度损失。人的手臂和机械臂/人形机器人的手臂在自由度、关节限位、连杆长度上都不一样，动捕数据要映射到机器人坐标系下，必须经过运动学重定向，这个过程会丢失一部分原始动作的精细度。另一个问题是，动捕数据天然带有人的“生物运动特征”，例如肌肉的自然振动，这些特征未必适合机器人复现。

如果你的项目主要任务集中在机械臂操作上，而不是全身运动，我建议优先考虑遥操作或自动化采集，动捕方案更适合做人形机器人上层运动控制策略的研究场景。

4.3 自动化采集：能做大规模，但前提是任务可以被结构化

自动化采集是工业界做大规模型号数据的主要方式。核心思路是：用规则或程序预定义一批参数化的任务变体，然后让机器人自动执行、自动记录、自动重置。

拿一个简单的“抓取不同位置的杯子”举例。自动化采集可以做这样的事：

1. 定义杯子摆位范围（比如一个40cm×40cm的区域），离散成25个网格位置。
2. 对每个位置，定义3种不同的抓取策略（顶部抓取、侧方抓取、斜向抓取）。
3. 机器人按照参数组合自动执行75次抓取，每次记录视觉、关节、力觉数据，并自动标注成功或失败。
4. 物体抓取后，自动复位装置将杯子放回初始位置，循环开始下一条。

这种方式的优势是数据分布非常干净，每个参数维度都被显式编码，训练时可以很方便地做条件生成或者数据筛选。劣势是只能覆盖可结构化的任务，对于需要灵活推理的复杂操作，比如“先把挡在目标物体前面的障碍物移开再抓取”，自动化方案很难设计。

从我的经验来看，自动化采集最适合“数量换质量”的研究阶段，用来准备一个覆盖面广的基础数据池；而遥操作示教更适合“质量换数量”的精细化任务阶段，针对难点case少量补充高质量数据。

4.4 三种方案如何选择：一个直白的判断框架

我整理了一张表，按几个关键维度做个对比，方便你结合自己的情况做判断：

一个比较典型的推进路径是：研究初期用遥操作快速积累少量高质量数据，验证任务可行性；中期搭建自动化采集流程扩充数据池，让模型泛化性提上来；如果涉及人形机器人的全身控制，再引入动捕方案。

4.5 实操中踩过的坑：标定、重置与数据同步

最后补充三个在数据采集实操中非常容易踩、但几乎没人提前提醒的坑。

第一个坑是标定漂移。无论是眼在手外还是眼在手上，相机与机器人的坐标变换关系标定完成后，如果无人注意，机器人的移动、碰撞、长时间运行导致的机械松动，都会让标定参数悄悄失效。你在采集软件里看到的数据一切正常，但训练出的模型对物体位置的判断偏了好几厘米。我们的经验是：每批量采集前做一次快速验证，让机器人根据标定结果去点按几个预设点，误差超过阈值就重新标定。

第二个坑是复位装置的设计被轻视。很多人一开始觉得“把物体放回去”很简单，结果真正做起来才发现，手动复位速度慢、位置不一致、还会把上一轮的物体状态带进下一轮数据。自动复位装置（比如带定位槽的滑台、气动推杆）看起来是小器件，却是决定自动化采集能否跑起来的关键环节。

第三个坑是多传感器数据同步。高帧率相机和关节编码器的采样频率天然不一致，如果采样的时间戳没对准，训练时模型很容易学到“动作比视觉慢半拍”的伪规律。我们后来统一了所有传感器的时间基准，并且强制要求每帧数据都带时间戳，后处理时再做插值对齐——这一步看似增加存储开销，但给后续训练省了太多麻烦。

5. 除了硬件，数据质量管理体系才是“专业”的分水岭

5.1 数据质量的五个评估维度

很多团队在数据采集时只关注“采了多少条”，但真正影响模型效果的，是“有效数据有多少条”。我倾向于从五个维度评估单条数据质量：

• 任务目标达成度：这条轨迹最终是否成功完成了任务？成功判据是什么？是视觉确认、力觉反馈还是传感器信号？
• 动作平滑性：关节速度、加速度是否在合理范围内，是否存在抖动或突变？不自然的数据会给机器人注入“强迫症一般的震颤”。
• 指令-跟随一致性：如果是语言条件化任务，这条数据中语言指令和实际操作是否严格对应？“把红色杯子放到托盘上”，操作员不可能中途拿了一个蓝色杯子。
• 轨迹覆盖度：这条轨迹对状态空间的探索是否有价值？是重复已有轨迹，还是覆盖了新的初始位姿、新的障碍物布局？
• 传感器数据完整性：各传感器数据流是否有缺失、丢帧、时间戳漂移？这些看似不起眼的细节，会在训练时以“特征噪声”的形式被模型吸收。

建议在采集系统里内置一个质量评分模块，对每条数据实时给出这五个维度的评分或红黄绿标记。这比事后再集中清洗效率高得多——采集时发现问题，成本最低；入库后发现问题，清洗成本陡增；训练后发现问题，整个调试成本已经不可控了。

5.2 数据人员的操作培训，是“隐形的关键变量”

数据采集环节里最不稳定、最容易遗漏的因素，其实是操作员本身。

如果你打算长期做数据采集，不要低估培训的分量。做遥操作示教的团队，操作员本质上是在“用身体经验给模型编程”。培训不仅要讲清楚设备怎么用，更要讲清楚“模型能从这些轨迹里学到什么”——只有理解了这一层，操作员才会在采集时主动思考，而不是机械地搬移物体。

我见过做得不错的团队，他们制定了一套详细的采集操作手册，包含任务定义、轨迹规范、常见错误示例、成功判据图解，并且对新手操作员有“前50条数据必须由资深人员人工审核”的强制要求。这个看起来土办法的做法，在实际效果上比任何算法层面的数据清洗都更有效，因为绝大多数数据质量问题都发生在源头，而不是发生在后处理中。

5.3 数据管理与版本：模型效果异常时，能回溯到具体数据

最后聊一个数据管理层面但非常关键的问题：数据和模型的版本追溯。

做模型实验的时候，我经常遇到这种情况：同一份代码，同一次训练，这次跑出来的模型效果比上次好，但谁也不确定是因为数据更新了、数据增强参数调了、还是随机种子变化所致。如果你没有对数据做版本管理，就没有办法追溯。

这个问题的解决方案并不复杂：

• 每一批采集数据都打上版本号，记录采集时间、采集人员、硬件配置、标定参数版本。
• 每次训练任务都记录使用的数据版本，自动生成包含数据版本、训练脚本版本、模型结构、超参数的报告。
• 保留不可复现的数据原始文件和可复现的处理代码，而不是保留处理后的结果文件。

这套机制在团队小的时候感觉不到价值，但一旦你开始做大面积的消融实验、对比实验，或者模型的某个case突然退步，数据版本记录就是帮你定位问题的最强线索。

6. 如何评估一套数据采集方案：一张可以直接用的检查清单

如果你正在选型或者规划数据采集体系，下面这份清单列出了一些会在实际使用中暴露问题的评估点，你在考察任何一套方案时，都可以拿着它过一遍：

1. 部署复杂度：设备从开箱到跑通首条可用数据，需要多长时间？是否需要专门的标定环境？标定流程需要专业工程师还是普通操作员可以完成？
2. 数据格式兼容性：采集出来的数据能否直接适配你计划使用的训练框架（LeRobot、RLDS、OpenX-Embodiment格式等）？还是只能使用厂商私有格式，之后还得写转换脚本？
3. 失败数据的处理方式：方案是否支持对失败操作轨迹的采集和标注？失败数据对于学习“如何修正错误”非常关键，但很多方案默认只记录成功轨迹。
4. 单条数据的时间成本：包括操作时间、复位时间、人工确认时间在内，平均一条有效数据从开始到进入数据库需要多久？这个时间决定了你的数据规模天花板。
5. 多机部署的一致性：部署第二套、第三套采集工位时，设备和软件配置是否可以一键复制？工位间标定参数能否统一管理？
6. 数据安全与隐私：采集环境是否可能包含敏感信息？数据存储和传输是否有加密方案？对于做B端项目的团队，这一条尤其需要提前考虑。

按照我的经验，这六个维度里第2条和第4条是最容易被忽略、但影响最大的两个。数据格式不兼容会导致后续每次训练都要写一遍转换代码，纯属消耗团队时间；而单条数据时间成本被低估，会导致你以为一个月能采到两万条，实际只能采到八千。

7. 一个实际案例：从单工位到并行采集的升级复盘

2024年下半年，我们团队需要为一台六轴协作机械臂训练一个“桌面整理”任务策略。目标是把桌面上任意位置散落的指定物体抓到收纳盒里。前期用公开数据集做预训练后，发现泛化性仅限于训练集里的两种物体和三种背景，换一个物体直接抓空。于是决定自建数据采集体系。

第一阶段用的是最简单的方案：一台机械臂、一个USB摄像头、一个手柄遥控器。一个研究生花了两个星期采了3000条轨迹。训出来的模型有两个典型问题：一是对光照变化过于敏感，关灯开灯就失灵；二是对物体位姿泛化差，物体横着放和竖着放，表现差异巨大。

复盘原因，其实就是数据分布太窄——所有数据都是同一个场景、同一种光照、同一个人操作。于是我们做了几个调整：

1. 搭建了统一的采集工位，固定相机支架和标定板，消除了每次手动固定相机带来的位姿抖动。
2. 采用遥操作主手替换了手柄遥控，动作精度和一致性明显提升，数据中的无效试探大幅减少。
3. 增加了一台高帧率工业相机，视觉得到的信息密度比USB摄像头高了一个级别。
4. 配置了简洁的复位装置，将物体摆放区域网格化，每次示教完成后自动复位到预设位置。

升级后的效果非常直观：单条数据平均耗时从约90秒降到约45秒，有效数据占比从约65%提升到约92%，更重要的是，模型收敛速度和最终成功率都有了质的变化。

后来我们进一步把采集工位从1个扩展到4个，数据采集效率从每周约1500条提升到每周约6000条，支撑了后续的泛化性实验和消融实验。这个项目让我彻底确认了一件事：在具身智能研究里，数据采集的效率和质量，可以直接换算成项目的推进速度和研究的下限保障。

8. 最终回到那个问题：为什么需要专业数据采集方案？

如果一定要用一句话概括：因为你的模型只能学到数据里存在的东西，而具身智能数据的生产难度，远高于模型训练本身。

大模型过去几年的发展经验告诉我们，规模法则在具身智能领域同样成立——更大的数据量、更高的数据质量、更多样化的数据分布，确实会带来更好的模型表现。但和纯互联网数据不同，具身数据的每一帧都等价于一次真实的物理交互，生产它需要真实世界的时间和空间投入。这种投入效率的提升，不可能靠堆人力解决，必须靠体系化的采集方案来改善。

专业数据采集方案解决的不只是“数据量不够”这个问题，它同时解决了数据“对不对”“干净不干净”“能不能追溯”“能不能扩展”这些决定模型上限的底层问题。现在回头看，如果当时一开始就投资在采集体系上，早期那几个月的弯路大概率可以完全避免。

最后分享一个我现在的判断思路，供参考：当你开始做一个具身智能项目时，先不要问“我该用哪个模型”，先问“我的数据从哪来、怎么采、怎么管、怎么保证质量”。这几个问题想清楚了，模型选择反而是水到渠成的事。数据采集团队和技术方案投入的资源，绝不应该被当成“配角成本”，它会以模型效果的方式，直接决定你的项目能走多远。