LeRobot 仿真教程：4 步在虚拟世界跑通你的第一个抓取策略

LeRobot 仿真教程：4 步在虚拟世界跑通你的第一个抓取策略

【免费下载链接】lerobot🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot

假设你想验证一个抓取策略，但手头只有一台笔记本——没有机械臂，没有相机阵列，更没有预算去买硬件。这时候打开 LeRobot 的仿真环境，就是成本最低的选择：它的虚拟世界按 gymnasium 标准接口封装了 Aloha 双臂、PushT 推块、LIBERO、MetaWorld 等一整套机器人任务，数据、训练、评估都能在同一套命令行里完成。这篇文章就带你走一遍完整流程：把环境跑起来、把数据跑起来、把策略跑起来、把评估跑起来，最后聊聊怎么把成果迁移到真机。全程只需要几条命令，跟着做就能上手。

仿真就是机器人的驾驶模拟器：先搞懂全链路

为什么先仿真？类比一下：飞行员不会直接从实机起飞，得先在驾驶模拟器里练。仿真环境的意义就在于此——策略在虚拟世界里反复"撞车"是免费的，而每一次真机试错都可能换来维修账单。更重要的是，仿真里录下的数据可以无限复用，这是真机采集比不了的优势。

LeRobot 的整条流水线可以概括为五个环节：环境产生观测与奖励 → 数据被录成 LeRobotDataset 格式（Parquet 存状态动作、MP4 存图像）→ 策略在数据集上训练 → 同一个环境里评估成功率 → 最后才谈部署。

数据够不够，比算法更先决定上限。所以下面四个"跑起来"，我们把数据环节放在第一位。

🧪 实操四连：环境、数据、策略、评估依次跑起来

第一步：把环境跑起来

LeRobot 支持从 PyPI 直接安装，也可以装源码版并按需加装目标环境的扩展（extras）。以 PushT 推块任务为例：

git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot pip install -e ".[pusht]"

pip install -e .装核心库，.[pusht]这个 extras 会顺带装好 PushT 任务需要的依赖；仓库同样提供aloha、libero、metaworld等 extras，装哪个就打开哪个仿真世界。装完跑一下lerobot-info，能正常输出设备与环境信息，说明基础环境没装坏。

想深入了解各环境的细节，可以直接读仓库内的 LIBERO 环境文档。

第二步：把数据跑起来

新手最容易卡住的一步：没有真机，数据从哪来？两条路。

第一条路：直接用社区已有的数据集。LeRobot 的 LeRobotDataset 格式托管在 Hub 上，像lerobot/aloha_mobile_cabinet这样的现成数据集一行参数就能加载进训练，这是最省事的起点。

第二条路：自己录。仿真里遥操作录数据，用的是仓库自带的lerobot-record命令配上遥操作设备（gamepad 手柄遥操作在src/lerobot/teleoperators/gamepad/里就有实现）；真机录数据同理，只是把遥操作设备换成你的手柄或主臂。录制时用--dataset.num_episodes指定条数——经验上，录 50 条成功轨迹、每条 10~30 秒，是大多数简单任务够用的起步量。

第三步：把策略跑起来

训练被封装成一条命令：指定策略类型和数据集，剩下的（批大小、学习率、评估频率等）都有默认值，需要调再加参数。

lerobot-train \ --policy.type=act \ --dataset.repo_id=lerobot/aloha_mobile_cabinet

这条命令会用 ACT 策略在指定数据集上开训，过程日志、损失曲线都会实时输出。跑完一轮后检查训练日志里的损失是否平稳下降，就能进入评估。

第四步：把评估跑起来

训练好不好，最终要在环境里"考试"。LeRobot 用lerobot-eval统一了仿真评估入口：加载一个训练好的策略，指定环境类型，跑 N 条 episode，自动统计成功率。

lerobot-eval \ --policy.path=lerobot/diffusion_pusht \ --env.type=pusht \ --eval.n_episodes=10

以官方lerobot/diffusion_pusht为例，这条命令会在 PushT 环境里跑 10 条评估轨迹并输出平均成功率。换成你自己训好的 checkpoint 路径，就是你自己的"考试成绩"了。

三种主流策略怎么选：ACT、Diffusion、TDMPC

LeRobot 内置的策略远不止三个（Pi0、SmolVLA、GR00T 等 VLA 模型也都有），但仿真实习圈最先接触的一般是模仿学习里的 ACT 与 Diffusion，以及强化学习里的 TDMPC。横向对比一下：

结论很简单：手上有一堆示教轨迹就选 ACT 起步；任务里"同一个状态可以有多种合理做法"（比如绕障路径）就试 Diffusion；环境奖励函数明确、但示教数据稀少，TDMPC 的样本效率才显出价值（详见 TDMPC 策略文档）。

🤖 从虚拟到真机：部署前必须过的四道坎

仿真里 90% 的成功率，不代表真机也能 90%。中间的差距主要来自四个"鸿沟"，LeRobot 社区应对它们的手段也相对固定：

部署侧的动作就两个关键步骤：一是模型导出，把训练好的 checkpoint 转成目标设备能跑的格式；二是接口适配，真机侧由 LeRobot 统一的Robot类接管——SO-100、Koch、LeKiwi 这些机型都有现成实现，你只需按机型改配置。换句话说，仿真阶段训出来的策略，落到真机上换的是"外设"，不是"大脑"。

收尾：接下来往哪走

回看这条链路：仿真环境产生数据，数据喂给策略，策略在同一个环境里交卷，最后靠域随机化等手段把成绩搬进现实。四个环节跑通之后，你已经具备了独立迭代机器人策略的完整闭环。

下一步建议三件事：一是把 官方文档 过一遍，尤其是数据集格式（LeRobotDataset）与处理器（Processor）两章；二是加入项目社区（Discord），真机问题在论坛里基本都有人踩过坑；三是往进阶方向选一条路走深——多智能体环境、HIL-SERL 人在环强化学习，或 VLA 大模型微调，都是 LeRobot 现在活跃的方向。

【免费下载链接】lerobot🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot