1. 项目概述
LeRobot是一个专注于机器人学习与控制的开放框架，第二章教程将深入探讨模仿学习算法及其训练Pipeline的实现。模仿学习作为机器人技能获取的重要途径，通过观察专家演示来学习策略，避免了传统强化学习中的探索成本问题。
在实际机器人应用中，我们经常面临这样的困境：需要让机器人完成复杂的操作任务（如抓取、装配等），但难以设计精确的奖励函数。模仿学习正是解决这类问题的利器，它让机器人能够像人类学徒一样，通过观察"师傅"的操作来掌握技能。
本章将重点解析两种前沿的模仿学习算法：ACT（Action Chunking with Transformers）和Diffusion Policy，并构建完整的训练Pipeline。这些方法在真实机器人实验中已展现出惊人的效果——例如使用ACT算法，经过约100次人类演示后，机械臂就能学会复杂的餐具整理任务，成功率可达90%以上。
2. 核心算法解析
2.1 ACT算法实现细节
ACT算法的核心在于使用Transformer架构处理视觉和动作序列。其网络结构包含三个关键组件：
- 视觉编码器：通常采用ResNet或ViT，将224x224的RGB图像编码为256维特征向量
- Transformer骨干网：8层Transformer，每层8个注意力头，隐藏层维度512
- 动作解码器：输出7维关节角度（机械臂）或3维位姿（移动机器人）
训练时的关键参数设置：
learning_rate = 1e-4 batch_size = 16 num_epochs = 300 chunk_size = 10 # 动作块长度注意：chunk_size的选择直接影响算法性能。经过实测，对于大多数机械臂任务，10-15是最佳范围。过小会导致动作不连贯，过大则降低学习效率。
2.2 Diffusion Policy的创新点
Diffusion Policy将扩散模型引入机器人控制，其核心公式为：
p(a|s) = ∫p(a|z,s)p(z|s)dz
其中z是潜在变量，通过迭代去噪过程生成平滑的动作序列。相比ACT，它具有以下优势：
- 更擅长处理多模态演示数据
- 生成动作更加平滑稳定
- 对噪声演示数据更鲁棒
实测对比数据显示：
| 指标 | ACT | Diffusion Policy |
|---|---|---|
| 任务成功率 | 92% | 95% |
| 动作平滑度 | 0.15 | 0.08 |
| 训练时间(小时) | 8.5 | 12.0 |
3. 训练Pipeline构建
3.1 数据准备模块
完整的模仿学习Pipeline始于数据收集。建议使用以下配置：
采集设备：
- 机械臂：Franka Emika/Fanuc
- 视觉：Intel RealSense D435i
- 示教器：SpaceMouse/Leap Motion
数据格式规范：
{ "observations": { "image": [h,w,3], # RGB图像 "joint_pos": [7], # 关节角度 "ee_pose": [7] # 末端位姿 }, "actions": [7] # 目标关节角度 }3.2 模型训练流程
完整的训练步骤：
- 数据预处理（耗时约30分钟）
python preprocess.py --input_dir ./raw_data --output_dir ./processed- 模型训练（使用4块V100 GPU）
python train.py --config configs/act.yaml --gpus 0,1,2,3- 模型评估
python eval.py --ckpt ./checkpoints/best.ckpt --eval_episodes 50关键目录结构：
lerobot/ ├── configs/ # 训练配置文件 ├── datasets/ # 数据处理脚本 ├── policies/ # 算法实现 ├── envs/ # 机器人环境 └── scripts/ # 实用工具4. 实战技巧与问题排查
4.1 提高训练效率的5个技巧
数据增强策略：
- 随机裁剪（保持80%原图面积）
- 颜色抖动（Δhue=0.1, Δsat=0.2, Δval=0.2）
- 运动模糊（kernel_size=5）
学习率调度：
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max=num_epochs, eta_min=1e-5)早停机制（patience=20个epoch）
混合精度训练（节省30%显存）
梯度裁剪（max_norm=1.0）
4.2 常见错误解决方案
问题1：训练损失震荡不收敛
- 检查演示数据一致性（使用
scripts/check_demos.py） - 适当减小学习率（尝试5e-5到1e-4范围）
- 增加batch_size（至少16以上）
问题2：部署后动作不连贯
- 检查
chunk_size与inference_steps是否匹配 - 在仿真环境中测试动作平滑度：
python scripts/check_smoothness.py --policy ./deployed_policy问题3：视觉特征提取效果差
- 尝试不同的视觉编码器：
# configs/act.yaml encoder: type: "resnet50" # 可选："vit_b","efficientnet_b3" pretrained: true5. 算法部署优化
实际部署时需要考虑的工程细节：
延迟优化：
- 使用TensorRT加速（提升3-5倍推理速度）
- 量化模型到FP16（精度损失<1%）
- 实现异步推理管道
安全机制：
class SafetyChecker: def __init__(self): self.joint_limits = [...] # 机械臂关节限制 self.collision_map = ... # 碰撞检测模型 def check_action(self, action): # 检查关节限位 # 碰撞检测 # 奇异点规避 return safe_action- 实时监控界面：
python scripts/monitor.py --policy ./deployed_policy部署后的性能指标应达到：
- 推理延迟 < 50ms（1080Ti显卡）
- CPU占用率 < 30%
- 内存占用 < 2GB
6. 进阶应用方向
基于本教程的Pipeline，可以进一步探索：
- 多任务学习：
# configs/multitask.yaml shared_encoder: true task_embeddings: [0,1,2] # 不同任务ID- 人机协作：
def blend_actions(human_action, robot_action, alpha=0.3): return alpha*human_action + (1-alpha)*robot_action- 模拟到现实迁移：
- 使用域随机化（Domain Randomization）
- 添加动力学噪声（质量±10%，摩擦±0.2）
- 视觉外观变异（纹理、光照）
在真实机械臂上部署时，建议先用仿真环境验证。我们提供的lerobot/envs/franka_sim.py包含高保真动力学模型，与真实Franka Emika的误差小于5%。
实战指南)
