论文:“LeHome: A Simulation Environment for Deformable Object Manipulation in Household Scenarios”(2026-04-24)
作者单位:北京大学、中科院自动化所、Lightwheel、香港大学
项目页:lehome-web.github.io
一、一句话概括
LeHome 是一个家庭场景的高保真仿真平台。它主打两点:一是可变形物体,包括衣物、食物、液体和火焰;二是低成本机器人,即 LeRobot 系列:SO-100/101、LeKiwi、XLeRobot。整套工具链覆盖遥操作采集、域随机化扩增、策略训练、仿真评测和 sim-to-real,全部串在一起。
如图所示:
二、系统组成
论文把系统分成三层:
1. LeHome Assets(资产层)
- 场景:卧室、厨房、客厅、卫生间四类房间。
- 机器人:低成本的有 LeRobot、XLeRobot、LeKiwi,覆盖单臂、双臂和移动操作;工业级的有 Franka、UR。
- 可变形物体分 6 类,每类配了不同的仿真方法:
| 类别 | 例子 | 仿真方法 |
|---|---|---|
| 液体 | 水、咖啡、酱汁 | PBD(基于位置的动力学) |
| 气态流体 | 火焰 | Omniverse Flow,用稀疏体素做欧拉流体 |
| 颗粒 | 灰尘 / 咖啡豆 | 细颗粒用 PBD,粗颗粒近似成刚体 |
| 线状 | 线缆、绳子 | 多刚体链(快),或 FEM(精细但慢) |
| 薄壳 | 衣服 / 海报 | 有褶皱的用 PBD,褶皱不重要的用 FEM |
| 体积体 | 香肠、肉饼、海绵 | FEM,可做弹性或弹塑性 |
思路很务实:不追求一个统一求解器,而是每类材料挑性价比最高的方法。
如图所示仿真的变形目标:
如图所示多样的操作机制:
2. LeHome Engine(引擎层):Action Graph
这是论文提出的"机制建模"方法,用来处理切割、加热、开关这类拓扑或状态会突变的交互。它是一种事件-响应式的节点图:
- On-Trigger 节点:检测碰撞,比如刀碰到香肠。
- Computation 节点:按切割平面把网格切开。
- State Update 节点:生成两个新物体,并复制物理属性和纹理。
论文称它的优点是模块化、可控、易扩展。名字和结构都和 Omniverse 的 OmniGraph Action Graph 一致,再加上用了 Omniverse Flow,我推测底层是Isaac Sim / Omniverse。论文没有明说这一点。
如图所示动作图工作流:
3. LeHome Benchmark(基准层)
- 遥操作:键盘/手柄发关节空间指令;主从臂(leader-follower)同步;移动底盘可以混合控制,臂用主从、底盘用键盘或手柄。
- 域随机化:采集时随机初始位置、光照、桌面纹理、视觉材质。采完之后轨迹重放:保持物体位置不变,只换外观,再用成功检测器过滤掉失败的轨迹,等于免费扩增数据。
如图所示LeHome架构:
三、实验结果
仿真:6 个任务,每个任务 50 条示教,每个任务测 100 次。
| 任务 | ACT | DP | SmolVLA | Pi0 |
|---|---|---|---|---|
| 叠衣服 | 45 | 30 | 70 | 44 |
| 组装汉堡 | 78 | 35 | 40 | 39 |
| 甩平衣服 | 25 | 20 | 36 | 14 |
| 切香肠 | 77 | 93 | 90 | 75 |
| 倒咖啡 | 80 | 30 | 40 | 40 |
| 擦地 | 60 | 30 | 60 | 60 |
真机:双臂 LeRobot,对比两种设置:只用 10 条真机数据,以及仿真数据 + 同样 10 条真机数据联合训练(co-training)。
- ACT:5/30 → 16/30
- SmolVLA:4/30 → 14/30
- 平均成功率约15% → 50%
四、分析与评价
亮点
- 定位清晰,补了空白。以前的可变形物体仿真器大多只做一类,比如 GarmentLab 只做衣服、FluidLab 只做流体。LeHome 把多种材料放进完整的家居场景,还能做多材料交互:衣服和家具、刀和香肠。
- 押注 LeRobot 生态。这是它和 Behavior-1K、RoboCasa 最大的区别。SO-100 硬件便宜,社区活跃,LeRobot 里 ACT、DP、SmolVLA、Pi0 都是现成的。仿真和真机共用一套数据管线,研究者用得起。
- 工程上务实。按材料选求解器,再用 Action Graph 把"难以物理仿真的现象"规则化,在实时性和覆盖面之间做了合理取舍。
- 轨迹重放扩增:外观随机、几何不变,再过滤失败轨迹,成本几乎为零,容易复用。
不足和需要警惕的地方
- 没有物理保真度的定量验证。题目强调 high-fidelity,但没有任何仿真和真实形变的对比,比如布料垂坠、液体流量、FEM 参数标定。"高保真"目前主要靠渲染效果和下游任务成功率间接支撑。
- Action Graph 本质上是脚本化的机制。切香肠是"碰撞触发 → 按平面切网格",不是基于力或断裂的模拟。所以下刀力度、锯切动作、刀刃角度很可能都无关紧要,策略可能学到"碰一下就算切开"。DP 在切香肠上拿到 93%、四个方法都在 75% 以上,可能正说明这个任务在仿真里偏容易。迁移到真机切割时要格外小心。
- 域随机化只改视觉,不改动力学。材质随机化明确写着保持物理动力学不变,摩擦、刚度、质量、布料参数都没有随机化。对可变形物体来说,动力学 gap 往往比视觉 gap 更致命。
- 真机实验规模小,对照偏弱:
- 只有 3 个任务,每个测 10 次,两个方法。统计上很单薄,比如 1/10 和 2/10 基本没有区别。
- 基线只用了 10 条真机示教,本身就很弱。没有回答"等成本下多采真机数据会怎样"这个关键问题。
- 没给出 co-training 用了多少条仿真示教、混合比例是多少。
- 声称域随机化能缓解分布偏移,但没有消融实验。
- 甩平衣服、切香肠、倒咖啡这几个更依赖物理的任务没有上真机。
5. 对比表有"自我挑选维度"的嫌疑。"低成本机器人"这一列只有 LeHome 打勾,但据我了解 ManiSkill3 也已经支持 SO-100 这类臂(这一点值得再核实),而且 ManiSkill3 和 RoboTwin 2.0 都不在这一列里竞争。论文也没给仿真速度、并行度、GPU 吞吐这些数字,所以"scalable"的说法缺少支撑。
6. Pi0 表现偏弱,好几个任务不如 ACT。在 50 条示教的小数据设置下,大模型 VLA 是否充分微调了,论文没交代训练细节。
7. 篇幅很短,正文约 6 页,更像系统介绍或 workshop 论文。任务定义、成功判定、观测和动作空间、开源程度这些复现必需的信息基本都没写。
总体判断
LeHome 的价值主要在基础设施和生态位:它为 LeRobot / SO-100 社区提供了第一个面向家庭可变形任务的高质量仿真环境,Lightwheel 的资产能力也是它的底气。但作为科研结论,"仿真物理高保真"和"sim-to-real 有效"这两个核心主张的证据都还偏弱。建议把它当作可用的数据和评测平台,而不是已经验证过的物理基准。