news 2026/10/28 10:17:45

LeHome:家庭场景中的可变形物体操作仿真环境

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
LeHome:家庭场景中的可变形物体操作仿真环境

论文:“LeHome: A Simulation Environment for Deformable Object Manipulation in Household Scenarios”(2026-04-24)
作者单位:北京大学、中科院自动化所、Lightwheel、香港大学
项目页:lehome-web.github.io

一、一句话概括

LeHome 是一个家庭场景的高保真仿真平台。它主打两点:一是可变形物体,包括衣物、食物、液体和火焰;二是低成本机器人,即 LeRobot 系列:SO-100/101、LeKiwi、XLeRobot。整套工具链覆盖遥操作采集、域随机化扩增、策略训练、仿真评测和 sim-to-real,全部串在一起。

如图所示:

二、系统组成

论文把系统分成三层:

1. LeHome Assets(资产层)

  • 场景:卧室、厨房、客厅、卫生间四类房间。
  • 机器人:低成本的有 LeRobot、XLeRobot、LeKiwi,覆盖单臂、双臂和移动操作;工业级的有 Franka、UR。
  • 可变形物体分 6 类,每类配了不同的仿真方法:
类别例子仿真方法
液体水、咖啡、酱汁PBD(基于位置的动力学)
气态流体火焰Omniverse Flow,用稀疏体素做欧拉流体
颗粒灰尘 / 咖啡豆细颗粒用 PBD,粗颗粒近似成刚体
线状线缆、绳子多刚体链(快),或 FEM(精细但慢)
薄壳衣服 / 海报有褶皱的用 PBD,褶皱不重要的用 FEM
体积体香肠、肉饼、海绵FEM,可做弹性或弹塑性

思路很务实:不追求一个统一求解器,而是每类材料挑性价比最高的方法。

如图所示仿真的变形目标:

如图所示多样的操作机制:

2. LeHome Engine(引擎层):Action Graph

这是论文提出的"机制建模"方法,用来处理切割、加热、开关这类拓扑或状态会突变的交互。它是一种事件-响应式的节点图:

  • On-Trigger 节点:检测碰撞,比如刀碰到香肠。
  • Computation 节点:按切割平面把网格切开。
  • State Update 节点:生成两个新物体,并复制物理属性和纹理。

论文称它的优点是模块化、可控、易扩展。名字和结构都和 Omniverse 的 OmniGraph Action Graph 一致,再加上用了 Omniverse Flow,我推测底层是Isaac Sim / Omniverse。论文没有明说这一点。

如图所示动作图工作流:

3. LeHome Benchmark(基准层)

  • 遥操作:键盘/手柄发关节空间指令;主从臂(leader-follower)同步;移动底盘可以混合控制,臂用主从、底盘用键盘或手柄。
  • 域随机化:采集时随机初始位置、光照、桌面纹理、视觉材质。采完之后轨迹重放:保持物体位置不变,只换外观,再用成功检测器过滤掉失败的轨迹,等于免费扩增数据。

如图所示LeHome架构:

三、实验结果

仿真:6 个任务,每个任务 50 条示教,每个任务测 100 次。

任务ACTDPSmolVLAPi0
叠衣服45307044
组装汉堡78354039
甩平衣服25203614
切香肠77939075
倒咖啡80304040
擦地60306060

真机:双臂 LeRobot,对比两种设置:只用 10 条真机数据,以及仿真数据 + 同样 10 条真机数据联合训练(co-training)。

  • ACT:5/30 → 16/30
  • SmolVLA:4/30 → 14/30
  • 平均成功率约15% → 50%

四、分析与评价

亮点

  1. 定位清晰,补了空白。以前的可变形物体仿真器大多只做一类,比如 GarmentLab 只做衣服、FluidLab 只做流体。LeHome 把多种材料放进完整的家居场景,还能做多材料交互:衣服和家具、刀和香肠。
  2. 押注 LeRobot 生态。这是它和 Behavior-1K、RoboCasa 最大的区别。SO-100 硬件便宜,社区活跃,LeRobot 里 ACT、DP、SmolVLA、Pi0 都是现成的。仿真和真机共用一套数据管线,研究者用得起。
  3. 工程上务实。按材料选求解器,再用 Action Graph 把"难以物理仿真的现象"规则化,在实时性和覆盖面之间做了合理取舍。
  4. 轨迹重放扩增:外观随机、几何不变,再过滤失败轨迹,成本几乎为零,容易复用。

不足和需要警惕的地方

  1. 没有物理保真度的定量验证。题目强调 high-fidelity,但没有任何仿真和真实形变的对比,比如布料垂坠、液体流量、FEM 参数标定。"高保真"目前主要靠渲染效果和下游任务成功率间接支撑。
  2. Action Graph 本质上是脚本化的机制。切香肠是"碰撞触发 → 按平面切网格",不是基于力或断裂的模拟。所以下刀力度、锯切动作、刀刃角度很可能都无关紧要,策略可能学到"碰一下就算切开"。DP 在切香肠上拿到 93%、四个方法都在 75% 以上,可能正说明这个任务在仿真里偏容易。迁移到真机切割时要格外小心。
  3. 域随机化只改视觉,不改动力学。材质随机化明确写着保持物理动力学不变,摩擦、刚度、质量、布料参数都没有随机化。对可变形物体来说,动力学 gap 往往比视觉 gap 更致命。
  4. 真机实验规模小,对照偏弱:
    • 只有 3 个任务,每个测 10 次,两个方法。统计上很单薄,比如 1/10 和 2/10 基本没有区别。
    • 基线只用了 10 条真机示教,本身就很弱。没有回答"等成本下多采真机数据会怎样"这个关键问题。
    • 没给出 co-training 用了多少条仿真示教、混合比例是多少。
    • 声称域随机化能缓解分布偏移,但没有消融实验。
    • 甩平衣服、切香肠、倒咖啡这几个更依赖物理的任务没有上真机。

5. 对比表有"自我挑选维度"的嫌疑。"低成本机器人"这一列只有 LeHome 打勾,但据我了解 ManiSkill3 也已经支持 SO-100 这类臂(这一点值得再核实),而且 ManiSkill3 和 RoboTwin 2.0 都不在这一列里竞争。论文也没给仿真速度、并行度、GPU 吞吐这些数字,所以"scalable"的说法缺少支撑。

6. Pi0 表现偏弱,好几个任务不如 ACT。在 50 条示教的小数据设置下,大模型 VLA 是否充分微调了,论文没交代训练细节。

7. 篇幅很短,正文约 6 页,更像系统介绍或 workshop 论文。任务定义、成功判定、观测和动作空间、开源程度这些复现必需的信息基本都没写。


总体判断

LeHome 的价值主要在基础设施和生态位:它为 LeRobot / SO-100 社区提供了第一个面向家庭可变形任务的高质量仿真环境,Lightwheel 的资产能力也是它的底气。但作为科研结论,"仿真物理高保真"和"sim-to-real 有效"这两个核心主张的证据都还偏弱。建议把它当作可用的数据和评测平台,而不是已经验证过的物理基准。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/28 10:17:23

四大云厂商Doris产品深度对比:华为云、阿里云、腾讯云、火山引擎

1. 写在前面:为什么要做这次横评 Apache Doris 凭借 MPP 架构、向量化执行引擎和湖仓一体能力,已经成为国内实时数仓的主流选择之一。但真正落地时,很多团队面临的第一个问题不是“要不要用 Doris”,而是“用哪家云的托管 Doris”…

作者头像 李华
网站建设 2026/10/28 10:17:20

基于SpringBoot+Echarts的非物质文化遗产宣传推广平台设计与实现

温馨提示: 本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示: 本人主页置顶文章(点我)开头有 CSDN平台官方提供的学长联系方式的名片! 温馨提示: 本人主页置顶文章(点我)开头有 CSDN 平…

作者头像 李华
网站建设 2026/10/28 10:16:55

AI大模型学习指南:小白也能抓住高薪机遇,收藏这份行动路线图!

本文探讨了AI产业发展中的人才需求变化,特别是具身智能机器人领域的招聘情况。文章指出,虽然AI岗位需求巨大,但并非所有岗位都需要高学历,许多应用岗位专业不限,薪资从7000元到4.5万元不等。文章强调了学习AI并不难&am…

作者头像 李华
网站建设 2026/10/28 10:16:16

Qt事件机制深度解析:从QEvent到eventFilter的实战指南

1. 为什么每个Qt开发者都该吃透事件机制刚接触Qt那会儿,我总觉得信号槽就是Qt的全部——按钮点了有反应,输入框改了有回调,好像所有交互都靠connect串起来。直到有一次做无边框窗口,需要自己处理标题栏的拖拽、双击最大化、边缘缩…

作者头像 李华
网站建设 2026/10/28 10:13:02

电商价格监控爬虫生产实战:突破IP封禁与滑块验证码,稳定运行半年零封号

去年接了一个电商渠道价格监控的项目,要盯紧主流平台上两百多个品牌、三万多款商品的日常售价,做到价格变动1小时内预警。一开始团队图省事,套了个通用爬虫框架,买了批代理IP就上线了,结果跑了不到三天就全面崩盘:IP批量被封,商品页大面积弹出滑块验证码,采集成功率直接…

作者头像 李华
网站建设 2026/10/28 10:12:58

深入理解Python中的结巴分词算法:从原理到实践

引言在中文自然语言处理这一领域之中, 文本分类、情感分析呀还有机器翻译等等这些比较高级的任务, 它们的基础都是中文分词。而结巴分词也就是人们常说的jieba这一工具, 因为效率很高使用起来也很简单准确率高这些原因所以受到了广泛欢迎。本文呢是要带您深入去了解结巴分词背后…

作者头像 李华