BLARM：潜在刚体运动原语驱动视频生成3D动画的新思路

如果你正在做 3D 生成、NeRF、3D 高斯泼溅或者角色动画方向，最近会明显感到一个趋势：大家已经不满足于“生成一个静态 3D 物体”，而是想让物体真的动起来。问题在于，视频里的物体运动和 3D 几何不完全是一回事。从一段普通视频里恢复出“还能继续手动控制动作”的 3D 模型，一直是动态重建和动画两条技术线之间难啃的交叉点。

BLARM 这个工作标题给出了一种很有意思的思路：通过混合潜在刚体运动原语，从视频生成 3D 物体动画。这句话至少包含三层关键信息——“潜在空间”“刚体运动”“原语混合”。如果只看表面，很容易误以为它只是又一篇做视频驱动的 4D 重建论文，但真正值得琢磨的是“潜在刚体运动原语”这个设计背后的动机：为了让模型不仅能重现视频里已有的动作，还能在推理时组合、泛化、控制新动作。

这类工作读起来和普通 3D 重建教程不同，它不给你一份“安装依赖后跑通 demo”的代码清单，而是先逼你重构对“运动表征”的理解。我把这篇文章分成三个层次展开：第一，它到底想解决什么问题，和之前做 3D 动态重建、可动画化重建的路线有什么差别；第二，“潜在刚体运动原语”可以怎么理解，如果你要设计类似框架，哪些组件是必需的；第三，现在这类方法还有哪些坑，真正要落地到游戏资产、影视预演、具身仿真场景里还缺什么。

1. 这篇文章真正要解决的问题

先说一个亲测让人头疼的场景。假设你有一段人物走路的视频，想把它变成 3D 资产生成流程里可以直接用的动画，传统做法是拆分两步：第一步用多视角或单目视频做几何重建，第二步再单独做绑定和重定向。问题是这两个步骤的中间表达不一致，重建出来的几何往往没有拓扑一致性，没法直接复用现成动画管线里的绑定逻辑。

更麻烦的是，如果视频里是一个捏橡皮泥类似的非刚性形变物体，或者一条狗的四肢有大量局部旋转，重建出来的每个时刻几乎都是一个独立网格，缺少统一的运动分解。后面你想让狗“换一个姿势跑起来”，模型做不到，因为它只学会了“还原这一条视频”，没有学会“这个物体由哪些可独立运动的部分组成”。

BLARM 这个名字没有给出详细论文实现时，可以从标题本身读出它对这类问题提出的解决方向：在潜在空间里建模运动，而不是在显式网格坐标里直接预测每帧位移。它的基本假设很接近人眼对物理世界的理解——大部分自然物体的运动不是全局一块儿平移旋转，而是由多个局部刚体部件组合出来的。跑动中的人的躯干是一个刚体近似，左右上臂相对肩关节有旋转，左右小腿相对膝关节有旋转。只需要少数几个刚体运动原语，就能组合出复杂动作。

所以真正让研究者兴奋的点不在于“从视频生成 3D 动画”这个宽泛结果，而在于方法内部的运动表征，是不是可解释、可编辑、可泛化。如果“潜在刚体运动原语”这条路走得通，就意味着你可以在语义空间里做组合编辑：把特征 A 视频学到的腿部运动原语，迁移到特征 B 物体的躯干运动原语上，生成一个没见过的新动画。

从这个角度看，最应该读这篇文章的人有三类：

1. 做 3D 生成和动态高斯泼溅的研究者，想找新的运动表征思路；
2. 游戏、CG 和虚拟数字人方向的工程技术人员，关心有没有一套能从单目视频直接出“可控制动画”的自动化方案；
3. 正在做通用 3D 表征学习的学生，想理解潜空间运动分解到底比显式骨骼驱动好在哪里、差在哪里。

2. 基础概念：动态重建、可动画化表示与运动原语

要准确理解 BLARM 这类方向，有几个基础概念必须先理清楚。

2.1 动态 3D 重建和可动画化 3D 重建不是一回事

动态 3D 重建的目标是让重建出的三维结果随时序变化而形变，代表路线包括动态 NeRF、动态 3D 高斯泼溅等。它关心的是“每一帧长什么样”，通常不要求拓扑一致，也不需要把运动和外观解耦。

可动画化 3D 重建的目标更进一步：不仅每一帧要对得上，还要学出一套底层的运动参数，推理时可以通过改变参数生成新的姿势。传统 SMPL、SMPL-X 这些参数化人体模型就是典型代表，缺点是需要人体模板先验。BLARM 方向想做的是在尽量少的先验条件下，从视频本身学出类似骨骼驱动的分解效果。

2.2 刚体近似与运动原语

物理学里的刚体运动只有平移和旋转。真实世界几乎没有纯刚体运动，皮肤、衣服、肌肉都会形变。但在短时间尺度或局部范围内，大量运动可以被近似看作刚体变换的组合。把一个复杂运动拆成若干刚体部件的运动后，整体就获得了很强的可解释性。

运动原语这个概念最早来源于机器人学和动作生成领域，意思是把复杂动作拆成语义明确、可以复用的小单元，比如“抬腿”“伸手”“转身”。把这个概念迁移到 3D 重建里，所谓刚性运动原语，就是指一组限定在局部部件上的旋转和平移参数，这些参数组合起来得到完整运动。

2.3 潜在空间混合与显式控制的差别

这类方法如果要在潜在空间做，通常不是直接在顶点位置预测刚性变换矩阵，而是先让网络把外观、形状、运动编码到潜在空间，把运动原语作为潜在变量参与计算。与直接把运动写成骨骼动画相比，潜在空间的优势是可以通过编码器自动发现和对象配套的分解方式，不需要人工指定骨骼数量、关节位置和父子关系。

但由此带来的代价是可控性和可解释性变差。这也是这类论文最难写清楚的地方：你设计的潜在刚体原语，几何意义上到底代表什么，很难保证它正好对应人体解剖学里的肩关节或膝关节。控制一个隐式定义的运动原语，玩家或者动画师其实并不能直观地通过一个滑块改变“膝盖弯曲”。

这些背景对理解 BLARM 很重要——它并不是第一个提出“拆分刚性部件”的，但把拆分和混合操作放在潜在空间，是一种值得单独讨论的架构选择。

3. 难点拆解：为什么从视频学“可分解运动”这么难

从普通视频里学到潜在刚性运动原语，核心难点可以归结为四个层面。

3.1 运动与外观的耦合

单目视频里，物体表面纹理变化可能来自真实形变，也可能只是视角变化和光照变化带来的错觉。如果不加约束，网络很容易偷懒，把运动引起的变化全部分摊到外观网络里。结果就是每一帧重建都准，但拿出来的运动参数是乱的。解决这类问题，通常需要外观和运动采用不对称的结构设计，让运动分支承担尽可能多的解释责任。

3.2 没有标注，刚体划分怎么学

训练数据通常只是视频帧和掩码，没有“哪部分属于哪个刚体”的标注。模型要自动发现物体由哪些刚性部件组成，本质上是一个隐式的聚类或分解问题。这里需要人为设定原语数量 K，或者设计一个可学习的部件分配模块。K 设少了，运动分解不充分；K 设多了，每个原语只管很小区域，很容易过拟合到视频里的噪声运动。

3.3 视频帧之间的长期对应和遮挡

当物体运动幅度较大时，局部表面会进出自遮挡，特征跟踪很难保持稳定。加上运动模糊和弱纹理区域，从两帧图像里判断“这个表面点原来在哪里”都困难，更不用说把它分配到哪个刚体原语。如果处理不好遮挡，每个时间点的重建都只能依赖单帧图像，无法利用多视角几何一致性。

3.4 潜在空间的连续性和可编辑性

一个鲁棒的运动表征，两个相近动作采样出来的潜在运动原语应该也相近。但如果只做帧级重建，模型没有动力让潜在空间变得连续。应用到动画编辑时，你希望在两个运动原语的混合系数之间平滑插值，如果空间结构乱成一团，插值结果就是几何炸开或穿模。需要引入时序约束、正则项或潜在空间先验。

这四层问题按难度排序可能是：运动与外观解耦是最基础的门槛，遮挡是最隐蔽的工程门槛，潜在空间连续性则是决定能不能做动画编辑的应用门槛。BLARM 如果有价值，至少需要有对应策略来面对这四层障碍。

4. 设计拆解：用“潜在刚体运动原语”生成动画的整体流程

在没有完整论文细节时，我建议把 BLARM 当作一个更通用的框架模板来理解。正常这个方向的实现会包含四个关键模块：感知编码器、潜在运动表征、刚体原语混合模块、渲染解码器。

4.1 输入视频与运动特征

输入是一段物体视频，比如对象绕轴旋转、人或动物自然运动。为了给网络足够观测，一般需要多帧输入，而不是单张图。网络先通过一个 2D 骨干网络抽取每帧的特征，然后丢弃相机位姿信息吗？不会，相机的相对运动是后续判断物体刚性运动的基础。可以设置一个相机位姿估计分支，把相机运动和物体运动分离，否则网络会把相机转动也当成物体原语的变化。

4.2 潜在运动原语的生成过程

如果要做潜在刚体运动原语，一个可行的处理思路是：

第一步：对视频序列做特征编码，得到每帧的潜在状态。

第二步：用一个“分解网络”根据整套序列输出 K 个潜在运动原语。这些原语的语义可以是：每个原语包含一个局部区域掩码，或者一个空间遮挡系数，以及一组旋转和平移变化量，最后再加一个“与其他原语混合的权重”。权重不需要人工指定，而是通过注意力机制从特征动态生成。

第三步：对某个目标时间点 t，把基准状态通过 K 个原语的旋转和平移分别变换，再按混合权重加权。输出的结果可以是一个变形场或一个潜在运动特征。这个设计有一点像线性蒙皮（linear blend skinning）的思路，但把它隐式地嵌入特征空间，不要求显式的骨骼。

4.3 动画推理时的混合操作

要理解“混合潜在刚体运动原语”对动画生成到底做了什么，可以通过数学形式理解：假设 K 个原语分别在时刻 t 对第 i 个位置点作用出一个刚性变换矩阵，最后这个点的变形量等于 K 个刚性变换对该点的影响加权求和。权重和刚性变换都是从潜在变量解码出来的。

一个更直观的解释是：本来你要让一个由成千上万顶点组成的物体整体动起来，最朴素的思路是逐个顶点预测三维位移，但这会让运动失去结构和泛化能力。换成若干组刚体运动再加权重混合，约束一下子变得很强。强约束一方面让网络只能把运动解释成某些部件的局部旋转和平移，不容易发散；另一方面也让“生成新动画”变成“改变混合系数”，这正是编辑能力的关键。

这个设计要想可解释，还可以在混合模块后加一个显式的 3D 形变场，把潜变量变成可读的雅可比矩阵或旋转矩阵。如果不想用显式骨骼，则可以通过计算每个原语在三维空间中的影响范围来可视化。

5. 概念落地：伪代码与模块结构参考

这一节我会给出一个偏概念实验的工程框架。需要先说明：这不是 BLARM 官方实现，而是从标题和技术路线推导出的最小原型蓝图，适合用来理解模块依赖，也方便你后续自己找官方代码对照。

5.1 整体训练循环

首先明确训练数据组织。输入需要一段视频序列，设为一个时间窗内的若干帧，输出目标是重建当前帧对应的深度、RGB 和掩码。如果是合成数据，可以补充相机姿态。

# 伪代码示例：BLARM 风格框架的最小训练循环结构 # 本代码用于理解框架思路，非官方实现 import torch import torch.nn.functional as F class BLARMLikeModel(torch.nn.Module): def __init__(self, num_primitives=16, latent_dim=64): super().__init__() # 1. 从视频帧提取特征的 2D 编码器 self.frame_encoder = FrameEncoder(out_dim=latent_dim) # 2. 生成潜在运动原语的分解模块 self.primitive_decoder = PrimitiveDecoder( num_primitives=num_primitives, latent_dim=latent_dim ) # 3. 将潜在运动转换到三维形变的解码模块 self.deform_decoder = DeformDecoder( num_primitives=num_primitives ) # 4. 渲染头：可以是隐式 NeRF 或 3DGS 风格渲染器 self.render_head = RenderHead() def forward(self, frames, time_index): # frames: 输入视频片段，shape [B, T, C, H, W] # time_index: 需要重建输出的目标时刻 seq_feat = self.frame_encoder(frames) # [B, T, D] # 得到每个刚体运动原语的参数 # rot shape [B, K, 3, 3] # trans shape [B, K, 3] # blend_weights shape [B, K] rot, trans, blend_weights = self.primitive_decoder(seq_feat) # 对目标时刻的点 x 计算混合变形 x = sample_hidden_points(space_size=256) deformation = self.deform_decoder( x, rot, trans, blend_weights, time_index ) rgb, depth = self.render_head(frames, deformation, time_index) return rgb, depth

这段伪代码里最关键的是primitive_decoder。要从哪条技术路径获得合理性能，想让 K 个原语工作，还要输出对应的刚体变换，需要注意：

• 刚体旋转必须用旋转矩阵或六维旋转表示，不能用全连接网络硬输出 3x3 矩阵后直接做正交化，训练容易不稳定。
• 混合权重最好做稀疏化正则，否则 K 个原语互相重叠覆盖，最终效果退化成一块平滑的运动场。
• 渲染头输出前，需要加一个正则项让rot尽量接近单位矩阵，或者加一个残差结构，避免网络把运动全推到旋转矩阵的大数值上。

5.2 潜在空间重建损失的参考写法

训练不能让网络只用渲染损失自娱自乐。如果要支持动画编辑，还需要对潜在运动原语加辅助约束。

# 伪代码示例：训练损失组成部分 def compute_loss(pred_rgb, gt_rgb, pred_depth, gt_depth, rot, blend_weights, masks): # 1. 主损失：图像重建 rgb_loss = F.l1_loss(pred_rgb, gt_rgb) + \ 0.2 * (1.0 - ssim(pred_rgb, gt_rgb)) # 2. 几何损失：如果任务提供深度或者 mask 监督 geo_loss = F.l1_loss(pred_depth, gt_depth) if gt_depth is not None \ else 0.0 # 3. 旋转矩阵的刚体约束：R^T R 趋近单位阵 ident = torch.eye(3, device=rot.device).unsqueeze(0).unsqueeze(0) rot_regularization = torch.mean((rot.transpose(-1, -2) @ rot - ident) ** 2) # 4. 原语混合权重稀疏化：希望 K 个原语尽量语义独立 sparse_loss = torch.mean(torch.abs(blend_weights)) # 5. 时序平滑：相邻帧原语参数变化不要太剧烈 smooth_loss = torch.mean((rot[1:] - rot[:-1]) ** 2) + \ torch.mean((trans[1:] - trans[:-1]) ** 2) total = (rgb_loss + 0.1 * geo_loss + 0.01 * rot_regularization + 0.001 * sparse_loss + 0.1 * smooth_loss) return total

这个损失只是通用范例。真正做实验时，原语混合权重的语义监督通常是一个需要花大量时间调的超参数，比如sparse_loss权重从 0.001 调到 0.1 会让分解结果差很多。

5.3 动画生成阶段的控制方式

推理时生成新动画，大体可以理解为修改 latent code 然后解码，比如把原视频第 5 帧的其中一个原语运动插值到第 12 帧，通过改变混合权重把狗的腿部运动迁移到另一只不同外形的狗身上。要做到这点，模型必须包含一个“可查询任意时间点 latent code”的模块，而不是只把整段视频压成一个全局特征。

这类框架走到这一步才算真正支持动画生成，而不是单纯做视频重放。

6. 对比相近方法：BLARM 思路处在哪个位置

整个“从视频生成 3D 动画”的方向近几年涌现出很多工作，单独看 BLARM 不一定是最优，但它的问题意识非常集中。

常规动态 NeRF 或 4D 高斯重建只关注重建质量，因此常用时间条件特征加 MLP 预测形变场。这种方式对视频拟合效果可以很好，但形变场里的每个通道没有语义含义，你想让模型从第 5 帧的走路变成第 8 帧的抬腿，基本做不到。

显式参数化模板路线如 SMPL 类方法，拥有完美骨骼结构和运动控制能力，但只对带模板的目标有效。跨到动物、机械臂、日常物体时，没有模板就用不起来。

无模板可动画化方法在学习外观和运动的同时动态发现部件，这正是潜在刚体原语更接近的技术方向。它与其它相关工作的一个明显区别是融合了“刚性运动 + 潜在空间 + 原语混合”三个假设。刚性运动让分解结果有物理可读性，潜在空间让它不需要显式装配语义标签，原语混合让它可以组合出新动画。

所以你如果要在 CSDN 技术社区里向别人解释这类工作，与其强调跑分指标，不如抓住两个对比核心：第一，它能不能做新动作生成而不是逐帧重现；第二，它是需要模板还是能直接从视频自发现部件。BLARM 方向更偏向无模板中的可编辑运动模型，这是和绝大多数动态重建工作最大的差异点。

7. 潜在应用场景

技术方向最终要回答：做出来能应用到哪。从问题定位看，这类方法非常适合以下四个方向。

7.1 游戏资产快速动画化

现在做游戏资产仍要人工建模、绑定骨骼、刷权重、K 动画。如果有一段参考视频，潜在刚体原语模型可以直接生成资产候选动画，再经过美术后期微调。虽然目前质量达不到 AAA 级游戏直接能用，但用于前期预演、快速原型验证已经很有价值。

7.2 影视虚拟拍摄和无标记表演捕捉

传统动捕需要穿动捕服或至少需要多相机阵列。单目视频驱动的可动画化重建，如果稳定性再提升一个量级，就能用普通视频作为输入做粗版表演迁移，把一段真实表演转为 3D 角色动画。

7.3 具身智能仿真数据集生成

机器人 RL 训练需要大量带真实物理语义的动画数据。潜在刚体原语天然把物体运动拆成局部刚性变换，和物理仿真器的刚体约束非常契合。可以在仿真器里把生成的刚体动作实例化成新的动力学任务。

7.4 动态物体编辑

产品展示应用里，用户上传一段商品视频，需要把商品从视频背景中分离并生成可交互 3D 模型，例如转动、开合盖子、展开底座的动画。BLARM 类型的部件分解和动画生成能够支撑这种轻量化编辑体验。

不过，如果你要立刻用它做工业级生产，现在可能还缺一层“质量检查与修复”的后处理。算法输出的潜在空间编辑不会自动保证物理上不穿模、脚不滑步，美术和仿真工程师仍需额外处理。

8. 现存局限和值得注意的坑

理解这类方法的优点之后，再冷静看一下它目前面临的困难。这些难点直接影响你复现和使用时的期望管理。

8.1 原语数量 K 设定

K 如何确定是这类方法最敏感的超参数。太小的 K 会让一个原语包含多个语义部件。比如四足动物前腿同时包含肩、肘、腕运动，单个刚性旋转无法描述；太大的 K 又会让原语分解过碎，混合权重失去稳定性。除非论文里给出清晰的自适应方案，否则做物体泛化实验时会极度依赖调参。

8.2 外观与运动解耦的效果验证

在公开实验里大家通常展示重建精度指标，很少直接展示“运动可编辑性指标”。即便网络确实学到了 K 个原语，也不能保证它们之间的边界符合人类语义。一个三维语义点恰好在膝关节旁边，如果网络把它分配给了躯干原语，编辑时就能明显感觉“腿没有按照常规逻辑弯曲”。

8.3 大规模复杂非刚性形变

布料褶皱、肌肉膨胀、流体这类连续非刚性运动，不是几个刚体原语就能很好覆盖的。BLARM 这类路线往往需要额外引入一个小的残差形变模块来吸收刚体近似之外的形变。但这个残差模块一旦过强，又会破坏原语的可控性，所以架构设计里残差大小限制往往需要精细控制。

8.4 训练数据获取成本

要在多类别物体上训练可泛化模型，必须准备大量不同物体的视频，并至少在测试时提供相机位姿。目前公开可用的动态物体数据集规模远不如静态物体三维数据集。如果你在内部项目里做，数据采集和标定通常比模型结构更早成为瓶颈。

这些局限导致 BLARM 方向的论文在演示中通常选择单类别或少数物体类别。换到全新类别时，由于没有显式模板，不确定性会比参数化方法更大。

9. 如果你想复现或做原型实验，应该怎么开始

由于目前输入材料不包含已确认可获取的资源及官方版本信息，实用学习路径为：先检索该论文对应官方仓库，结合我第一份模型理解对比，然后用合成数据快速跑通原型。这条路适合大多数有学生开发基础的 CSDN 读者。

9.1 推荐实验环境配置与思路

假设你要训练或直接在开源代码上跑一个最小验证，环境可以按主流通用深度学习样板来搭建。这里给出通用配置，不建议按具体版本刻舟求剑：

# 环境准备思路（版本以实际项目 README 为准） git clone <官方仓库地址> cd <repo> conda create -n 3d_anim python=3.10 conda activate 3d_anim pip install -e .

运行前建议准备三个级别数据：单个物体的合成旋转视频、简单铰接物体合成运动，如一个带关节的机械臂，以及真实视频。合成数据便于 debug 模型，真实数据用于看清性能上限。

# 一个简易的数据目录参考 data/ synthetic_rubber_toys/ scene_0001/ rgb/1.png rgb/2.png ... scene_0002/ real_animal_01/ rgb/ camera_poses/

如果官方代码没有直接提供数据预处理，你需要自己把视频抽帧成 RGB 序列，以及对每帧估计相机参数。相机标定结果不准确，往往比模型结构更容易导致重建模糊和运动分解错乱。先用 COLMAP 或类似工具做 SfM，再查看重投影误差。

9.2 评估模型是否学到了“可动画化”的运动，而不只是拟合视频

这个建议很关键：只看 RGB 损失是不够的。你应该做一个编辑实验，给定同一个物体的两个不同运动视频，学完后尝试交换其中一个原语的参数。如果结果能出现“保持外观不变但动作受到交换影响”的效果，说明运动原语确实承担了运动建模职责；如果结果几乎不变或完全错乱，说明模型还是在用外观信息硬扛重建任务。

# 推理阶段编辑实验的伪代码 def editing_experiment(model, video_a, video_b, primitive_index): # video_a: 第一次运动视频，例如从左边跑向右边 # video_b: 第二次运动视频，例如原地摆动四肢 z_a = model.encode_sequence(video_a) z_b = model.encode_sequence(video_b) R_a, T_a = model.decode_primitives(z_a) R_b, T_b = model.decode_primitives(z_b) # 交换其中某个原语，观察重建结果是否仍然合理 R_a[primitive_index] = R_b[primitive_index] T_a[primitive_index] = T_b[primitive_index] edited_frames = model.render_from_primitives(R_a, T_a, z_a) # 用 edited_frames 判断该原语在语义上是否约等于“某条腿”的运动 return edited_frames

如果编辑实验效果很差，可以考虑给原语混合权重加入稀疏聚类正则项，或者直接引入小的语义分割监督辅助训练，让分解边界对齐物体部件边界。

9.3 常见失败现象与排查清单

这些排查路径可以帮你避免在源码细节里迷失，先锚定问题出在数据、解耦还是潜在空间的哪个层面。

10. 对后续学习方向的建议

如果你对这个方向产生了兴趣，建议顺着下面四条技术线继续深入。

第一，关注 3D 高斯泼溅和动态重建的进展，特别是基于变形场预测的高斯运动表征。BLARM 类工作与高斯泼溅的结合是当前热点，因为高斯的高效渲染能处理更多训练迭代，有利于运动分解收敛。第二，关注神经蒙皮和线性蒙皮的结合方式。经典蒙皮权重拥有很好的可编辑性，深度学习方法如果能从视频中自动预测类似蒙皮权重的中间产物，会介于潜在方法与传统动画管线之间，可能实际落地价值更高。第三，关注大规模物体视频预训练数据集和新基准，比如涵盖多类铰接物体的数据与评测指标。第四，从工程实现角度，学习如何用生成视频模型作为动态先验来提供更多观测视角，这对缓解单目欠约束很有帮助。

不管后续代码仓库是否完整，也不管最终指标高低，BLARM 这类工作最重要的启发是把“重建”和“动画”打通。纯重建解决的是“像不像”，动画解决的是“能不能动、能不能操控”。当越来越多研究者把运动原语、部件分解、潜在编辑这些概念放进训练目标，未来的三维资产生成流程大概率会从“静态模型 + 后绑定”走向“视频输入直接生成可动画 3D 资产”。这正是值得持续追踪的技术拐点。建议把这类论文的关键图表和实验设计收藏起来，写代码或开组会时拿出来对照，比只看渲染 demo 能获得更多有效信息。