- 人工智能
- 媒体生成
- 数字人
- 多模态
【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60
ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60 是 NVIDIA 开源 ARDY 系列中用于交互式人体动作生成的扩散模型:输入一句文字提示(text prompt),配合可选的路径、关键点约束,即可实时生成自然流畅的人体动作序列,广泛用于人形机器人动作规划、游戏动画与数字孪生。本教程面向新手,带你从零理解模型、准备环境、读懂核心配置,最终生成你的第一段动作。
一、ARDY 是什么?这款动作生成模型强在哪 💡
ARDY(Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation)是一个为实时交互而设计的自回归扩散模型,核心亮点:
- ✍️在线文本提示:随时输入/修改文字描述,模型即时响应
- 🎯灵活的长时程运动约束:支持根轨迹/路径点(root paths/waypoints)、全身关键帧、稀疏关节位置与旋转
- ⚡实时响应:单次生成 60 帧(30 FPS 下约 2 秒),支持自回归连续续写,最长输出可达 8 秒
关键规格一览
| 项目 | 说明 |
|---|---|
| 架构类型 | 扩散模型(两阶段 Transformer,192M 参数:denoiser 157M + 动作 tokenizer 36M) |
| 骨骼 | 30 关节 SOMA 人体模型(SOMASkeleton30) |
| 帧率 | 30 FPS |
| 生成窗口 | 60 帧(gen_horizon_len: 60) |
| 输入 | 文本字符串、姿态约束 Tensor、历史姿态(最长 8 秒) |
| 输出 | 姿态序列 Tensor(全局根位移 + 关节旋转,最长 8 秒) |
| 训练数据 | Bones Rigplay 1 数据集,630 小时光学动捕 + 文本描述 |
与其他 ARDY 变体不同,本变体输出的是 Kimodo 模型使用的平滑根(smooth-root)运动表示,可与 Kimodo 系列的约束和输出直接对比。
二、仓库结构速览:你拿到的到底是什么 📦
这个仓库是一个模型权重仓库,安装和调用代码在 ARDY 官方代码库中提供。仓库内文件各司其职:
- config.yaml:核心配置文件,定义自回归生成参数、tokenizer 与 denoiser 的网络结构
- denoiser.safetensors:去噪器权重(157M 参数)
- tokenizer.safetensors:动作 tokenizer 权重(36M 参数)
- stats/motion/:运动数据的归一化统计量(
mean.npy/std.npy),细分为 body、global_root、local_root 三部分 - stats/pre_quantization/ 与 stats/post_quantization/:量化前后的统计量
- README.md:模型说明、输入输出规格、伦理说明
- LICENSE:NVIDIA Open Model Agreement 许可协议
三、环境准备:硬件与软件要求
在动手前,确认你的环境满足以下条件:
| 依赖 | 要求 |
|---|---|
| 操作系统 | Linux |
| 框架 | PyTorch |
| 显卡 | NVIDIA GPU(支持 Ampere / Hopper / Blackwell 架构,官方在 A100 与 RTX 4090 上验证) |
| 可选加速 | TensorRT(模型已标记trt_compatible: true,可编译加速) |
⚠️ 该模型针对 NVIDIA GPU 优化,不建议在纯 CPU 环境运行。
四、获取模型:克隆与放置
将权重仓库克隆到本地:
git clone https://gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60然后安装 ARDY 官方代码库(仓库 README.md 中给出了安装与使用说明入口),把克隆下来的目录作为checkpoint 目录即可——config.yaml 中所有权重路径都通过${oc.select:checkpoint_dir}指向模型所在目录,无需手动改写路径。
五、读懂 config.yaml:影响生成效果的关键参数 🔍
打开 config.yaml,这几个参数值得重点理解:
| 参数 | 取值 | 含义 |
|---|---|---|
gen_horizon_len | 60 | 每次自回归生成 60 帧;30 FPS 下即 2 秒一段,可滚动续写 |
num_base_steps | 10 | 扩散去噪步数,越大质量越好、速度越慢 |
cfg_type | separated | 分类器自由引导(CFG)模式 |
| tokenizer | FSQ 量化(128 级 × 64 层) | 每 4 帧压缩为 1 个 token,latent 维度 512 |
| denoiser | 8 层 8 头 Transformer | 文本嵌入维度 4096,支持input_first_heading_angle首帧朝向输入 |
简单来说:tokenizer 把动作压缩成离散 token,denoiser 依据文本和约束逐步去噪还原动作,两者共同构成"混合表示"的两阶段流水线。
六、生成第一段动作:输入文本与约束
生成流程可以概括为三步:
- 写提示词:用中性、物理化的动作描述效果最好,例如"一个人缓慢拖步前行"。避免使用与人群特征相关的形容词(官方 README.md 伦理部分有此建议)
- (可选)加约束:提供根路径/路径点、全身关键帧,或稀疏的关节位置/旋转;最多还可传入 8 秒历史姿态,保证与前段动作平滑衔接
- 运行推理:模型输出包含全局根位移与关节旋转的姿态序列 Tensor,按 30 FPS 播放即为一段可驱动骨骼的动作
📌 小贴士:60 帧只是单个生成窗口。借助自回归特性 + 历史姿态输入,可以连续生成最长 8 秒的连贯动作。
七、常见问题 FAQ ❓
Q1:可以商用吗?可以。模型支持商业与非商业用途,遵循 LICENSE 中的 NVIDIA Open Model Agreement。
Q2:生成动作有"滑步"(foot skating)怎么办?这是官方列出的已知现象:脚在应该静止时可能轻微打滑。可通过添加脚部关键帧约束来缓解。
Q3:模型都会什么动作?行走、日常活动、手势、舞蹈、格斗类动作表现最佳;目前输出为真实感人体动作,不适合卡通或非物理动作,且模型不感知场景中的人物以外的物体。
Q4:还有其他 ARDY 变体吗?有。同系列还提供 27 关节 Core 骨骼(20 FPS,40/8 帧窗口)和 34 关节 Unitree G1 机器人骨骼(25 FPS,52/8 帧窗口)等版本,可按你的骨骼与实时性需求选择。
八、总结:下一步可以做什么 🚀
- 结合 ARDY 代码库搭建交互式 Demo,体验"边打字边出动作"的实时生成
- 尝试叠加路径约束与关键帧约束,把动作"钉"在你想要的轨迹上
- 按项目场景选型:机器人动作规划选 G1 变体,通用人体动画选本文的 SOMA 30 FPS 变体
从零到第一段动作,你只需要:克隆权重 → 安装代码库 → 指向 checkpoint 目录 → 输入一句提示词。祝你生成顺利!
- 人工智能
- 媒体生成
- 数字人
- 多模态
【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60
相关推荐
ARDY-SOMA-RP-30FPS-Horizon60快速上手教程:5步生成你的第一段文本驱动人体动作
ARDY SOMA RP 30FPS Horizon60快速上手教程:5步生成你的第一段文本驱动人体动作 ARDY SOMA RP 30FPS Horizon6
人工智能媒体生成数字人手把手教程:如何快速上手Kimodo-SOMA-RP-ArdyRep-v1.2,从零到生成第一段人体动作
手把手教程:如何快速上手Kimodo SOMA RP ArdyRep v1.2,从零到生成第一段人体动作 Kimodo SOMA RP ArdyRep v1.2
人工智能深度学习媒体生成数字人TIL 仓库 MySQL 实战:用 SHOW CREATE TABLE 获取表的完整建表语句
TIL 仓库 MySQL 实战:用 SHOW CREATE TABLE 获取表的完整建表语句 本篇技术指南基于 TIL 仓库的 mysql/show creat
人工智能媒体生成数字人多模态
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考