12G 显存跑通 SV4D：Stability AI generative-models 从零到 4D 生成的完整路线
【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models
想给一张照片生成环绕镜头，但单卡显存只有 12G？Stability AI 的 generative-models 仓库就是干这件事的：SDXL-Turbo、SVD、SV3D 到 SV4D 2.0 的完整生成代码都在里面，配合encoding_t=1、decoding_t=1这两个参数，低显存也能把 4D 视频跑出来。
第一次跑通：从拿到代码到出第一个结果
把环境装好、权重放对位置，一条命令就能出片。
项目要求 Python 3.10，PyTorch 版本要跟显卡的 CUDA 对得上；4D 模型建议 12G 以上显存，不够就用后文的参数降显存。
git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models然后在仓库里建虚拟环境，按 requirements/pt2.txt 装依赖再pip3 install .，把 PyTorch 装成对应你 CUDA 的版本即可。权重下载是绕不开的一步，以 SV4D 2.0 为例：
huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints文件必须落在checkpoints/目录下，脚本按固定路径找权重。之后直接跑仓库自带的示例输入：
python scripts/sampling/simple_video_sample_4d2.py --input_path assets/sv4d_videos/camel.gif --output_folder outputs输出会写到outputs/sv4d2/，是一个多视角环绕视频，画面如下：
输入除了 gif/mp4，也可以是一个装满 jpg/png 帧的文件夹，甚至是一个帧文件名通配模式。
内部是怎么组织的
看懂三个设计决策，后面改什么、查什么都心里有数。
- 配置驱动：模型由 YAML 里的声明组合而成，代码里统一走
instantiate_from_config()构建。换模型组件就像给车换发动机，改配置即可，不用改代码。 - 统一条件入口：文本、类别、空间视角等条件走同一个条件器处理，所以模型能同时吃多种条件输入，加新条件类型时不用动模型主干。
- 采样与引导分离：采样策略写在 sampling.py，CFG 等引导逻辑单独成模块，换推理策略不用改模型。
这个分离也体现在入口上：scripts/sampling/ 下每个脚本对应一个模型版本，想跑哪个模型就找同名脚本，入口和配置一目了然。
常用命令与参数速查
各脚本参数大同小异，这几个是调参时最常动的：
| 参数 | 作用 | 何时使用 |
|---|---|---|
--num_steps | 采样步数，默认 50 | 质量与耗时平衡，先 20 步预览 |
--encoding_t/--decoding_t | 每次编码/解码的帧数 | 显存吃紧时降为 1 |
--img_size | 生成分辨率，默认 576 | 降显存的第二旋钮，如 512 |
--remove_bg | 用 rembg 去背景并裁切 | 背景较干净的视频输入 |
--elevations_deg | 相机俯仰角序列 | SV3D_p/SV4D 自定义相机轨迹 |
--azimuths_deg | 相机方位角序列 | 与俯仰角配合做动态环绕 |
--model_path | 权重路径 | 切换 4 视角或 8 视角的 SV4D 2.0 |
踩坑与优化
四个高频问题，都是显存和质量相关，按"现象—原因—办法"排查最快。
现象：报 out of memory。原因：VAE 编码时默认一次处理 8 帧（encoding_t=8），解码同样吃显存。办法：把--encoding_t=1 --decoding_t=1，仍不够再把--img_size降到 512；代价是耗时上升，属正常。
现象：采样慢得没法用。原因：num_steps默认 50，步数与耗时近似线性。办法：先 20 步出预览确认构图和相机轨迹没问题，满意后再拉回 50 步出成品。
现象：输出模糊、物体变形。原因：模型在干净白底的单物体视频上训练，实景噪声背景会让它"脑补"出错误结构。办法：先开--remove_bg=True；背景复杂的实拍素材，建议先用分割工具抠出前景再喂给模型。
现象：启动直接报错找不到模型。原因：权重没放进checkpoints/，或文件名不对。办法：确认文件名为sv4d2.safetensors，SV4D 旧版还需要额外的sv3d_u.safetensors。
怎么选、怎么改
选模型先看输入和产出：SDXL-Turbo 文生图、追求出图速度时用；SVD 适合 14 帧短片、SVD-XT 拉长到 25 帧；SV3D 从单张图出多视角环绕视频；SV4D 2.0 把视频升级成 4D 资产，对真实场景视频泛化更好，也比旧版 SV4D 更抗自遮挡；追求视角密度就换 8 视角的sv4d2_8views权重，代价是每段只生成 5 帧、靠自回归拼长。
想自己动手改，有两个入口：推理配置集中在configs/inference/，训练模板在configs/example_training/，照着 mnist 条件生成配置 的结构就能看懂字段含义；采样行为则从 sgm/modules/diffusionmodules/ 这个目录改起。
适合想自托管 Stability 系列模型或做 4D 生成实验的开发者；细节看 README 和sgm/源码。
【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
