TransPixar 安装指南：让 RGBA 视频生成在你自己的机器上跑起来

TransPixar 安装指南：让 RGBA 视频生成在你自己的机器上跑起来

【免费下载链接】TransPixarCVPR2025项目地址: https://gitcode.com/gh_mirrors/tr/TransPixar

如果你正在查找 TransPixar 安装或 TransPixar 配置教程，这篇会带你把这个项目从环境准备走到第一次 RGBA 视频生成，覆盖网页与命令行两个入口，以及几个容易卡住的点。

先说清楚：TransPixar 帮你解决什么问题

大多数开源文生视频模型只能输出 RGB 视频——每个像素都是不透明颜色，没有"这个像素有多透明"的概念。TransPixar 的做法是在预训练视频模型上额外生成一个 alpha 通道（透明度蒙版），一次生成同时得到两个视频：RGB 画面内容和一张灰度透明蒙版。这就是 RGBA 视频生成的含义，它在 VFX 流程里尤其有用：烟雾、反射、玻璃这类透明元素可以合成进任意背景，而不需要后期再做抠像。

理解两个技术选择就能明白它为什么行得通，各只需一句话：

• DiT（扩散变换器）架构：当前主流视频生成模型的骨干结构，TransPixar 就是在这个框架上扩展能力，而不重新训一个模型。
• alpha token + LoRA 微调：给模型加入专门表示透明度的特殊标记（token），再训练一小组增量权重（LoRA）。LoRA 的意义在于：原模型的 RGB 生成能力基本不受影响，只"长出"透明通道，且 RGB 与 alpha 的输出能保持对齐。

有一个使用细节值得记住：TransPixar 输出的 RGB 视频是 premultiplied（预乘）格式，合成到背景时的公式是composite = rgb + (1 - alpha) * background，直接套用就能得到干净、无边缘溢色的结果。

运行前准备：TransPixar 环境要求检查

在动手之前，建议先核对三样东西：

1. Python 3.10 与 Conda：项目依赖锁定在这个 Python 版本上，Conda 用来隔离环境，避免污染你机器上已有的 Python。
2. Git：用于克隆项目和切换分支。
3. NVIDIA GPU：目前官方提供的推理路径基于 CogVideoX-5B，官方给出的推理显存参考约 24GB；如果只想做训练实验，Mochi 的训练开销更高（约 80GB）。只有 CPU 的机器可以装好环境，但实际生成视频不现实。

依赖清单不大：torch、diffusers、transformers、gradio、opencv 等。首次运行时还会自动从 Hugging Face 拉取 CogVideoX-5B 基座模型和 RGBA LoRA 权重，所以建议网络稳定，或者提前把模型缓存到本地。

从克隆到装好环境：TransPixar 完整配置步骤

下面命令可以按顺序执行，每一步只说明目的。

1. 克隆代码：

git clone https://gitcode.com/gh_mirrors/tr/TransPixar cd TransPixar

2. 创建独立的 Conda 环境并激活，Python 固定为 3.10 以匹配项目：

conda create -n TransPixeler python=3.10 conda activate TransPixeler

3. 安装依赖：

pip install -r requirements.txt

这里有一个容易踩的坑：requirements.txt里固定了torch==2.4.0。如果你有 NVIDIA 显卡，建议先手动安装与驱动匹配的 CUDA 版 torch（如 2.4.0 的 cu121 构建），再执行上面的命令，避免 pip 默认拉到 CPU 版本导致后续推理无法加速。

主分支默认使用 CogVideoX-5B 模型。如果你还想试基于 Wan2.1 的联合生成能力（同一个提示词同时生成 RGB 与分割图、alpha 蒙版等模态），需要先执行git checkout wan切到该开发分支再装环境。

TransPixar 两种用法：网页 Demo 与命令行

一键启动 TransPixar 网页 Demo

想最快看到效果，网页入口app.py最省事：

python app.py

启动后它会自动下载官方 RGBA LoRA 权重（存放在model_cogvideox_rgba_lora/目录），并加载 CogVideoX-5B。打开终端打印的浏览器地址，输入提示词（建议少于 200 词）、设置随机种子，点击生成，页面会并排展示 RGB 视频与 alpha 视频，可直接下载。结果保存在./output目录，页面还内置了旧文件定时清理。另外，如果你设置了OPENAI_API_KEY和OPENAI_BASE_URL两个环境变量，页面可以自动把短提示词扩写成更详细的描述，生成质量会更稳。

用 TransPixar CLI 生成 RGBA 视频

命令行入口CogVideoX/cli.py适合批量生成和精细调参。它需要你显式指定 LoRA 权重路径——这组权重正是让基座模型"懂透明度"的关键，指向官方发布的 CogVideoX-5B RGBA LoRA 即可（支持 49 帧，显存参考约 24GB）：

cd CogVideoX python cli.py \ --lora_path /path/to/your/rgba_lora.safetensors \ --prompt "rain falling on a glass sculpture"

运行结束后，./output目录会生成rgb.mp4（预乘格式）和alpha.mp4两个视频。常用可调参数：--num_inference_steps（默认 50，越大越精细越慢）、--num_frames（默认 49）、--width/--height（默认 720x480）、--seed（固定种子可复现结果）。Mochi/目录里也有一份结构相同的cli.py，面向 Mochi 模型，用法一致。

TransPixar 安装常见卡点与排查思路

• 显存不足（OOM）：这是最高频问题。先降--num_frames、--height、--width再试；代码里已开启 VAE slicing/tiling 与顺序卸载来压显存，但默认分辨率对显存要求依然不低。
• torch 与 CUDA 不匹配：如果装依赖或推理时报 CUDA 相关错误，先确认 torch 是 CUDA 构建版且与显卡驱动版本兼容。
• 首次运行特别慢：多半是在下载基座模型和 LoRA 权重，属于正常现象。可以把模型提前下载到本地目录，或换有 Hugging Face 模型缓存的网络环境。
• 合成结果发白或边缘溢色：通常是把 premultiplied 和 straight alpha 混用了。TransPixar 输出的是预乘 RGB，直接按rgb + (1 - alpha) * background合成即可，不要再做一次透明度归一化。

排查无果时，社区是更快的求助入口，项目提供了微信群供讨论与交流：

跑通之后的下一步探索方向

如果你已经把 Demo 跑通，可以顺着这三条线深入：

1. 训练自己的 RGBA LoRA：Mochi/目录给出了完整训练链路，包括数据预处理脚本、潜变量编码（embed.py）和bash train.sh启动训练，适合有多卡资源的团队。
2. 体验 wan 分支的联合生成：切换分支后，可以从同一提示词同时产出 RGB 与分割图、alpha 蒙版等模态，对做自动 VFX 流水线的场景更有价值。
3. 关注模型扩展计划：项目路线图里还列了接入更多视频模型和 ComfyUI 工作流集成，后续可以持续跟进。

遇到问题时，建议按"显存 → torch 与 CUDA 版本 → 模型和 LoRA 下载是否完整 →cli.py参数是否匹配官方推荐规格"的顺序自查，再带着完整报错日志去社区提问，能省掉大量来回沟通的时间。

【免费下载链接】TransPixarCVPR2025项目地址: https://gitcode.com/gh_mirrors/tr/TransPixar