LivePortrait 完整上手步骤:从下载预训练权重到跑出第一段人像动画
【免费下载链接】LivePortraitBring portraits to life!项目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait
LivePortrait 是快手开源的高效人像动画项目:一张静态肖像加一段驱动视频,就能生成表情、嘴型和头姿跟随驱动的动态人像视频,另带猫狗动物模式。照本文主线走一遍,你会得到一个完整可用的本地推理环境,并产出第一段生成动画。
一句话介绍:LivePortrait 能做什么、适合谁
它从单张图片或一段视频里提取源人像,用驱动视频的表情、嘴型、头部运动去驱动源人像,支持图像驱动、区域控制和精确人像编辑,在 NVIDIA GPU 上可做到接近实时。适合想在本地部署人像动画的开发者;跑通后你会得到animations/目录下的合成预览视频,以及一个可交互的 Gradio 界面。
上手主线:克隆代码、安装依赖、下载预训练权重、运行推理
以下是一条推荐路径,按顺序执行即可,每步只保留关键命令。
1. 克隆代码
git clone https://gitcode.com/GitHub_Trending/li/LivePortrait cd LivePortrait系统需要预先装好git、conda和 FFmpeg(含ffmpeg与ffprobe),脚本启动时会做 FFmpeg 检查,缺失会直接报错。
2. 创建 Python 环境(3.10)
conda create -n LivePortrait python=3.10 conda activate LivePortrait项目依赖按 Python 3.10 配置,版本不一致容易在装依赖阶段踩坑。
3. 安装与 CUDA 匹配的 PyTorch
先用nvcc -V确认本机 CUDA 版本,再装对应 PyTorch。以 CUDA 11.8 为例:
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu118X-Pose 组件要求 torch 与 CUDA 版本兼容,这是 Linux/Windows 用户最常见的环境坑。其他版本参考 PyTorch 官方矩阵。然后安装其余依赖:
pip install -r requirements.txt4. 下载预训练权重
pip install -U "huggingface_hub[cli]" huggingface-cli download KlingTeam/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"命令会自动创建pretrained_weights目录,并把 insightface、liveportrait、liveportrait_animals 三个模块的完整权重下到正确位置,无需手动整理。
5. 运行推理
python inference.py不带参数时使用仓库内置的示例输入,跑通即算部署成功。
立刻看到效果:推理验证命令与预期输出
成功运行后,当前目录会生成animations/s6--d0_concat.mp4。这个文件把驱动视频、源输入和生成结果横向拼接在一起,方便直接目视比对。判断标准很简单:脚本正常退出、无权重加载报错、animations/下出现该 mp4,即整条链路已通。
换成自己的素材,用-s和-d指定源输入与驱动视频:
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4-s可以是图像或视频(视频源即视频编辑 v2v 场景),-d是驱动视频或.pkl动作模板;完整参数用python inference.py -h查看。
常见卡点:镜像加速、目录结构核对与动物模式编译
遇到 HuggingFace 访问慢或超时时,可以切镜像端点后再执行同一条下载命令:
export HF_ENDPOINT=https://hf-mirror.com网络环境特殊时,也可以手动下载全部权重,解压后整体放入pretrained_weights/目录。
遇到脚本报"模型文件不存在",或怀疑下载不完整时,对照目录结构核对,关键文件如下(完整版见 assets/docs/directory-structure.md):
pretrained_weights/ ├── insightface/models/buffalo_l/ # 2d106det.onnx, det_10g.onnx ├── liveportrait/ │ ├── base_models/ # 4 个基础模型 .pth │ ├── landmark.onnx │ └── retargeting_models/ └── liveportrait_animals/ ├── base_models/ ├── retargeting_models/ └── xpose.pth特别注意liveportrait_animals/xpose.pth,它是动物模式的关键权重,最容易被漏掉。
准备跑动物模式(inference_animals.py)时,需要先编译 X-Pose 的自定义算子,否则加载即报错:
cd src/utils/dependencies/XPose/models/UniPose/ops python setup.py build install动物模式仅在 Linux/Windows 的 NVIDIA GPU 上经过测试。
遇到 FFmpeg 未安装报错时,脚本会在启动前做检查,先按 assets/docs/how-to-install-ffmpeg.md 装好ffmpeg和ffprobe再运行。
延伸方向:跑通之后还能做什么
用 Gradio 界面玩参数。python app.py启动人类模式、python app_animals.py启动动物模式(🐾),界面里可直接调节驱动强度系数和表情、姿态的重定向方式,调参比改命令行直观得多。
做姿态与表情精修。Gradio 界面还支持对头部旋转、眼嘴张开度等参数做精细编辑,适合"只改一处、其他不动"的局部修正需求,相关说明见 assets/docs/changelog/2024-07-24.md。
测速与提速。python speed.py可测各模块的推理速度,参考数据在 assets/docs/speed.md;Linux 上给app.py加--flag_do_torch_compile参数可再提速 20%~30%(首次推理会触发约一分钟的编译过程,Windows/macOS 不支持该选项)。
【免费下载链接】LivePortraitBring portraits to life!项目地址: https://gitcode.com/GitHub_Trending/li/LivePortrait
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考