Blender 插件三步接入 SadTalker：一键语音驱动人脸动画完整指南

Blender 插件三步接入 SadTalker：一键语音驱动人脸动画完整指南

【免费下载链接】SadTalker[CVPR 2023] SadTalker：Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker

SadTalker 是一个 CVPR 2023 的开源项目，只需一张静态图片加一段音频，就能生成表情自然、口型贴合的说话人脸视频。本文带你把它封装成 Blender 插件：在界面里选好图片和音频、点一下按钮，会动的脸就直接出现在时间线上——原本要逐帧对口型 2~4 小时的活，压缩到 1~2 分钟。

一个动画师的下午：口型对不上的第 3 版

下午三点，你在 Blender 里调一部 30 秒的短剧。客户刚发来第 3 版中文配音——台词改了，你上午逐帧摆好的口型、点头、眨眼全部作废。

传统做法只有两条路：一是一帧帧手动挪面部关键帧，一条 30 秒的素材至少要 2~4 小时；二是请演员重新动捕，成本更高。而如果配音没变、只是脸换了张立绘，这件事其实完全可以交给模型自动完成。SadTalker 干的就是这个：图片出"长相"，音频出"动作"，两头一拼就是一段会说话的脸。🎬

原理速览：一张图 + 一段音频是怎么变成动态脸的

SadTalker 的整条链路只有三步，理解这三步，你就懂了后面插件代码在干什么：

下面这张图就是项目自带的生成效果——静态立绘配上音频后的完整动画（已开 GFPGAN 超分）：

实操：把 SadTalker 装进 Blender 插件（环境与依赖 → Operator → 面板与时间线）

第 1 步｜环境与依赖：克隆仓库，用 Blender 内置 Python 装依赖

⚠️ Blender 自带独立的 Python 环境，依赖必须装进它，而不是你系统的 Python。先克隆代码（仓库地址：https://gitcode.com/GitHub_Trending/sa/SadTalker ）：

git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker && bash scripts/download_models.sh # 下载模型权重到 checkpoints/

然后用 Blender 的 Python 装核心依赖。完整清单见仓库根目录的requirements.txt，核心就四样：torch / torchaudio（推理引擎）、opencv（读图读帧）、ffmpeg-python（拼视频）：

# 在终端执行，把依赖装进 Blender 自己的 Python # （Windows 可先运行 blender --version 确认安装路径） blender --background --python-expr "import sys,subprocess;subprocess.check_call([sys.executable,'-m','pip','install','-r','requirements.txt'])"

第 2 步｜核心调用 Operator：一个类包住整条生成链路

整个调用入口就一个类：SadTalker（定义在src/gradio_demo.py）。它对外只暴露一个test()方法——传图片、音频和几个开关，返回 MP4 路径。插件要做的只是把 Blender 的按钮接到它身上：

# blender_sadtalker.py import os, shutil, tempfile, bpy from src.gradio_demo import SadTalker # SadTalker 主类，一条 test() 跑完全流程 class OBJECT_OT_sadtalker(bpy.types.Operator): bl_idname = "object.sadtalker_animate" bl_label = "SadTalker 语音驱动人脸" def execute(self, context): # test() 内部会移动输入文件，先复制到临时目录，别用原始素材 tmp = tempfile.mkdtemp() img = os.path.join(tmp, os.path.basename(context.scene.st_image)) aud = os.path.join(tmp, os.path.basename(context.scene.st_audio)) shutil.copy(context.scene.st_image, img) shutil.copy(context.scene.st_audio, aud) model = SadTalker(checkpoint_path='checkpoints', config_path='src/config') video = model.test(source_image=img, driven_audio=aud, # 关键调用 preprocess='crop', still_mode=context.scene.st_still, use_enhancer=context.scene.st_enhancer) self.import_video_to_timeline(video) # 第 3 步实现 return {'FINISHED'}

第 3 步｜界面面板与时间线整合：右键就能生成

面板负责收集参数，时间线整合负责把 MP4 挂到序列编辑器上，顺便把相机摆到一个合适的机位：

# 场景属性：注册一次即可 bpy.types.Scene.st_image = bpy.props.StringProperty(subtype='FILE_PATH') bpy.types.Scene.st_audio = bpy.props.StringProperty(subtype='FILE_PATH') bpy.types.Scene.st_still = bpy.props.BoolProperty() bpy.types.Scene.st_enhancer = bpy.props.BoolProperty() # 视频序列导入：MP4 → 时间线 def import_video_to_timeline(video_path): scene = bpy.context.scene scene.sequence_editor_create() # 自动创建序列编辑器 seq = scene.sequence_editor.sequences.new_movie( "SadTalker_Result", video_path, channel=1, frame_start=1) scene.camera.location = (0, -5, 1.5) # 机位对准角色 scene.camera.rotation_euler = (1.1, 0, 0) # N 侧栏面板：路径 + 开关 + 一键按钮 class SADTALKER_PT_Panel(bpy.types.Panel): bl_label = "SadTalker AI动画" bl_idname = "SADTALKER_PT_Panel" bl_space_type = 'VIEW_3D' bl_region_type = 'UI' bl_category = "AI Tools" def draw(self, context): layout = self.layout layout.prop(context.scene, "st_image") layout.prop(context.scene, "st_audio") layout.prop(context.scene, "st_still") layout.prop(context.scene, "st_enhancer") layout.operator("object.sadtalker_animate")

把三个类放进同一个文件、在register()里注册，保存为blender_sadtalker.py装进 Blender 插件目录，完成后 3D 视图右侧 N 面板的 AI Tools 标签里就有了"SadTalker AI动画"。

调参与排错：Blender 插件里 SadTalker 的 3 个高频问题

参数推荐表

三个高频问题速查

• 人脸检测失败：报错No face is detected时，先确认人脸正对镜头、光照均匀、占画面约 30% 以上；立绘建议直接预裁剪成接近正方形的脸区再喂进去。
• 音频格式：WAV / MP3 可直接用（代码会自动把 MP3 转成 16kHz WAV，逻辑在src/gradio_demo.py的mp3_to_wav）；FLAC、M4A 请先自行转 16kHz WAV。
• 显存不足：依次降级——size降到 256、batch_size设 1、关掉use_enhancer；再不行删掉环境变量里的 CUDA 配置让SadTalker.__init__自动落到 CPU（首次加载会慢，属正常）。

效果与延伸：语音驱动人脸动画还能做什么

前后耗时对比（同一段 30 秒素材）：

这条链路跑通之后，还有几个很顺手的扩展方向：

• 实时预览：app_sadtalker.py里现成有 Gradio 界面，可以在面板里嵌个浏览器窗口，边调参边看效果，不用每回都走 Blender 时间线。
• 多角色对话：用src/generate_batch.py的思路循环调用test()，一个角色一条音频，就能拼出多人对话段落。
• 参考视频驱动：test()的use_ref_video参数可以拿一段真人表演视频去驱动姿态（甚至只取眨眼神态），比纯音频驱动的肢体更丰富，效果参考：

• 动作捕捉融合：把src/face3d/extract_kp_videos_safe.py提出的 3D 系数接到 Blender 的 Facial 绑定上，AI 生成的动画就能落到你自己的 3D 角色上，而不只是贴图脸。

完整可运行的插件代码可参考仓库里的scripts/extension.py，欢迎跑通之后提交 PR 把参数面板、批量模式补全——你的第一条 AI 动画流水线，今天就能在 Blender 里转起来。

【免费下载链接】SadTalker[CVPR 2023] SadTalker：Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker