腾讯开源HunyuanVideo-Foley：实现AI视频声画合一

腾讯开源HunyuanVideo-Foley：实现AI视频声画合一

2025年8月，腾讯混元团队悄然释放了一枚“视听炸弹”——HunyuanVideo-Foley正式开源。这不仅是一款音效生成工具，更是一次对AI视频创作范式的彻底重构。它让机器第一次真正意义上“听懂画面”，并自动生成与之匹配的声音：雨滴落在伞面的节奏、脚步踩过落叶的脆响、玻璃碎裂时那一瞬的高频震颤……全都精准卡点，毫秒不差。

过去几年，AIGC在图像和视频生成上突飞猛进，但音频始终是短板。我们见过太多惊艳的AI动画，却因一段静音或错配的背景音乐而瞬间出戏。这种“哑巴时刻”不是技术疏忽，而是因为声音的本质比视觉更复杂——它依赖时间、空间、物理交互，甚至情绪氛围。而 HunyuanVideo-Foley 的出现，正在终结这一困境。

当AI视频终于“听见”自己

传统音效制作是个高度依赖经验的手艺活。专业拟音师要反复试验不同材质的碰撞声，调整混响参数，确保每一声都贴合画面动作。成本高、周期长，中小创作者几乎无法企及。

市面上一些所谓的“智能配乐”工具，其实只是基于关键词匹配音效库。输入“森林漫步”，就播放一段预录的鸟鸣风声；写上“紧张追逐”，立刻切到快节奏鼓点。但若画面中人物实际是在悠闲拍照，那这段“紧张”的音乐只会让人尴尬。

更深层的问题在于：大多数系统只看文本提示，完全忽略视频内容本身。它们不知道镜头里是谁在动、怎么动、为何动。结果就是语义割裂——画面温馨，声音惊悚；动作轻柔，音效炸裂。

HunyuanVideo-Foley 不走这条路。它的核心理念是：“先看懂，再发声”。模型会逐帧分析视频中的物体运动、场景变化、交互行为，理解其中的物理逻辑与情感基调，然后才决定该发出什么声音、何时发声、如何发声。

换句话说，它不再是一个被动响应指令的工具，而是一个能主动“感知”画面的声画智能体。

看得清，才配得准：从十万小时数据开始

任何强大的AI背后，都有一个足够硬核的数据集撑腰。HunyuanVideo-Foley 的基石是自研的TV2A（Text-Video-to-Audio）数据集，涵盖10万小时真实视频及其对应的专业级音效标注。

这些样本覆盖了12大类、超过200个细分场景：厨房炒菜的油爆声、地铁进站的刹车摩擦、猫爪拍打地毯的闷响……每一个片段都经过七重自动化清洗流程：

• 场景分割去除非目标片段
• 静音段过滤保证信息密度
• 信噪比评估剔除低质录音
• 动作-声音对齐校验确保同步性
• 多声道一致性检查
• 元数据标准化
• 情感标签人工复核

最终保留的数据全部满足48kHz采样率、24bit位深、96dB动态范围的专业标准。这意味着模型学到的不是“大概像”的声音，而是真正可用于影视级输出的高质量音频特征。

更重要的是，TV2A 并非简单堆砌数据。它构建了“视觉事件—声音类型—时间戳—情感标签”的四维关联结构，使得模型能够建立细粒度的跨模态映射关系。比如，“拳头击中沙袋”这个动作，在慢镜头回放时应伴随更深沉的冲击感，而在快速剪辑中则需更短促有力的音效——这些微妙差异都被编码进了训练信号中。

MMDiT 架构：让视觉与语言协同决策

HunyuanVideo-Foley 的核心技术之一是多模态扩散Transformer（MMDiT），一种专为“视频驱动音频生成”设计的双流架构。

这套系统有两条输入通路：

• 视觉编码分支：采用 ResNet3D 提取视频帧序列的空间-时间特征。它不仅能识别当前画面中有哪些物体，还能追踪它们的运动轨迹、速度变化以及相互作用力。例如，判断一个人是“轻轻关门”还是“愤怒摔门”，全靠对门扇摆动角度和加速度的建模。

• 文本理解分支：通过 BERT-base 解析用户提供的描述性文字，提取风格倾向、情绪色彩和定制需求。比如“复古科幻感”、“温暖治愈系”等抽象表达，都会被转化为可调控的嵌入向量。

关键在于第三部分：融合控制模块。这里引入了门控注意力机制，动态调节两路信息的权重。你可以把它想象成一个“创意调音台”——当用户没有提供额外描述时，系统以画面为主导，自动补全合理的环境音；一旦给出“营造悬疑氛围”这样的提示，模型就会增强低频噪音、拉长回声衰减时间，实现艺术化干预。

举个例子：一段“夜晚街道下雨”的视频，即使没有任何文字输入，模型也能识别路灯反光、行人撑伞、车辆驶过积水等细节，自动生成雨滴声、脚步溅水、远处雷鸣等复合音效。但如果加上一句“配合惊悚剧情”，系统会立刻加入轻微的心跳节拍和不规则的金属刮擦声，瞬间改变整体氛围。

这种“自主理解 + 可控引导”的双重能力，正是其超越纯文本驱动模型的关键所在。

REPA 技术：让AI声音逼近真实世界

生成“听起来像”的声音容易，但要生成“听起来真”的声音很难。很多AI音频一听就知道是合成的——频谱不够丰富、动态范围压缩、缺乏细微纹理。

为此，腾讯团队提出了REPA（Representation-aligned Enhancement for Perceptual Audio）损失函数。它的核心思想是：不仅要让最终输出的波形接近真实录音，更要让模型内部的中间表征也向专业音效数据库的嵌入空间对齐。

具体来说，REPA 在扩散过程的多个阶段施加约束，强制模型学习到符合人类听觉感知规律的声学特征。结合自研的高保真音频VAE解码器，支持输出128维连续频谱表示，最终生成音频达到以下规格：

• 采样率：48kHz
• 位深：24bit
• 动态范围：≥96dB
• 主观MOS评分：4.15/5.0

在 MovieGen-Audio-Bench 测试中，其音频质量（PQ）指标达6.59，超越 MMAudio 的 6.17，成为当前 SOTA 水平。尤其在高频细节保留和瞬态响应方面表现突出，即便是极短促的敲击声也能清晰还原。

毫秒级同步：声音“踩”在动作发生的瞬间

如果说音质决定了“好不好听”，那么同步精度决定了“能不能用”。

试想：一个人挥手打耳光，声音却在动作结束后半秒才响起——这种脱节足以摧毁所有沉浸感。行业平均水平的 DeSync（时间失配误差）约为2.1ms，但对于快速动作或复杂交互场景而言，这已经不可接受。

HunyuanVideo-Foley 引入了帧级时间戳映射机制，将视频帧与音频波形进行逐帧关联建模。利用交错旋转位置编码（Interleaved RoPE），实现跨模态的时间位置对齐。

实验数据显示，其 DeSync 低至0.74ms，意味着：
- 敲击键盘时，每个按键声都能精确对应手指下压的帧；
- 玻璃破碎的一刹那，高频碎裂音与画面裂纹扩展完全同步；
- 脚步落地瞬间，鞋底接触地面的声音无任何延迟。

这背后是对物理因果关系的深度建模：模型不仅知道“什么时候该响”，还理解“为什么会响”。它能推断出物体碰撞的速度、材质硬度、接触面积，并据此调整音效的起始斜率、共振频率和衰减曲线。

实测表现：全面领跑行业基准

在权威评测集 MovieGen-Audio-Bench 上，HunyuanVideo-Foley 实现多项指标全面领先：

主观评测中，来自影视后期、游戏音频、短视频制作领域的专家评审团打出如下分数：

• 音质自然度：4.21
• 语义一致性：4.18
• 时间精确性：4.15

已接近人类专业拟音师水准，尤其在日常场景复现方面具备显著优势。

图：HunyuanVideo-Foley 数据预处理 pipeline，包含场景检测、音频质量筛选、动作-声音对齐验证等多个环节，确保训练数据的高质量与高一致性，是模型性能领先的底层支撑。

应用落地：不止于“配乐”，更是工作流革命

短视频创作：效率跃迁百倍

对于vlogger和MCN机构而言，最直观的价值是效率飞跃。实测显示：

• 一段5分钟的生活类短视频，音效制作时间从传统流程的1.8小时缩短至1.5分钟
• 用户满意度从61%提升至89%
• 完播率平均提高34%

典型场景如咖啡冲泡过程，模型可自动识别磨豆、注水、搅拌等步骤，依次生成相应音效；户外徒步视频则能智能添加鸟鸣、风声、脚步踩落叶声，无需手动拼接。

影视后期：解放拟音师创造力

电影音效设计通常耗时数天甚至数周。HunyuanVideo-Foley 可批量生成初步音效草案，帮助拟音师快速搭建基础层。

某合作制片方反馈：
- 初步匹配效率提升60%以上
- 拟音师得以专注于艺术性打磨而非重复劳动
- 在“暴雨中的打斗戏”中，模型准确识别拳脚接触、雨水飞溅、衣物摩擦等多层次声音，并分层输出，极大简化后期混音流程

游戏开发：打造动态声景

游戏开发者可通过API集成该模型，用于实时生成场景音效。测试案例表明：

• 不同地图环境（森林、沙漠、城市）背景音自动生成准确率达92%
• NPC动作触发音效响应延迟 <100ms
• 玩家沉浸感评分提升27%

未来还可拓展至NPC语音风格迁移、UI交互音效智能适配等方向，推动游戏音频走向真正的智能化。

开源意义：推动音效民主化进程

此次开源不仅仅是发布模型权重，还包括：
- TV2A 数据集轻量版（含1万小时样本）
- 完整训练配置文件
- 推理部署指南
- Web交互界面代码

这一举措极大降低了中小企业和个人开发者的接入门槛。目前已有超30家企业申请商业授权，涉及领域包括在线教育课件配音、智能硬件操作反馈音、虚拟主播直播增强、元宇宙社交环境音等。

据测算，采用 HunyuanVideo-Foley 后，中小型工作室的音频制作成本可降低75%以上，真正实现“人人可用的专业音效”。

快速上手：三步生成你的第一段AI音效

步骤1：环境安装

# 创建虚拟环境 conda create -n hunyuan-foley python=3.10 conda activate hunyuan-foley # 安装PyTorch及相关依赖 pip install torch==2.1.0 torchvision==0.16.0 --extra-index-url https://download.pytorch.org/whl/cu118 pip install transformers==4.35.0 diffusers==0.24.0 pip install soundfile librosa decord # 克隆项目仓库 git clone https://gitcode.com/tencent_hunyuan/HunyuanVideo-Foley cd HunyuanVideo-Foley pip install -e .

步骤2：单视频音效生成

from hunyuan_video_foley import HunyuanVideoFoleyPipeline import torch # 加载模型 pipe = HunyuanVideoFoleyPipeline.from_pretrained( "tencent/HunyuanVideo-Foley", torch_dtype=torch.float16, device_map="auto" ) # 输入视频与描述 video_frames = load_video("demo.mp4", num_frames=16) # 采样16帧作为上下文 audio = pipe( video_frames=video_frames, text_description="夜晚的城市街道，下着小雨，远处有汽车驶过", guidance_scale=3.5, num_inference_steps=25 ) # 保存结果 save_audio(audio, "output.wav", sample_rate=48000)

步骤3：批量处理与Web交互

支持CSV批量任务处理：

python infer.py \ --model_path ./checkpoints/hunyuan-foley-xl \ --config_path ./configs/inference.yaml \ --csv_path assets/batch_input.csv \ --output_dir ./results/

启动本地Web界面：

export HIFI_FOLEY_MODEL_PATH=./checkpoints/hunyuan-foley-xl python gradio_app.py

访问http://localhost:7860即可上传视频、输入描述、实时预览音效。

未来已来：听觉智能的新起点

腾讯混元团队已在规划下一阶段演进路线：

1. 实时推理优化：目标将单段视频音效生成延迟压缩至500ms以内，支持直播、AR/VR等低延迟场景；
2. 3D空间音频支持：结合摄像头深度信息，生成具有方位感的环绕声场；
3. 多语言语音融合：集成TTS模块，支持旁白、对话与音效一体化生成；
4. 个性化风格迁移：允许用户上传参考音频，模仿特定拟音师风格或复古音效质感；
5. 开放微调框架：预计2026年初开源完整训练代码，支持领域适配与垂直场景定制。

行业分析师预测，随着此类技术普及，到2026年，60%以上的短视频将采用AI辅助音效生成，相关市场规模有望突破5亿美元。

视频从来不只是“动起来的画面”，而是光影与声音共同编织的叙事体验。HunyuanVideo-Foley 的意义，不仅在于填补了AI生成链条上的最后一块空白，更在于它重新定义了“智能”的边界——AI不仅能看见世界，还能听见世界，并用自己的方式讲述它。

对于创作者来说，这意味着更少的时间消耗、更高的作品完成度、更强的情感传达力。

我们正站在一个新时代的起点：声音不再是附加项，而是智能叙事的核心组成部分。

立即体验 HunyuanVideo-Foley，让你的视频“声”入人心！

项目地址：https://gitcode.com/tencent_hunyuan/HunyuanVideo-Foley
商业使用需申请许可，非商业用途完全免费