RVC模型融合完全指南:不重训10分钟拿到新音色
【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data <= 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI
你手上有两个训练好的 RVC 模型:一个咬字清楚,一个情感更足,但没法同时用在一个文件里。Retrieval-based-Voice-Conversion-WebUI 的模型融合功能可以把两个 .pth 的参数做加权混合,产出一个新模型,不用重新训练。做完这件事,你手里会多一个 .pth,直接扔进推理就能用。
模型融合到底做了什么,一句话说清
本质是加权平均:把两个模型每一层的权重按同一组比例(alpha 与 1−alpha)相乘再相加,存成新的 ckpt。权重越靠近 1,音色越像 A 模型;0.5 就是五五开。核心逻辑在 infer/lib/train/process_ckpt.py 的 merge 函数里,想深入可以直接打开看。
两个前提:两个模型必须是同架构(同版本、同采样率),否则程序会直接告诉你融合失败,不会硬拼。
模型融合最小流程:从启动 WebUI 到拿到新 .pth
启动:
python infer-web.py浏览器打开本地地址(通常是 http://localhost:7860)。
切到「ckpt处理」选项卡,里面有一块「模型融合」区域,字段分四组:
- A模型路径 / B模型路径:填你要融合的两个 .pth,一般在 assets/weights/ 目录下
- A模型权重:0–1 的滑杆,默认 0.5
- 目标采样率(40k/48k)和模型是否带音高指导(是/否):按原模型的训练设置选
- 保存的模型名不带后缀:输名字,存盘时自动补 .pth
点「融合」按钮,「输出信息」里出现 Success. 即成功,新文件已经躺在 assets/weights/ 里。
| 现象 | 处理 |
|---|---|
| 报错 The model architectures are not the same | v1 和 v2 混选了,或采样率不一致;换成同配置的两个模型 |
| 显示成功但音色发糊、发飘 | 先单独跑两个原模型确认都能用,再收窄权重范围重试 |
| 新模型没出现在推理下拉框 | 检查「保存的模型名」有没有真的填;文件可能存在但名字不对 |
再提醒两件事:融合产物不带索引,第一次推理可以复用原模型之一的 index 试效果。「要置入的模型信息」留空的话新模型没有描述,下拉框里显示为空,不影响音色,只影响观感。
模型融合权重怎么调:动哪里、动多少、怎么判断
alpha 是唯一真正决定听感的参数,值得花点时间:
- 先跑 0.3 / 0.5 / 0.7 三档,每次用同一条源音频推理,保证变量只有一个
- 听音色特点并记录:0.3 时偏谁,0.7 时偏谁,找到哪边「赢」
- 在感觉最好的值附近,按 ±0.05 步进细调
- 别漏掉 0.1 / 0.9 极端值——有时某一边只是有小毛病(气息弱、咬字虚),小比例反而刚好盖住它
判断好坏的标准:找一句信息量大的长句(有快有慢、有气声)做推理,听咬字是否清楚、气息是否自然、有没有金属音。一句短句下不了结论。
批量模型融合:脚本入口与最小示例
要测一组比例、比较多组结果时,别手点 WebUI:
- WebUI 的「融合」按钮走的是 API
ckpt_merge(声明在 infer-web.py 里),写脚本请求这个接口,就能把比例表循环跑完 - 批量验证效果用 tools/infer_cli.py,每个融合模型跑一次,循环对比输出文件:
python tools/infer_cli.py \ --model_name merged_model \ --input_path test.wav \ --opt_path out/merged_05.wav循环里改--model_name和输出文件名就行,其余参数保持不动,结果才好对比。
下一步
融合只是把两个优点混合,变不出原本没有的东西——先把原模型训好再融。常见问题看 docs/cn/faq.md,新功能动态看 docs/cn/Changelog_CN.md。
【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data <= 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考