【免费下载链接】IndexTTS-1.5-MLX
IndexTTS-1.5-MLX 是把零样本语音克隆 TTS 系统 IndexTTS-1.5 转换为 MLX 格式的模型仓库,专为 Apple Silicon Mac 本地推理设计。本文带你用 uv、huggingface、mlx-indextts 三步搭建完整的 IndexTTS-1.5-MLX 推理环境:只需 5–15 秒参考音频,就能克隆出中英文音色并合成语音。
IndexTTS-1.5-MLX 是什么?30 秒看懂 🎙️
一句话:IndexTTS-1.5 是一个零样本(zero-shot)语音克隆 TTS 系统,支持中英文,而本仓库是它的 MLX 版本(fp32 safetensors),可以原生跑在 M 系列芯片上,无需 GPU 服务器。
它的工作方式很直观:
- 输入一段 5–15 秒的参考音频 → 提取音色特征
- 输入你想说的文本 → 输出克隆了该音色的合成语音
- 文本端支持 12000 词表,从 unigram_12000.vocab 可以看出词表覆盖中、英、日、韩字符(
[ZH]、[EN]、[JA]、[KO]语言标记)
推理管线由几个模块协作,对应仓库中的模型文件:
| 文件 | 作用 |
|---|---|
| gpt.safetensors | GPT 语义代码生成器(自回归),语音"骨架"由它生成 |
| bigvgan.safetensors | BigVGAN 声码器,把声学特征变成最终波形 |
| dvae.pth | 离散 VAE(保留 PyTorch 格式,由运行时加载) |
| tokenizer.model / unigram_12000.vocab | 文本前端,负责文本切分与编码 |
| config.json | 运行时配置,描述全部模型结构 |
从 config.json 可以读到几个关键参数:GPT 主干为24 层、1280 维、20 头,mel 码本大小 8194,音频采样率24000 Hz。这些参数决定了模型的结构校验和合成精度,下载完整模型后无需手动修改。
更多背景可阅读 README.md。
环境搭建前置检查:确认你的 Mac 能跑 ⚡
开始之前,确认三件事,可以避免 90% 的失败:
- 芯片:MLX 只支持 Apple Silicon(M1 / M2 / M3 / M4 及后续系列),Intel 版 Mac 无法使用
- 系统:建议 macOS 13.0 及以上版本
- 磁盘:模型为 fp32 格式,建议预留10 GB 以上可用空间(代码 + 依赖 + 模型文件)
确认无误后,先建一个干净的工作目录,后续所有操作都在这里进行:
mkdir -p ~/indextts-mlx && cd ~/indextts-mlx第一步:用 uv 一键搭建 Python 推理环境 🔧
IndexTTS-1.5-MLX 依赖mlx-indextts推理库来加载和运行。这个库要求一个干净的 Python 环境,而 uv 是目前最快的 Python 包管理器,还能自动下载并管理 Python 解释器,省去版本冲突的烦恼。
1. 安装 uv(若已安装可跳过):
curl -LsSf https://astral.sh/uv/install.sh | sh uv --version2. 获取 mlx-indextts 推理库并同步依赖(clone 地址见该库的官方仓库页面):
cd mlx-indextts uv syncuv sync会根据库内的pyproject.toml自动创建虚拟环境并安装全部依赖,包括 MLX 运行时。完成后用以下命令确认环境就绪:
uv run python -c "import mlx.core as mx; print(mx.metal.is_available())" # 输出 True 即表示 MLX 可用第二步:用 huggingface 命令下载 IndexTTS-1.5-MLX 模型文件 📦
模型文件在 Hugging Face 仓库Jup33QE/IndexTTS-1.5-MLX中,一条命令即可下载到 mlx-indextts 项目的models目录下:
cd mlx-indextts hf download Jup33QE/IndexTTS-1.5-MLX --local-dir models/IndexTTS-1.5-MLX💡
hf是 huggingface 官方 CLI。如果还没安装,可以在 uv 环境中执行uv pip install -U "huggingface_hub[cli]",或直接使用huggingface-cli download替代。
下载完成后,models/IndexTTS-1.5-MLX/下应有 6 个文件(与上文模型文件表一致):gpt.safetensors、bigvgan.safetensors、dvae.pth、tokenizer.model、unigram_12000.vocab、config.json。
如果直连下载速度慢,可以改用镜像仓库 clone 的方式获取完整模型文件:
git clone https://gitcode.com/hf_mirrors/mlx-community/IndexTTS-1.5-MLX # clone 完成后,把该目录内容放入 mlx-indextts 的 models/IndexTTS-1.5-MLX 下两种方式最终得到的文件结构相同,任选其一即可。
第三步:接入 mlx-indextts 完成推理运行 🎬
模型文件就位后,用 mlx-indextts 的命令行入口发起合成,典型流程是:
cd mlx-indextts uv run <mlx-indextts 推理入口> \ --model-dir models/IndexTTS-1.5-MLX \ --ref-audio your_voice.mp3 \ --text "用我的声音朗读这句话"各参数的含义:
--model-dir:指向第二步下载好的模型目录--ref-audio:5–15 秒的参考音频(wav / mp3 均可),音色由它决定--text:要合成的文本内容
⚠️重要提示:根据 README.md 说明,1.5 版本的权重已完成转换并通过结构校验,但生成链路尚未做端到端验证,当前已验证完整合成路径的是 IndexTTS-2-MLX 包。如果你的目的是先跑通全流程,建议优先使用 IndexTTS-2-MLX 验证环境,再切回 1.5 实验;两者目录结构与用法完全一致。
常见问题:下载与运行避坑清单 🛠️
Q1:uv sync报错或特别慢?让 uv 自动管理 Python 版本,不要手动指定系统 Python;网络不佳时给 uv 配置国内镜像源后重试。
Q2:下载模型时中途断掉?hf download支持断点续传,重新执行同一条命令即可继续,无需从头下载。
Q3:合成出来的音频有杂音或音色不像?参考音频质量直接决定克隆效果。优先选择 5–15 秒、干声、无背景音乐、语速正常的片段。
Q4:非 Apple Silicon 能跑吗?不能。MLX 是苹果专为自家芯片设计的机器学习框架,Intel Mac 或其他平台请使用原版 PyTorch 实现的 IndexTTS-1.5。
小结
三步回顾一下 IndexTTS-1.5-MLX 推理环境的搭建路径:
- uv 建环境:安装 uv → clone mlx-indextts →
uv sync - huggingface 下模型:
hf download ... --local-dir models/IndexTTS-1.5-MLX(慢则走镜像 clone) - mlx-indextts 跑推理:参考音频 + 文本,即可克隆音色合成语音
环境搭好后,你得到的是一套可以完全离线运行的本地语音克隆工具——录一段自己的声音,之后的所有文本都能"用你的口吻"读出来。祝搭建顺利!🎉
【免费下载链接】IndexTTS-1.5-MLX
相关推荐
Delta 模拟器金手指完全讲解:新手 3 个卡点一次说清
Delta 模拟器金手指完全讲解:新手 3 个卡点一次说清 这是一份面向第一次用金手指的 Delta 模拟器作弊码教程,只解决三个真实卡点:预设金手指的入口在哪
Zephyr 上构建 doiting dt_xt_zb1_devkit(BL702)Zigbee/BLE 共存开发板的完整实践:从设备树到 Hello World 烧录调试
Zephyr 上构建 doiting dt_xt_zb1_devkit(BL702)Zigbee/BLE 共存开发板的完整实践:从设备树到 Hello Worl
abogen 入门指南:把 EPUB、PDF 变成带同步字幕的有声书
abogen 入门指南:把 EPUB、PDF 变成带同步字幕的有声书 想在通勤路上把 EPUB、PDF 听掉?abogen 能把电子书、PDF、纯文本转成带同步
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考