Sherpa-ONNX 本地部署离线语音识别与合成的完整指南
【免费下载链接】sherpa-onnxSpeech-to-text, text-to-speech, speaker diarization, speech enhancement, source separation, and VAD using next-gen Kaldi with onnxruntime without Internet connection. Support embedded systems, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V, RK NPU, Axera NPU, Ascend NPU, x86_64 servers, websocket server/client, support 12 programming languages项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnx
想让语音助手彻底摆脱网络?难点往往不在算法,而在部署——云端 API 依赖网络且产生费用,自己接模型又门槛太高。Sherpa-ONNX 把离线语音识别、语音合成、说话人识别等能力打包成一个可本地运行的开源库,支持无网络环境运行,从手机、树莓派到 x86 服务器都能跑。它的核心价值一句话概括:基于 ONNX Runtime 的开源语音工具库,覆盖识别、合成、说话人分析全链路,且完全在本地完成推理,数据不出设备,天然适合对隐私和延迟敏感的应用。
能做什么:覆盖语音处理的主要环节
离线语音识别(ASR)
支持流式与非流式两种模式:流式适合实时对话场景,边说边出字;非流式适合文件转写、生成字幕。内置 Whisper、Paraformer、SenseVoice、Zipformer 等主流模型的 ONNX 版本,可做多语种识别,部分模型还带时间戳,便于直接产出 SRT 字幕。
语音合成(TTS)
支持 VITS、Piper、Matcha、Kokoro、ZipVoice、Pocket TTS 等多种 TTS 引擎,覆盖中英文及多语种音色,并支持零样本声音克隆。合成结果可保存为音频文件或直接播放,下图是同一套 Flutter 演示在 macOS 上运行本地语音合成的效果:
说话人相关能力
包括说话人识别、说话人验证与说话人分离(diarization)——即从一段会议录音里自动区分"谁在什么时候说了什么",这是做会议纪要类应用的基础能力。
VAD 与音频增强
提供实时语音活动检测(VAD),常用于"先检测人声、再切片送识别"的管线;同时支持语音增强(降噪)与音源分离,可改善嘈杂环境下的识别效果。
谁适合用
- 移动端与跨平台开发者:提供 Android/iOS/桌面端的 Flutter、Tauri 示例应用,以及 Java、Kotlin、Swift、C# 等语言绑定,可直接参考 flutter/ 和 flutter-examples/ 里的现成 Demo。
- 边缘与嵌入式设备用户:官方支持树莓派、Jetson、RK NPU、昇腾 NPU、RISC-V 等硬件,适合车载、智能家居等断网环境。
- 隐私优先的团队:企业内部会议转写、客服录音质检等场景,可做到本地部署、数据不落盘外流。
技术速览与下一步
技术栈很集中:模型统一为 ONNX 格式,推理依赖 ONNX Runtime,核心代码是 C++,再向上暴露 C API 和 12 种语言绑定(C++/C/Python/Java/Kotlin/Swift/Go/Rust/Dart/JavaScript/C#/Pascal),并支持 WebAssembly 在浏览器中运行。仓库内按语言组织了大量可运行示例,如 python-api-examples/、cpp-api-examples/,基本"照着抄"就能出效果。
想上手的同学,先拉取仓库跑一个最小示例:
git clone https://gitcode.com/GitHub_Trending/sh/sherpa-onnx跑通 Python 示例后,再按需替换模型和平台,建议从 README.md 的支持矩阵和 Python 示例目录开始读起。
【免费下载链接】sherpa-onnxSpeech-to-text, text-to-speech, speaker diarization, speech enhancement, source separation, and VAD using next-gen Kaldi with onnxruntime without Internet connection. Support embedded systems, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V, RK NPU, Axera NPU, Ascend NPU, x86_64 servers, websocket server/client, support 12 programming languages项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnx
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考