从0开始学语音AI：用SenseVoiceSmall做带情绪标签的转录-育师

从0开始学语音AI：用SenseVoiceSmall做带情绪标签的转录

你有没有遇到过这样的问题：一段录音里，说话人明明语气激动，但转写出来的文字却平平无奇？或者视频会议记录里，大家鼓掌、笑出声的瞬间，在文本中完全“消失”了？

传统的语音识别（ASR）只能把声音变成文字，而现在的AI已经能听懂“语气”和“环境”了。今天我们要一起上手的，就是阿里开源的SenseVoiceSmall模型——它不仅能精准识别中文、英文、日语、韩语、粤语，还能告诉你这段话是“开心地说”还是“愤怒地吼”，甚至标注出背景里的掌声、笑声、音乐。

更棒的是，我们不需要一行行敲代码，就能通过一个可视化界面玩转这个强大的模型。这篇文章会带你从零开始，一步步部署、运行，并真正理解它输出的每一条“带情绪的转录”。

1. 为什么你需要“带情绪”的语音识别？

传统ASR vs 富文本转录

我们先来对比一下：

传统语音识别（ASR）
输入：一段音频
输出：纯文字
示例：
“我觉得这个方案不行。”
看不出说话人是冷静分析，还是在发火。
富文本转录（Rich Transcription）
输入：同一段音频
输出：带情感和事件标签的文字
示例：
<|ANGRY|>我觉得这个方案不行<|APPLAUSE|>
这下清楚多了：说话人生气了，而且后面还有人鼓掌。

这种能力在很多场景下非常关键：

客服质检：自动识别客户是否不满，提升服务质量。
视频字幕生成：让字幕更有表现力，比如标注“（笑声）”。
会议纪要：标记谁在什么时候表达了情绪，便于复盘。
内容创作：为播客、短视频自动生成带氛围描述的脚本。

而 SenseVoiceSmall 正是目前少数能同时支持多语言 + 情感识别 + 声音事件检测的开源模型之一。

2. 镜像环境快速部署

2.1 一键启动 WebUI

你拿到的镜像是一个已经配置好所有依赖的完整环境，包括：

Python 3.11
PyTorch 2.5
FunASR 和 ModelScope 核心库
Gradio 可视化界面
FFmpeg 音频处理工具

这意味着你几乎不需要手动安装任何东西。

如果镜像没有自动运行服务，只需在终端执行以下命令即可启动 Web 界面：

python app_sensevoice.py

这条命令会启动一个基于 Gradio 的网页应用，默认监听6006端口。

2.2 如何访问本地 Web 界面？

由于大多数云平台出于安全考虑不直接开放端口，我们需要通过 SSH 隧道将远程服务映射到本地。

在你的本地电脑终端运行：

ssh -L 6006:127.0.0.1:6006 -p [实际端口号] root@[服务器IP]

连接成功后，打开浏览器访问：

👉 http://127.0.0.1:6006

你会看到一个简洁的语音识别控制台，支持上传音频或直接录音，选择语言，点击按钮就能获得结果。

小贴士：为什么用 Gradio？
Gradio 是一个极简的 Python 库，几行代码就能把机器学习模型变成可交互的网页。对于非前端开发者来说，它是快速验证模型效果的最佳工具。

3. 模型核心功能详解

3.1 多语言识别：不再局限于中文

SenseVoiceSmall 支持五种主要语言：

语言	代码
自动识别	auto
中文	zh
英文	en
粤语	yue
日语	ja
韩语	ko

你在使用时可以通过下拉菜单指定语言，也可以设为auto让模型自动判断。

这对于跨国会议、双语访谈等场景特别有用。

3.2 情感识别：听出“语气”

模型可以识别多种情感状态，常见的有：

<|HAPPY|>：开心、兴奋
<|SAD|>：低落、悲伤
<|ANGRY|>：愤怒、不满
<|NEUTRAL|>：中性、平静

这些标签会被插入到对应语句前后，形成“富文本”输出。

举个例子：

原始音频内容：
“哇！这真是太棒了！！”

模型输出可能为：
<|HAPPY|>哇！这真是太棒了！！

这比单纯的文字多了太多信息量。

3.3 声音事件检测：听见“背景音”

除了人声，模型还能识别环境中的特定声音事件：

<|BGM|>：背景音乐
<|APPLAUSE|>：掌声
<|LAUGHTER|>：笑声
<|CRY|>：哭声

想象一下，一段脱口秀视频中，观众突然爆笑，传统 ASR 只会沉默，而 SenseVoice 会标注：

<|LAUGHTER|>（此时全场大笑）

这对后期剪辑、内容摘要都非常有价值。

4. 实际操作演示

4.1 准备一段测试音频

你可以找一段包含以下元素的音频来测试：

不同情绪的说话（如高兴、生气）
背景音乐
掌声或笑声

如果没有现成素材，也可以自己录制一段简单的测试语音，比如：

“大家好，今天我们来聊聊 AI。（笑声）我觉得这项技术真的太神奇了！（掌声）”

4.2 上传并识别

打开 http://127.0.0.1:6006
点击“上传音频”按钮，选择你的文件
在“语言选择”中选zh或auto
点击“开始 AI 识别”

等待几秒钟，结果就会出现在右侧文本框中。

4.3 查看带标签的输出

假设你上传了一段带有笑声和掌声的演讲录音，输出可能是这样的：

<|HAPPY|>大家好，今天我们来聊聊 AI<|LAUGHTER|>我觉得这项技术真的太神奇了！<|APPLAUSE|>

是不是一下子生动起来了？

4.4 后处理：让标签更友好

默认输出中的<|HAPPY|>这类标签虽然清晰，但在某些场景下可能不够自然。我们可以用rich_transcription_postprocess函数将其转换为更易读的形式。

例如：

from funasr.utils.postprocess_utils import rich_transcription_postprocess raw_text = "<|HAPPY|>大家好<|APPLAUSE|>" clean_text = rich_transcription_postprocess(raw_text) print(clean_text) # 输出：[开心]大家好[掌声]

这样更适合展示给普通用户。

5. 代码解析：看看背后发生了什么

虽然我们用了 Gradio 界面，但了解背后的逻辑对后续定制非常重要。

以下是app_sensevoice.py的关键部分拆解：

5.1 初始化模型

model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 )

这里做了几件事：

加载预训练模型
启用 VAD（语音活动检测），自动切分静音段
指定使用 GPU 提升推理速度

5.2 调用识别接口

res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, # 数字转文字（如 100 → 一百） batch_size_s=60, # 批处理长度，影响速度 merge_vad=True, # 合并短片段 merge_length_s=15, # 最大合并时长 )

参数说明：

use_itn=True：开启“逆文本归一化”，把数字、日期等转成口语表达。
batch_size_s=60：以60秒为单位进行批处理，适合长音频。
merge_vad=True：避免一句话被切成太碎的片段。

5.3 结果清洗

raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text)

这一步会把原始标签美化成[开心]、[掌声]这样的格式，更适合展示。

6. 使用技巧与常见问题

6.1 音频格式建议

采样率：推荐 16kHz，模型会自动重采样，但原始为16k效果最佳。
格式：WAV、MP3、FLAC 均可，避免使用高压缩率的 AMR 或 OPUS。
声道：单声道优先，立体声也能处理，但可能影响定位精度。

6.2 如何提升识别准确率？

明确语言设置：如果知道是中文，就不要用auto，直接选zh。
避免背景噪音过大：虽然模型有一定抗噪能力，但清晰录音效果更好。
控制语速：过快或含糊不清会影响断句和情感判断。

6.3 常见问题排查

问题	可能原因	解决方法
无法启动服务	端口被占用	更换`server_port`为其他值，如`6007`
识别失败	音频损坏或路径错误	检查上传文件是否正常
情感标签缺失	语气太平淡	尝试更明显的情绪表达
GPU 报错	显存不足	改用 CPU 推理（`device="cpu"`）

经验分享：什么时候用 GPU？
如果你只是偶尔处理几段短音频，CPU 完全够用。但如果你要批量处理上百条录音，强烈建议使用 GPU（如 4090D），推理速度可达秒级，效率提升显著。

7. 进阶玩法：不只是转录

7.1 批量处理音频文件

你可以写个脚本，遍历整个文件夹，自动处理所有音频：

import os audio_dir = "./audios/" for filename in os.listdir(audio_dir): if filename.endswith((".wav", ".mp3")): audio_path = os.path.join(audio_dir, filename) result = model.generate(input=audio_path, language="auto") text = result[0]["text"] clean_text = rich_transcription_postprocess(text) with open(f"transcripts/{filename}.txt", "w") as f: f.write(clean_text)

7.2 构建私有语音分析平台

结合数据库和前端框架（如 Vue），你可以搭建一个企业级语音分析系统：

上传会议录音 → 自动生成带情绪标记的纪要
统计客户投诉录音中“愤怒”出现频率
分析培训课程中讲师情绪变化趋势

7.3 与其他工具集成

接入微信机器人：用户发送语音，自动回复转录结果。
连接 Notion API：将会议记录直接写入知识库。
配合 TTS 模型：实现“有感情”的语音合成闭环。

8. 总结

8.1 你学会了什么？

在这篇文章中，我们完成了以下目标：

了解了什么是“富文本转录”，以及它相比传统 ASR 的优势。
成功部署并运行了 SenseVoiceSmall 的 WebUI 服务，无需复杂配置。
实践了如何上传音频、选择语言、获取带情感和事件标签的识别结果。
理解了模型的核心能力：多语言识别、情感检测、声音事件标注。
掌握了关键代码逻辑，为后续定制开发打下基础。
学会了一些实用技巧，如后处理、批量处理、性能优化。

8.2 下一步你可以做什么？

尝试更多真实场景：用朋友聊天录音、公开演讲视频做测试。
优化输出格式：把结果导出为 SRT 字幕、Markdown 笔记等。
加入标点修复：虽然 SenseVoice 自带一定标点能力，但仍可进一步优化。
探索微调可能：如果有特定领域数据（如医疗、法律），可以尝试微调模型。

语音 AI 正在从“听清”走向“听懂”。SenseVoiceSmall 让我们第一次如此轻松地触达这一能力。现在，轮到你去创造属于自己的智能语音应用了。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

从0开始学语音AI：用SenseVoiceSmall做带情绪标签的转录