快速体验SenseVoiceSmall：支持中文、英文、日语等5种语言的语音识别

快速体验SenseVoiceSmall：支持中文、英文、日语等5种语言的语音识别

1. 引言：当语音识别开始“读心”

想象一下，你正在听一段客服录音。传统的语音转文字工具告诉你：“你们的服务太差了”。这只是一个冰冷的文字记录。但如果有一个工具，不仅能告诉你客户说了什么，还能告诉你客户说这句话时是“愤怒”的，甚至能听出他说话时背景里有“咳嗽”声，你会不会觉得这个工具更懂你？

这就是SenseVoiceSmall带来的改变。它不再满足于做一个“复读机”，而是立志成为一个“翻译官+心理学家+声音侦探”的结合体。它能听懂中文、英文、日语、韩语和粤语，还能捕捉声音里的情绪和背景音。今天，我们就来快速上手这个神奇的语音理解模型，看看它如何让机器真正“听懂”人类的声音。

2. 核心能力：不止于“听写”

2.1 多语言识别，一张嘴吃遍天

SenseVoiceSmall最基础也最实用的能力，就是多语言识别。它支持五种语言：

• 中文（zh）：普通话识别准确率很高。
• 英文（en）：对日常对话和演讲支持良好。
• 粤语（yue）：专门针对粤语进行了优化。
• 日语（ja）：能较好地处理日语发音。
• 韩语（ko）：支持韩语语音转写。

更贴心的是，它有一个“自动模式”（language=”auto”）。你不需要告诉它这是什么语言，它自己会判断。这对于处理混合语言内容（比如中英夹杂的对话）或者不确定来源的音频非常方便。

2.2 富文本识别：给声音加上“表情包”

这才是SenseVoiceSmall的杀手锏。它能把声音里的“潜台词”也识别出来，生成带标签的“富文本”。

它能识别两种关键信息：

1. 情感标签：说话人的情绪状态。

   • <|HAPPY|>：开心、愉悦
   • <|ANGRY|>：愤怒、激动
   • <|SAD|>：悲伤、低落
   • <|NEUTRAL|>：中性、平静

2. 声音事件标签：音频中出现的非语音声音。

   • <|BGM|>：背景音乐
   • <|APPLAUSE|>：掌声
   • <|LAUGHTER|>：笑声
   • <|CRY|>：哭声
   • <|COUGH|>：咳嗽声

效果对比一下：

• 普通识别：“今天天气真好，我们出去玩吧。”
• SenseVoice识别：“<|HAPPY|>今天天气真好，我们出去玩吧。<|LAUGHTER|>”

是不是感觉立刻生动起来了？文字背后的人物情绪和场景氛围都跃然纸上。

2.3 速度飞快，快到没朋友

SenseVoiceSmall采用了一种叫“非自回归”的技术架构。简单理解，就是它预测下一个字的时候，不用等上一个字完全确定，可以“多线程”工作。这让它的推理速度非常快。

在RTX 4090这样的显卡上，处理一段60秒的音频，它大概只需要3到4秒。这个速度意味着它可以用于很多需要实时反馈的场景，比如直播字幕、实时会议纪要，而不用让人等得心急。

3. 5分钟极速上手：从零到一的体验

我们这次使用的镜像已经把SenseVoiceSmall模型和一个漂亮的网页界面（Gradio WebUI）打包好了。你不需要懂复杂的Python环境配置，跟着下面几步，就能立刻用起来。

3.1 启动你的语音识别控制台

镜像启动后，如果网页服务没有自动打开，我们需要手动运行一个脚本。别担心，代码已经准备好了，你只需要复制粘贴。

首先，创建一个名为app_sensevoice.py的文件，然后把下面的代码完整地复制进去：

# app_sensevoice.py import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 1. 加载SenseVoiceSmall模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", # 语音活动检测模型，用于切分静音 vad_kwargs={"max_single_segment_time": 30000}, # 每段语音最长30秒 device="cuda:0", # 使用GPU运行，速度更快 ) def sensevoice_process(audio_path, language): """处理音频的核心函数""" if audio_path is None: return "请先上传音频文件" # 2. 调用模型进行识别 res = model.generate( input=audio_path, cache={}, language=language, # 使用网页上选择的语言 use_itn=True, # 启用文本规范化，比如把“二零二四”转成“2024” batch_size_s=60, merge_vad=True, merge_length_s=15, ) # 3. 对结果进行后处理，让标签更易读 if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 4. 构建一个网页界面 with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): # 音频上传组件 audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") # 语言选择下拉框 lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) # 开始识别按钮 submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): # 结果显示框 text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) # 绑定按钮点击事件 submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 5. 启动服务，在6006端口监听 demo.launch(server_name="0.0.0.0", server_port=6006)

保存好文件后，在终端里运行它：

python app_sensevoice.py

你会看到终端输出一些信息，最后显示Running on local URL: http://0.0.0.0:6006，就说明服务启动成功了。

3.2 在本地浏览器中访问

由于云服务器的安全设置，你不能直接通过IP访问这个6006端口。我们需要用一个叫“SSH隧道”的小技巧，把云服务器上的端口“映射”到你自己的电脑上。

在你的本地电脑的终端（比如Windows的PowerShell或CMD，Mac/Linux的Terminal）里，执行下面这条命令（请替换[端口号]和[SSH地址]为你实际云服务器的信息）：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

连接成功后，这个终端窗口不要关闭。然后，打开你电脑上的浏览器，输入地址：

http://127.0.0.1:6006

一个干净、直观的网页控制台就会出现在你面前。

3.3 开始你的第一次智能识别

界面非常简单，只有三个主要部分：

1. 左侧：上传你的音频文件（支持mp3, wav等常见格式），或者直接点击录音。
2. 中间：选择一个语言，或者就用“auto”让模型自己猜。
3. 右侧：一个大文本框，用来显示识别结果。

操作流程：

1. 点击“上传音频”，选择一个你想测试的音频文件。你可以找一段电影对白、采访录音，甚至自己录几句话。
2. 点击“开始 AI 识别”按钮。
3. 稍等几秒钟，右侧文本框里就会出现带标签的识别文字了。

试试用不同语言、不同情绪的音频去测试，看看它的表现如何。

4. 它能做什么？几个真实的应用脑洞

光会玩还不够，我们来看看SenseVoiceSmall能在哪些地方真正派上用场。

4.1 给客服录音装上“情绪雷达”

对于企业客服中心，每天有海量通话录音。人工抽检效率低，而且很难量化客户情绪。

传统方式：质检员听录音，凭感觉标记“客户不满”。SenseVoice方式：系统自动分析所有录音，精准标记出所有包含<|ANGRY|>标签的对话片段。

价值：

• 自动预警：愤怒对话可以实时推送给主管，及时介入处理，避免投诉升级。
• 服务质量分析：统计坐席接听的电话中，“愤怒”客户的占比，作为KPI考核的参考。
• 培训素材挖掘：自动找出那些处理得很好，将客户情绪从“愤怒”转为“平静”的优秀案例，用于员工培训。

4.2 让视频剪辑师拥有“AI助理”

自媒体博主、视频剪辑师经常需要为视频加字幕，并且希望字幕能有一些动态效果来匹配情绪。

传统方式：人工听打字幕，再凭感觉给某些句子加颜色或特效（比如笑声变黄色）。SenseVoice方式：导入视频音轨，一键获得带<|LAUGHTER|>、<|APPLAUSE|>、<|BGM|>标签的字幕文件。

价值：

• 智能字幕样式：剪辑软件可以读取这些标签，自动给笑声片段配上“晃动”或“变色”的字幕特效。
• 精彩片段提取：自动定位所有有“掌声”和“笑声”的时间点，快速生成视频高光集锦（Highlight Reel）。
• 内容标签化：根据“情感”和“事件”标签，自动给视频打上“搞笑”、“感人”、“有音乐”等分类标签，便于后期检索和管理。

4.3 在线教育的“课堂氛围感知器”

在线教育平台想知道学生上课时的真实状态，是积极互动还是困惑走神？

传统方式：通过摄像头分析学生表情，但受角度、光线影响大，且侵犯隐私。SenseVoice方式：分析学生在课堂上发言、回答问题的语音（在获得授权的前提下）。

价值：

• 学习状态反馈：如果学生多次用<|SAD|>或困惑的语气提问，系统可以提示老师“这部分内容学生可能没听懂，建议换个方式讲解”。
• 课堂参与度分析：统计课堂中“积极”（HAPPY/NEUTRAL）和“消极”（SAD）发言的比例，评估课堂整体氛围。
• 个性化资源推荐：为情绪低落（SAD）的学生，推荐一些鼓励性的学习资料或趣味短视频，进行情感干预。

5. 想玩得更深入？试试这些进阶操作

如果你不满足于网页点点按钮，想用程序批量处理文件，或者自己定制功能，这里有一些进阶思路。

5.1 用Python脚本批量处理文件夹里的音频

假设你有一个文件夹，里面放了几十个会议录音，你想一次性全部转成带情感标签的文字。

你可以写这样一个简单的脚本：

import os from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 加载模型 model = AutoModel(model="iic/SenseVoiceSmall", device="cuda:0") # 指定你的音频文件夹路径 audio_dir = "./我的会议录音/" output_file = "./识别结果.txt" results = [] for file_name in os.listdir(audio_dir): if file_name.endswith(('.wav', '.mp3', '.flac', '.m4a')): # 支持常见格式 file_path = os.path.join(audio_dir, file_name) print(f"正在处理: {file_name}") # 识别，语言设为自动 res = model.generate(input=file_path, language="auto") if res and len(res) > 0: raw_text = res[0]["text"] cleaned_text = rich_transcription_postprocess(raw_text) results.append(f"\n--- {file_name} ---\n{cleaned_text}\n") else: results.append(f"\n--- {file_name} ---\n识别失败\n") # 将所有结果保存到一个文件 with open(output_file, 'w', encoding='utf-8') as f: f.writelines(results) print(f"处理完成！结果已保存到: {output_file}")

运行这个脚本，泡杯咖啡回来，所有录音就都处理好了。

5.2 把原始标签提取出来，做成结构化数据

模型输出的文本里混合了标签和文字，有时候我们需要把它们分开，方便存入数据库或做进一步分析。

import re def extract_tags_and_text(rich_text): """ 从富文本中提取情感/事件标签和纯净文本。 例如：输入“<|HAPPY|>你好啊<|LAUGHTER|>” 返回：{'text': '你好啊', 'tags': ['HAPPY', 'LAUGHTER']} """ # 使用正则表达式找到所有 <|TAG|> 格式的标签 tags = re.findall(r"<\|(\w+)\|>", rich_text) # 移除所有标签，得到纯净的文本内容 clean_text = re.sub(r"<\|\w+\|>", "", rich_text).strip() return {"text": clean_text, "tags": tags} # 试试看 sample_output = "<|BGM|>欢迎收听今天的节目。<|HAPPY|>今天我们要聊一个有趣的话题！<|LAUGHTER|>" result = extract_tags_and_text(sample_output) print(f"纯净文本: {result['text']}") print(f"检测到的标签: {result['tags']}")

这样，你就得到了结构化的数据，可以轻松地统计一段话里出现了多少次笑声，或者找出所有表达开心的句子。

6. 使用中的一些小贴士

为了让你的体验更好，这里有几个注意事项：

• 音频质量：尽量使用清晰的音频，背景噪音太大会影响识别准确率，尤其是对情感和事件的判断。采样率16kHz左右的效果就不错。
• 标签的理解：情感标签（如HAPPY, ANGRY）是模型对整段话情绪的总体判断，不是逐字逐句的。它判断的是“这段话听起来整体上是开心的”。
• 长音频处理：虽然模型能处理长音频，但如果你有特别长的文件（比如超过1小时），稳妥起见可以先用音频剪辑软件切成30分钟一段，再进行处理。
• 资源占用：在GPU上运行速度很快。如果你的音频很长，注意一下显卡的显存使用情况。处理超长音频时，可以考虑在代码中分段处理。

7. 总结

SenseVoiceSmall把一个原本只做“听写”的工具，变成了一个能“察言观色”的智能助手。它通过识别语言、情感和声音事件，为我们打开了一扇新的大门，让机器对声音的理解从“字面”深入到了“内涵”。

这次我们通过一个集成了WebUI的镜像，几乎零门槛地体验了它的核心功能。无论是想快速验证一个想法，还是为你的项目寻找一个强大的语音理解引擎，SenseVoiceSmall都是一个值得尝试的出色选择。它的快速、准确和“富有情感”的输出，或许能为你下一个创意项目带来意想不到的灵感。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。