语音特征可视化：CAM++ Embedding降维展示教程-育师

语音特征可视化：CAM++ Embedding降维展示教程

1. 引言：让声纹“看得见”

你有没有想过，每个人的声音其实都有一个独特的“指纹”？就像我们能通过照片认出一个人，AI也能通过声音识别说话者。这就是说话人识别技术的核心。

今天要介绍的主角是CAM++ 说话人识别系统——一个由科哥开发并二次封装的中文声纹识别工具。它不仅能判断两段语音是否来自同一个人，还能把抽象的声音特征变成一组192维的数字向量（Embedding）。但问题是：这些高维数据怎么理解？

本文将带你完成一次从语音到可视化的完整旅程：

如何使用 CAM++ 提取语音的 Embedding
怎样用 PCA 和 t-SNE 将 192 维数据降到 2D 平面
最终实现不同说话人的声纹聚类图谱

无论你是刚接触声纹识别的小白，还是想拓展应用边界的开发者，这篇手把手教程都能让你快速上手。

前置知识提醒：不需要精通机器学习，只要你会运行 Python 脚本、看懂基础代码即可。所有操作都在本地完成，无需复杂配置。

2. 系统准备与功能回顾

2.1 启动 CAM++ 系统

CAM++ 是基于 ModelScope 开源模型构建的 Web 应用，运行在本地环境中。启动命令如下：

cd /root/speech_campplus_sv_zh-cn_16k bash scripts/start_app.sh

成功后访问：http://localhost:7860

页面包含两大核心功能：

说话人验证：比对两段音频是否为同一人
特征提取：生成每段语音的 192 维 Embedding 向量

我们重点关注第二个功能——因为只有拿到 Embedding，才能做后续的可视化分析。

2.2 特征提取流程简述

进入「特征提取」页面后：

上传一段 WAV 格式音频（推荐 16kHz）
点击「提取特征」按钮
系统返回该音频的 Embedding 信息，包括维度、均值、标准差等
若勾选“保存 Embedding”，则自动存为.npy文件

这些.npy文件就是我们要拿来“画画”的原材料。

3. 数据采集：构建多说话人语料库

要画出有意义的可视化图表，首先得有足够多样本。我们需要收集多个不同人的语音，并分别提取其 Embedding。

3.1 收集建议

要素	建议
人数	至少 5 位不同说话人
每人录音数	3~5 条，避免重复内容
录音时长	3~10 秒，清晰无噪音
内容类型	可读短句如“你好，我是张三”或日常对话片段

💡 小技巧：可以用手机录制，转成 16kHz WAV 格式上传。工具推荐ffmpeg：
ffmpeg -i input.mp3 -ar 16000 -ac 1 -f wav output.wav

3.2 批量提取 Embedding

利用系统的「批量提取」功能，一次性上传多人多条音频，系统会逐个处理并输出对应的.npy文件。

输出目录结构示例：

outputs/ └── outputs_20260104223645/ └── embeddings/ ├── speaker1_01.npy ├── speaker1_02.npy ├── speaker2_01.npy ├── speaker2_02.npy └── ...

每个.npy文件存储的是一个形状为(192,)的 NumPy 数组，代表这条语音的声纹特征。

4. 降维算法原理：把 192 维“压”到 2D

直接看 192 维数据是不可能的。我们需要一种方法，把高维空间中的点映射到二维平面上，同时尽量保留它们之间的相对关系。

这就是降维（Dimensionality Reduction）的任务。常用的方法有两种：

4.1 PCA（主成分分析）

原理：找出数据方差最大的方向，投影到低维空间
优点：计算快，适合初步探索
缺点：只能捕捉线性结构

4.2 t-SNE（t-分布随机邻域嵌入）

原理：保持局部邻居关系，让相似样本靠得更近
优点：擅长发现非线性模式，聚类效果好
缺点：计算慢，结果有一定随机性

✅ 实践建议：先用 PCA 快速预览，再用 t-SNE 精细呈现。

5. 可视化实战：Python 脚本实现

现在进入正题——编写脚本来加载 Embedding 并绘图。

5.1 环境依赖

确保安装以下 Python 包：

pip install numpy matplotlib scikit-learn

5.2 完整代码示例

import os import numpy as np import matplotlib.pyplot as plt from sklearn.decomposition import PCA from sklearn.manifold import TSNE from pathlib import Path # 配置路径 EMBEDDINGS_DIR = "outputs/outputs_20260104223645/embeddings" # 修改为你实际的路径 SAVE_PLOT = True def load_embeddings(embeddings_dir): """加载所有 .npy 文件，并记录对应说话人标签""" embeddings = [] labels = [] for npy_file in Path(embeddings_dir).glob("*.npy"): # 从文件名提取说话人 ID（假设格式为 speakerX_xx.npy） speaker_id = str(npy_file.name).split('_')[0] emb = np.load(npy_file) embeddings.append(emb) labels.append(speaker_id) return np.array(embeddings), labels # 步骤1：加载数据 X, y = load_embeddings(EMBEDDINGS_DIR) print(f"共加载 {len(X)} 个样本，来自 {len(set(y))} 位说话人") # 步骤2：PCA 降维至 50 维（预处理） pca = PCA(n_components=50) X_pca = pca.fit_transform(X) print(f"PCA 后保留 {np.sum(pca.explained_variance_ratio_):.2%} 的方差信息") # 步骤3：t-SNE 进一步降至 2D tsne = TSNE(n_components=2, perplexity=15, n_iter=1000, random_state=42) X_tsne = tsne.fit_transform(X_pca) # 步骤4：绘制散点图 plt.figure(figsize=(10, 8)) unique_speakers = list(set(y)) colors = plt.cm.tab10(np.linspace(0, 1, len(unique_speakers))) for i, speaker in enumerate(unique_speakers): mask = np.array(y) == speaker plt.scatter(X_tsne[mask, 0], X_tsne[mask, 1], c=[colors[i]], label=speaker, alpha=0.7, s=60) plt.title("CAM++ 语音 Embedding 可视化（t-SNE 降维）", fontsize=16) plt.xlabel("t-SNE 维度 1") plt.ylabel("t-SNE 维度 2") plt.legend(title="说话人", bbox_to_anchor=(1.05, 1), loc='upper left') plt.tight_layout() if SAVE_PLOT: plt.savefig("speaker_embedding_tsne.png", dpi=150, bbox_inches='tight') plt.show()

5.3 关键参数说明

参数	推荐值	作用
`perplexity`	5~30	控制局部邻居数量，太小易过拟合，太大模糊边界
`n_iter`	1000+	迭代次数，越多越稳定
`random_state`	固定值	保证结果可复现

6. 结果解读：你的声音“长什么样”？

运行上述脚本后，你会得到一张类似这样的图：

这张图告诉我们什么？

6.1 聚类现象明显

你会发现，同一个说话人的多个样本通常聚集在一起，形成一个个“星团”。这说明 CAM++ 提取的 Embedding 具备良好的区分能力。

6.2 不同人之间距离较远

不同颜色的点群彼此分离，说明系统能有效拉开不同说话人之间的距离。

6.3 存在个别离群点

某些样本偏离主群，可能是由于：

录音质量差（背景噪声大）
语速或情绪变化剧烈
发音方式临时改变（如感冒）

📌 这正是可视化带来的洞察：它不仅验证了模型有效性，还帮助我们发现潜在问题。

7. 进阶应用思路

掌握了基本可视化技能后，你可以进一步拓展用途：

7.1 构建声纹数据库

将每个人的 Embedding 存入数据库，用于后续的身份验证服务。

# 示例：保存带标签的 embedding 到文件 data = {"embeddings": X.tolist(), "labels": y} import json with open("voice_database.json", "w") as f: json.dump(data, f)

7.2 实时录音 + 动态更新图表

结合麦克风实时录音，动态添加新点到现有图中，观察是否落入正确类别。

7.3 使用 UMAP 替代 t-SNE

UMAP 是一种更新的降维方法，速度更快且能更好保持全局结构，适合大规模数据。

pip install umap-learn

import umap reducer = umap.UMAP(n_components=2, random_state=42) X_umap = reducer.fit_transform(X)

8. 常见问题与优化建议

8.1 为什么我的点分布很乱？

可能原因：

样本太少（每人至少 3 条）
音频质量差（建议统一采样率和信噪比）
文件命名未体现说话人信息（导致无法正确打标）

✅ 解决方案：规范录音流程，统一格式，明确命名规则。

8.2 t-SNE 每次结果不一样？

这是正常现象。t-SNE 本身具有随机性。若需固定结果，请设置random_state。

8.3 能否用于陌生人检测？

可以！训练完成后，在未知语音上提取 Embedding，计算其与已知类中心的距离，超过阈值即判定为“新人”。

9. 总结

通过本教程，你应该已经完成了以下目标：

成功使用 CAM++ 提取语音 Embedding
掌握了 PCA 和 t-SNE 的基本用法
实现了多说话人声纹的二维可视化
理解了如何从图表中获取有价值的信息

更重要的是，你不再只是“调用 API”，而是真正开始理解声音背后的数学表达。

下一步，不妨试试把这些技术用在自己的项目中：

做一个家庭成员语音相册
开发一个会议发言追踪器
或者搭建一个简易门禁声纹系统

技术的价值，在于创造属于你的独特应用。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

语音特征可视化：CAM++ Embedding降维展示教程