深度学习语音情绪识别：从特征工程到CNN模型部署实战

简介：基于深度学习语音情绪识别的完整工程包，面向毕业设计、课程设计及语音情感分析入门者，涵盖从音频特征提取、模型训练到预测推理的完整流程。包内共34个文件，其中17个Python脚本构成核心代码，包含训练/预测脚本、特征提取模块等；4个.pth权重文件提供预训练模型，可直接用于测试或继续训练；另有配置文件、标准化参数、特征CSV与说明文档，便于快速上手。压缩包仅15.94MB，轻量易用，运行环境依赖清晰。目前已有102人学习下载，适合需要搭建语音情绪识别Demo或参考项目结构的学生、开发者。同时内置多类模型（CNN、RNN、LSTM）和多种特征方案（Librosa、Wav2Vec2、OpenSmile），并配有配置文件与依赖清单，有助于理解不同特征对识别效果的影响、掌握深度学习的工程化实现，提升动手实践能力。资源采用模块化设计，可灵活替换特征提取器或模型结构，是课程设计与算法对比实验的实用参考。

1. 基于深度学习语音情绪识别的完整工作流与常见误区

看到“基于深度学习语音情绪识别.zip”这个标题，你手上多半是一个数据集加模型脚本的压缩包。技能点在于把声音变成特征、用模型分类、再在 CPU/GPU 上跑起来。语音情绪识别不是简单“加载音频然后 CNN 分类”的玩具，语音段长短、采样率、说话人差异、类别不平衡都能让准确率原地打转。我一般会先把任务框定成“给定一段 1-4 秒语音，预测生气、平静、开心、难过等情绪标签”，再处理三个问题：特征选什么、模型怎么搭、训练完怎么交付。适合在校学生和需要快速落地 POC 的工程师，也适合想搞懂整条链路而不是只跑一个 demo 的人。

2. 语音情绪识别任务定义、数据集选择与特征工程

2.1 模型输入的三种思路：波形、梅尔谱、预训练嵌入

深度学习模型的输入不能直接是原始波形吗？可以，但常见做法是先用短时傅里叶变换得到频谱图，再转成梅尔谱。梅尔谱把频率轴放到听觉感知尺度上，在情绪任务里比纯波形更容易训练，也更省显存。用一个 16kHz 采样率、2 秒语音片段，直接给模型是 32000 个采样点；压成梅尔谱后是 64 帧 × 128 维，数据量直接缩小一个数量级。第二个思路是使用预训练语音模型（如 Wav2Vec2、HuBERT）提取嵌入，但这类模型体积大，推理慢，适合先做实验再决定是否部署。

这里要特别注意：情绪识别不能只看一个特征。语速、基频（F0）、能量包络都是短时谱之外的线索。我通常会把梅尔谱和能量特征拼在一起，或者在数据增强时同时改变音调和速度，让模型学到变化型特征。深度学习模型自己能学，但特征输入范围太窄会让训练很容易过拟合。

2.2 公开数据集与 zip 包的目录组织方式

常见做法是使用 RAVDESS、TESS、IEMOCAP 或者 CASIA 这类带情绪标签的数据集。如果你拿到的压缩包里有按类别组织的文件夹，模型脚本不需要做太多改动。但真实情况经常是文件名包含情绪编号，目录结构不规范。RAVDESS 的单条文件名就长这样：

03-01-06-01-02-01-12.wav

其中第 3 个字段是情绪编码：01=neutral，02=calm，03=happy，04=sad，05=angry，06=fearful，07=disgust，08=surprised。以这种格式解析文件名需要写一个映射表，我先用一段小脚本统一格式：

import os import shutil from pathlib import Path src = Path("downloaded_speech") dst = Path("dataset_by_class") id2emotion = { "01": "neutral", "02": "calm", "03": "happy", "04": "sad", "05": "angry", "06": "fearful", "07": "disgust", "08": "surprised", } for wav in src.rglob("*.wav"): parts = wav.stem.split("-") if len(parts) < 7: continue emotion = id2emotion.get(parts[2], "unknown") out_dir = dst / emotion out_dir.mkdir(parents=True, exist_ok=True) shutil.copy(wav, out_dir / wav.name)

这段脚本按文件名中的情绪编码把音频复制到对应目录。注意我用了src.rglob("*.wav")而不是glob("*.wav")，因为 zip 解压后可能有多层嵌套目录。parts[2]对应 RAVDESS 文件名里的情绪位。如果换数据集，解析位置要跟着改。

表：三个常见情绪数据集对比

表里 IEMOCAP 最难，因为它包含连续对话场景，情绪不是单一标签。初学者先用 RAVDESS 跑通，再换 IEMOCAP 评估真实场景。

2.3 切分、静音处理与数据增强

拿到 zip 后不要直接整段训练。第一步先把采样率统一，用 Librosa 加载时指定sr=16000就好：

import librosa import numpy as np def load_fixed_length(path, sr=16000, dur=2.0): y, sr = librosa.load(path, sr=sr, mono=True) target_len = int(sr * dur) if len(y) < target_len: y = np.pad(y, (0, target_len - len(y))) else: start = np.random.randint(0, len(y) - target_len + 1) y = y[start:start + target_len] return y

短音频补零到固定长度，长音频随机截取一段。固定长度是训练稳定性的关键：如果 batch 内音频长短不一，CNN 还能强行 padding，LSTM 就很麻烦。np.random.randint的随机起点天然成为一种数据增强。实际使用中，固定 2 秒能保留大多数情绪信号又不过度稀释。

更强的数据增强包括加噪声、音调偏移和 SpecAugment。SpecAugment 是在梅尔谱上随机遮蔽时间和频率通道，实现简单且涨点明显。我常在训练时只做轻度增强，因为 RAVDESS 这类实验室录音本身干净，过度增强会让模型学不到真实特征。

2.4 解压和路径清洗：zip 包里常见的 3 个坑

压缩包解压后不直接可用，这是很现实的问题。第一个坑是解压出中文目录或文件名，在 Linux 上显示为乱码。先执行unzip -O gbk或者用 Python 的zipfile手动指定编码。第二个坑是嵌套一层无意义文件夹，比如data/下面又有一个data/。脚本里用rglob而不是glob就能绕开。第三个坑是冗余文件：__MACOSX、Thumbs.db，在扫描时注意跳过以.开头的目录。热词里出现的invalid zip archive通常不是代码问题，是下载不完整。用unzip -t file.zip做完整性检查：

unzip -t speech_emotion.zip | tail -3

输出没有错误才能进下一步。万一提示failed to copy或could not find EOCD，重新下载，别浪费时间手动修 zip。

3. 用 PyTorch 搭建 CNN 与注意力结合的语音情绪识别模型

3.1 选型理由：为什么不用纯 LSTM

语音情绪识别中 CNN 和 RNN 都有人用。纯 RNN（LSTM/GRU）擅长建模全局时序关系，但训练慢，对帧级噪声敏感。CNN 把梅尔谱当作图像处理，空间局部性很好，而且卷积堆叠之后能覆盖到约几百毫秒的上下文，恰好对应一个音节或短语。常见的做法是“CNN 提取局部模式，注意力池化聚合帧级特征”。我选的基线网络是 4 层卷积加 SE 模块，再加注意力池化。SE 模块的目的是让网络重新加权通道，突出对情绪最敏感的频率范围。

3.2 模型定义代码

import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction=8): super().__init__() self.squeeze = nn.AdaptiveAvgPool2d(1) self.excitation = nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels), nn.Sigmoid(), ) def forward(self, x): b, c, _, _ = x.size() w = self.squeeze(x).view(b, c) w = self.excitation(w).view(b, c, 1, 1) return x * w class EmotionCNN(nn.Module): def __init__(self, n_mels=128, num_emotions=8): super().__init__() self.features = nn.Sequential( nn.Conv2d(1, 32, kernel_size=3, padding=1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), SEBlock(64), ) self.attention_pool = nn.Sequential( nn.Conv2d(64, 1, kernel_size=1), nn.Flatten(), nn.Softmax(dim=-1), ) self.classifier = nn.Linear(64, num_emotions) def forward(self, x): x = self.features(x) # (b,64,t,h) b, c, t, h = x.size() attn = self.attention_pool(x) # (b, t*h) attn = attn.view(b, 1, t * h) v = x.view(b, c, t * h) pooled = torch.bmm(v, attn.transpose(1, 2)).squeeze(-1) # (b, c) return self.classifier(pooled)

逻辑说明：SEBlock里squeeze把一张图压缩成一个通道向量，excitation决定每个通道应该放大还是抑制。attention_pool把 64 个通道投影成 1 个权重图，再在每个空间位置上做归一化，然后和原始特征做加权求和。这样模型可以只聚焦在情绪最突出的音频片段上，而不是把 2 秒平均掉。参数上，n_mels要与特征提取时设置的 Mel 频带数一致，这里用了 128。num_emotions根据数据集类别数改，RAVDESS 如果合并 calm 和 neutral 就是 7 类，不合并就是 8 类。

3.3 训练循环、早停与学习率调度

训练代码的一个重点是不要让学习率一直固定。我一般用 CosineAnnealingLR 配合 AdamW，初始学习率 1e-3，跑 20 个 epoch。早停的监测指标用验证集损失，不是验证准确率，因为损失对过拟合更敏感。下面是一个精简的训练循环：

from torch.utils.data import DataLoader from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR model = EmotionCNN(num_emotions=8) optimizer = AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4) scheduler = CosineAnnealingLR(optimizer, T_max=20) criterion = nn.CrossEntropyLoss() best_val_loss = float("inf") patience = 0 for epoch in range(20): model.train() train_loss = 0 for x, y in train_loader: optimizer.zero_grad() out = model(x) loss = criterion(out, y) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() train_loss += loss.item() scheduler.step() model.eval() val_loss = 0 with torch.no_grad(): for x, y in val_loader: out = model(x) val_loss += criterion(out, y).item() if val_loss < best_val_loss: best_val_loss = val_loss torch.save(model.state_dict(), "best_model.pt") patience = 0 else: patience += 1 if patience >= 5: print(f"early stop at epoch {epoch}") break

clip_grad_norm_是很多人会漏掉的一步。语音特征尤其是短音频批次，容易出现梯度爆炸，限制梯度范数后训练更稳定。早停的 patience 是 5，也就是连续 5 个 epoch 验证损失不下降就停。T_max要和总 epoch 一致，这样学习率会从峰值平滑降到接近 0。

3.4 类别不平衡：从损失函数到采样

RAVDESS 中 calm 和 happy 等类别数量基本均等，但 IEMOCAP 中 neutral 和 happy 明显偏多。常见做法有三种。第一，给损失函数加权重：

class_weights = torch.tensor([0.8, 1.0, 1.2, 1.2, 1.0, 0.8, 1.5, 1.5]) criterion = nn.CrossEntropyLoss(weight=class_weights)

第二，用 WeightedRandomSampler 重新采样。第三，用 Focal Loss。对语音情绪识别来说，简单加权 CrossEntropy 已经够用，Focal Loss 的超参数需要额外调。注意weight要在数据加载时同步到 GPU，否则验证时会报设备错误。

4. 语音情绪识别训练效果分析、参数边界与混淆矩阵排查

4.1 判断训练是否健康：三条曲线

只盯训练 loss 是最容易误判的。训练 loss 下降，验证 loss 先降后升，就是过拟合。相反训练 loss 不降，说明学习率或者网络结构有问题。我习惯把每个 epoch 的训练 loss、验证 loss、验证准确率记录到 CSV 里，然后画在一张图上。三个信号：验证准确率在训练准确率到达 95% 后才开始缓慢上升，说明模型记住了训练集；验证 loss 在某个 epoch 后反弹，说明需要更强正则；训练 loss 震荡不降，说明学习率太高或者数据没有归一化。

4.2 必须调的关键超参数

表格：语音情绪识别模型关键超参数

这里强调 batch size 与 batch 内音频有多长强相关。2 秒音频用 64 的 batch 是合理的。如果每条音频固定为 5 秒，64 个样本会占不少显存，可以考虑梯度累积。

4.3 混淆矩阵与情绪易混分析

训练完成后不要只看平均准确率。打出混淆矩阵，往往能看到 fearful 被识别成 surprised，sad 和 neutral 混淆。原因是 fear 和 surprised 在声学上都表现为高基频、高能量突变。对于这种易混对，常见做法是合并类别，比如把 calm 合并进 neutral，把 surprised 单独保留。另一个做法是在数据增强中加速音频，因为加速后的害怕更容易被识别。

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay import matplotlib.pyplot as plt preds, gts = [], [] with torch.no_grad(): for x, y in val_loader: out = model(x) preds.extend(out.argmax(dim=1).cpu().tolist()) gts.extend(y.cpu().tolist()) cm = confusion_matrix(gts, preds) ConfusionMatrixDisplay(cm, display_labels=emotion_labels).plot() plt.savefig("confusion_matrix.png", dpi=150)

这里的val_loader里的标签顺序要和emotion_labels对应，否则混淆矩阵的横纵坐标全是错的。打印时使用了torch.no_grad()，避免构建计算图占额外内存。

5. 模型部署与 zip 包交付的工程化收尾

5.1 把训练好的模型导出为 TorchScript

训练结束保存的best_model.pt是 state_dict，部署时还需要重新实例化模型类。更省事的方式是直接用 TorchScript 导出，推理时不再依赖原始类定义：

model.eval() example = torch.randn(1, 1, 64, 128) traced = torch.jit.trace(model, example) traced.save("emotion_model.pt")

torch.jit.trace会记录模型在前向传播中的实际运算路径，所以example的形状必须和真实输入一致。如果模型里包含条件分支（例如 if 语句），trace 会出错，那就要改用torch.jit.script。对上面定义的 CNN 来说 trace 足够。

5.2 CPU 推理延迟优化

很多人直接用 Librosa 加载音频并提取梅尔谱，这段预处理在 CPU 上可能比模型推理还慢。瓶颈在于 Librosa 的重采样和 STFT。快速替代方案是用torchaudio.load配合torchaudio.transforms.MelSpectrogram，把特征提取和模型放在同一个张量空间里完成。另一个经验是不要每次推理都重新实例化 mel 变换，全局只建一次：

import torchaudio class AudioPredictor: def __init__(self, model_path): self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu") self.model = torch.jit.load(model_path).to(self.device).eval() self.mel_transform = torchaudio.transforms.MelSpectrogram( sample_rate=16000, n_fft=400, hop_length=160, n_mels=128 ).to(self.device) def predict(self, wav_path): waveform, _ = torchaudio.load(wav_path) if waveform.shape[0] > 1: waveform = waveform.mean(dim=0, keepdim=True) mel = self.mel_transform(waveform) log_mel = torch.log1p(mel) log_mel = log_mel.unsqueeze(0) with torch.no_grad(): logits = self.model(log_mel) return torch.softmax(logits, dim=-1)[0].cpu().numpy()

hop_length=160在 16kHz 下对应 10 毫秒一帧，和 Librosa 默认一致。torch.log1p是log(1+x)，防止频谱全零时出现log(0)。多声道音频直接做平均，避免左右声道不同导致的两路特征不一致。对一条 3 秒音频，整条流水线在普通 CPU 上大约耗时 30 到 60 毫秒，比用 Librosa 快不少。

5.3 交付一个可复现的 zip 包

做项目交付时，我会把最终成果打包成一个结构清晰、解压即用的压缩包。目录大致是：

speech_emotion/ ├── model/ │ └── emotion_model.pt ├── inference.py ├── requirements.txt ├── sample_audio/ │ └── angry_001.wav └── README.md

这个结构把推理脚本、模型文件、示例音频和依赖清单放在平级目录下，别人解压后直接运行python inference.py sample_audio/angry_001.wav就可以看输出。requirements.txt 写死依赖版本：

torch==2.1.2 torchaudio==2.1.2 numpy==1.26.4

写死版本比用>=安全得多，因为 torchaudio 和 torch 的版本如果不能严格匹配，推理时会出现 ABI 错误。README 里注明样本音频的采样率必须为 16000，如果不是就先重采样。

5.4 验证与后续扩展

拿到打包好的 zip 后，先用自己的话录几句“hello”来验证：如果模型把平静读成开心，检查特征提取的窗口长度是否和训练一致。后续扩展可以从两个方向做：一是用 VAD（语音活动检测）把长对话切成短句子，再对每句预测情绪，最后聚合出整段情绪曲线；二是把预测结果输出为 JSON，方便与上层业务对接。关键是在交付前把输入采样率、通道数、音频段长三个参数钉死，否则每个环境都会出现结果不一致。

本文还有配套的精品资源，点击获取