声学回声消除深度学习基线：频谱掩膜与工程化最小闭环

简介：一份基于深度学习的声学回声消除基线代码包，面向语音通信、视频会议、语音识别等场景的算法工程师与研究人员，用于快速搭建并理解深度神经网络回声消除基线系统，解决远场拾音中的回声干扰问题。压缩包共31个文件，大小仅2.66MB，包含13段wav语音样本、6个Python脚本、说明文档及工程配置文件；其中wav数据覆盖近端语音、远端语音、回声信号与麦克风采集信号，可直接用于模型训练与测试。代码以时序卷积网络为核心，集成模型定义、数据预处理、训练流程、测试评估等模块，使用者可在本地直接运行基线模型，或在此基础上调整网络结构、损失函数与训练参数，快速开展对比实验。发布以来已有98人下载学习，适合需要快速基于深度学习方法实现回声消除验证的中高级开发者和研究者。

1. 为什么声学回声消除的深度学习基线值得先跑通

在智能音箱、线上会议和车载免提场景里，声学回声消除（AEC）解决的是同一个物理问题：扬声器放出去的声音又被麦克风收回来，若不处理，对端听到的就是自己的回声。传统 AEC 用 NLMS 自适应滤波器估计线性回声路径，但设备功放失真、扬声器谐波和双讲场景很容易让线性假设失守。基于深度学习的做法把问题重新改写成一个有监督映射：让模型同时吃掉“麦克风信号”和“参考信号”，直接输出近端语音或抑制掩膜。基线代码的价值就在于把数据生成、模型结构、训练入口和指标评估串成最小可运行闭环，让任何人都能在一小时内从零跑出第一条可听的结果。

这条基线主要服务三类人：刚进语音方向的工程师，需要建立对 STFT、掩膜和损失的第一直觉；要复现对照的算法同学，拿它作为一个公平可比的下限；想验证自己改进思路的研究者，用它先确认“更优”到底值多少。下面沿着信号模型、数据构造、模型设计、指标评估这条主线展开，每一处都给出可直接照抄的代码和参数说明。

2. 声学回声消除的建模视角：双输入、频谱掩膜与 STFT 参数

2.1 线性回声路径与非线性失真的界限

麦克风接收到的不只是近端语音 s(n)，还有回声分量。若把扬声器到麦克风的传播看作线性时不变系统，可以写成：

mic(n) = h(n) * ref(n) + s(n) + v(n)

这里 h(n) 是房间冲激响应（RIR），ref(n) 是参考信号，v(n) 是背景噪声。传统 AEC 用自适应滤波器去逼近 h(n)，得到回声估计后用减法抵消。这个模型在安静会议室里表现尚可，但在消费级设备上至少有三个地方会破功：一是 RIR 不是静止的，人走动、设备搬动都会改变声场；二是功放和扬声器在大音量下产生谐波失真与互调失真，回声里出现 ref 的非线性变换成分，卷积模型无法表达；三是参考信号经过蓝牙传输、编解码和 DSP 内部缓冲后，相对麦克风会引入未知时延，很难精确对齐。

深度学习基线不去显式估计 RIR，而是把上述所有失真当成一个可学习的黑盒映射。代价是需要双路输入：既有麦克风信号，也有参考信号。注意这是 AEC 与纯语音增强模型最本质的差别——降噪模型只输入麦克风一路就能工作，AEC 丢了参考信号就退化成“凭经验抑制”，会在双讲时把近端语音一起抹掉。

2.2 为什么任务建模成频谱掩膜而不是端到端波形

常见做法是把 AEC 建模成频域掩膜估计：对输入信号分帧做短时傅里叶变换，用网络计算每个时频点的掩膜值 m(t,f)，取值在 0 到 1 之间，再与麦克风幅度谱相乘，得到近端语音的幅度谱估计。

掩膜路线成为基线默认选择，有几个实际原因。第一，幅度掩膜只作用于幅度，不涉及相位重建，收敛曲线比端到端波形输出平滑得多，适合作为第一版验证。第二，语音增强里对理想比值掩膜（IRM）、理想二值掩膜（IBM）的研究已经非常充分，AEC 的麦克风端和语音增强共享大部分特征结构，迁移这些经验几乎没有成本。第三，mask 的值域约束让模型天然处于保守状态——回声主导的时频点逼近 0，近端主导的时频点逼近 1，不容易产生爆炸式输出。

端到端时域模型如 Conv-TasNet、DCUNet 在重回声场景下可以做得更细，但训练敏感度明显更高，需要更长的数据、更细的增强策略。基线阶段先跑频谱掩膜，把链路打通后，再根据评测短板决定是否升级到时域或复值网络，这个升级路径最稳妥。

2.3 STFT 参数：n_fft、hop 与窗口对齐

STFT 参数直接决定网络看到的“分辨率”。16k 采样率下，推荐基线固定用 n_fft=512、hop_len=160、hann 窗。n_fft=512 对应 32ms 窗长，频率分辨率为 16000/512=31.25Hz，共 257 个频点；hop=160 对应 10ms 帧移，时间分辨率足够覆盖语速变化。

def stft_mag(waveform, n_fft=512, hop_len=160): """输入波形 [B, T]，返回幅度谱 [B, F, T_frames]""" window = torch.hann_window(n_fft).to(waveform.device) spec = torch.stft( waveform, n_fft=n_fft, hop_length=hop_len, win_length=n_fft, window=window, center=True, return_complex=True, ) return spec.abs()

stft 返回的复数谱形状为 [B, n_fft//2+1, T]，也就是 [B, 257, T]。center=True 表示在信号前后各补 n_fft//2 个零，这会让输出帧数和理论对齐稍有偏移，但在训练阶段用随机裁剪窗口时影响很小。真正要盯住的是 hop 与 n_fft 的比例，如果改成 hop=256，帧移变成 16ms，时间维度帧数少 37%，模型对快速变化的双讲切换会明显迟钝。

提示：网络训练时的帧数 T 可以固定为 64 或 128，但推理时往往要处理任意长度。模型里所有卷积都沿时间和频率两个维度滑动，只要不把 T 写成固定常量，换长度不会有问题。

3. 基线代码的工程化：合成数据、CNN 结构与训练入口

3.1 数据准备：用 RIR 构造回声对与音量配比

真实 AEC 数据需要同时采集干净近端、只有回声的麦克风、带近端的麦克风三条轨道，采集成本高且难以大规模覆盖。基线代码里最可靠的数据来源是合成混合：远端语音过 RIR 得到回声，再把回声按信回比叠到近端语音上。

import numpy as np def build_mixture(ref, near, rir, mix_snr_db=10, delay_ms=30, sr=16000): # 参考信号人为加延迟，模拟 DSP 缓冲与空气传播时间差 delay_samples = int(sr * delay_ms / 1000) ref_d = np.zeros_like(ref) if delay_samples > 0: ref_d[delay_samples:] = ref[:-delay_samples] # 延迟后的参考信号过 RIR，得到线性回声分量 echo = np.convolve(ref_d, rir, mode="full")[: len(ref_d)] # 按“近端能量 / 回声能量”配比缩放回声再叠加 near_std = np.std(near, keepdims=True) + 1e-8 echo_std = np.std(echo, keepdims=True) + 1e-8 scale = (near_std / echo_std) * 10 ** (-mix_snr_db / 20) mic = near + scale * echo return mic.astype(np.float32), ref_d.astype(np.float32), near.astype(np.float32)

把这段逻辑拆开看。第一步延迟参考信号常见而且必要，真实设备的回声路径里本来就包含几十毫秒延迟，RIR 卷积只能建模空间传播，建模不了编解码和 DSP 缓冲；训练时不加延迟，模型会把时延为零的映射学死，换到实机直接失效。第二步用np.convolve把 RIR 与参考信号卷积，注意截断到与参考等长，否则后端数据对齐全部错位。第三步的mix_snr_db是全程最关键的数据超参数，它决定近端语音和回声的音量关系。

推荐训练数据目录按下面方式组织，代码直接按目录读取：

data/ train/near/ 近端纯净语音，16k 单声道 wav train/ref/ 远端参考语音，时长与 near 对应 data/rirs/ rir_001.wav 起的房间脉冲响应集合 val/near/ val/ref/

每次训练迭代随机抽取近端、参考、RIR 三条数据做混合，而不是提前把所有混合结果落盘。这样同一个近端文件可以和不同 RIR、不同延迟组合，相当于数据量放大了一个数量级。RIR 一般准备 20 到 50 条，来源用公开房间冲激响应库就行，重点覆盖小房间、大房间和强反射三种类型，时长按 0.2 到 0.8 秒混用。

3.2 模型结构：双路输入、两层频率下采样的掩膜网络

基线代码不需要一上来就上数十层深网，一个能稳定收敛的编码器-解码器就够。这里的关键是频率轴下采样：输入是麦克风和参考各自的 257 维幅度谱，concat 成双通道后做两次 stride=(2,1) 的卷积，把频率维从 257 压到 65，在低维空间计算完再解码回 257。时间维保持不动，帧间的时序关系全部留在线性卷积里，复杂度比双向 RNN 可控得多。

import torch from torch import nn class MaskAEC(nn.Module): def __init__(self): super().__init__() self.enc1 = self._enc(2, 16) # 257 -> 129 self.enc2 = self._enc(16, 32) # 129 -> 65 self.mid = nn.Sequential( nn.Conv2d(32, 64, 3, padding=1), nn.ReLU(), nn.Conv2d(64, 32, 3, padding=1), nn.ReLU(), ) self.dec2 = self._dec(32, 16) # 65 -> 129 self.dec1 = self._dec(16, 8) # 129 -> 257 self.head = nn.Conv2d(8, 1, 1) self.sigmoid = nn.Sigmoid() def _enc(self, cin, cout): return nn.Sequential( nn.Conv2d(cin, cout, (3, 3), stride=(2, 1), padding=(1, 1)), nn.BatchNorm2d(cout), nn.ReLU(), ) def _dec(self, cin, cout): return nn.Sequential( nn.ConvTranspose2d(cin, cout, (3, 3), stride=(2, 1), padding=(1, 1), output_padding=(0, 0)), nn.BatchNorm2d(cout), nn.ReLU(), ) def forward(self, mic_mag, ref_mag): x = torch.stack([mic_mag, ref_mag], dim=1) # [B,2,257,T] e1 = self.enc1(x) # [B,16,129,T] e2 = self.enc2(e1) # [B,32,65,T] m = self.mid(e2) # [B,32,65,T] d2 = self.dec2(m + e2) # 残差连接 d1 = self.dec1(d2 + e1) # 残差连接 mask = self.sigmoid(self.head(d1)) # [B,1,257,T] return mask

torch.stack里 mic_mag 和 ref_mag 的通道拼接是 AEC 模型区别于语音增强模型的核心结构。两个输入的频率维必须严格一致，否则 stack 会在构造期直接报广播错误。转置卷积的output_padding特意设成 0，是为了保证 65 能还原成 129、129 能还原成 257，很多复现代码在这里抄错，设成 1 后频率轴被撑到 130，掩膜与输入谱对不上，计算损失时语法不报错但指标一直是平的，是最容易忽略、又最难查的“静默 bug”。

3.3 训练入口与最小可运行命令

环境建议用一个独立 conda 环境，避免系统里其他项目的 torch 版本互相污染：

conda create -n aec python=3.9 -y conda activate aec pip install torch==2.1.2 torchaudio==2.1.2 pip install soundfile librosa numpy scipy pesq

训练脚本入口保持最简，所有超参数通过命令行暴露：

python train.py \ --train-dir data/train \ --rir-dir data/rirs \ --val-dir data/val \ --mix-snr 10 \ --batch-size 16 \ --lr 1e-3 \ --epochs 30 \ --save-dir checkpoints

--mix-snr建议在训练时不要固定死，可以每批在 0 到 15 dB 之间随机采样，这种做法会让模型见过强弱不一的回声，比单一固定信回比稳健很多。

4. 训练目标与评估指标：损失函数、ERLE 与训练曲线解读

4.1 频域损失：幅度谱上的组合度量

基线损失函数建议用幅度谱的 MSE 与 MAE 组合。MSE 对较大误差敏感，能把回声泄漏压得更死；但它也会让模型在近端语音段选择“保守压低”策略，导致语音发闷，加入 L1 项后可以平衡这种倾向。

def aec_loss(mask, mic_mag, near_mag): est_mag = mask * mic_mag mse = torch.mean((est_mag - near_mag) ** 2) mae = torch.mean(torch.abs(est_mag - near_mag)) return mse + 0.2 * mae

mask 与 mic_mag 逐元素相乘得到估计近端幅度谱，直接与真值 near_mag 比较。系数 0.2 是经验值，L1 项权重过大会让模型不再专注大能量回声，过小又起不到保留语音的作用。训练阶段每个 batch 平均一次 loss，用于反向传播。

时域 SI-SDR 也可以作为辅助损失，它衡量估计与目标波形在时域上的相似度，和频域损失互补：

def si_sdr_loss(est, ref): # est 与 ref 都为时域波形 [B, T] ref_pow = torch.sum(ref * ref, dim=-1, keepdim=True) + 1e-8 proj = torch.sum(est * ref, dim=-1, keepdim=True) / ref_pow * ref err = est - proj return -10 * torch.log10( torch.sum(proj * proj, dim=-1) / (torch.sum(err * err, dim=-1) + 1e-8) + 1e-8 )

基线阶段建议只用频域损失。SI-SDR 对相位敏感，模型输出的是掩膜而不是波形，无法直接端到端地参与误差回传，强行加入反而会引入相位不匹配的问题。等模型升级到复数掩膜或时域端到端结构后，再把它作为主损失。

4.2 评估指标：ERLE 与其他指标的边界

ERLE（Echo Return Loss Enhancement）是最直观的 AEC 指标，衡量回声被压掉了多少 dB。计算必须在“只有回声、没有近端语音”的段落上进行，否则近端语音会被当成残留误差，数值失真。

def erle_by_segment(mic_echo_only, after_aec): # mic_echo_only: 单回声段麦克风信号 # after_aec: 同段经过 AEC 模型处理后的输出 power_in = np.mean(mic_echo_only ** 2) power_out = np.mean(after_aec ** 2) return 10 * np.log10((power_in + 1e-12) / (power_out + 1e-12))

ERLE 值提升 10 dB 大约表示残留回声能量衰减到了原来的十分之一，20 dB 以上在听感上才会足够干净。但注意，单独的 ERLE 没有参考价值——一个把所有输出置零的模型也能拿到很大的 ERLE。必须同时观察近端语音段的语音质量指标，比如 PESQ 和 STOI。

PESQ 分数在近端语音段上计算，推荐用pesq包直接读 wav 打分。理想模型是双指标同时提升：回声段 ERLE 高，近端段 PESQ 不下降。实践中绝大多数模型都在两者之间权衡，ERLE 上去了 PESQ 掉，这时候优先保 PESQ，因为用户的容忍度顺序是“语音清晰度 > 回声大小”，把近端语音切坏的评价比留一点回声差得多。

4.3 训练曲线怎么读：先分清回声段和语音段

训练时 loss 曲线能提供的信息有限，因为它把回声段和近端段的误差混在一起平均了。建议每 5 个 epoch 跑一次独立评估，分别输出回声段 ERLE、近端段 PESQ、全部段 SI-SDR 三个数值。

常见的三种曲线形态和处理方法如下。

第一种，训练 loss 不断下降，val 指标在第 15 到 20 个 epoch 后开始反弹或抖动，这是过拟合房间特性和具体数据配比的表现。解决方法是增加 RIR 数量、在mix_snr_db上增强随机范围、或把 mid 模块的卷积核从 64 降到 32 来缩减容量。

第二种，loss 降不下去且 ERLE 一直低于 5 dB。先检查参考信号和麦克风是否配对正确，尤其是延迟是否大到让模型根本无法对齐；再检查 STFT 参数是否和模型内部 257 维一致。基线上这两个问题占排错次数的八成以上。

第三种，ERLE 很高但 PESQ 低于 1.5，说明模型把近端语音也压掉了。这时不要盲目加模型容量，而是回到数据层面调整mix_snr_db的分布，增加近端语音占比较高的样本。

注意：不要用同一个 test 段落反复调参，AEC 模型很容易在小数据集上记住回声模式。预留至少 20 段不同房间、不同远程包的语音作为最终盲测集，只有盲测集上的指标才作数。

5. 双讲退化、频率泛化与推理导出的 3 个实操细节

5.1 双讲场景：防止掩膜把近端一起吞掉

双讲（double-talk）指远端和近端同时说话。基于幅度掩膜的模型在双讲区间的行为，本质上取决于训练数据里这段的 mask 真值——在近端主导的时频点上理想 mask 趋近 1，回声主导时趋近 0。但模型在切换瞬间往往给出 0.4 到 0.6 的中间值，听感上就是近端语音被“吃”掉一部分，字头音量突然变轻。

一个有效技巧是在损失函数里，把训练帧按“近端是否活跃”分组加权。合成数据的优点就是 know 每一帧的真实帧标签，可以提前算好近端帧的 log-energy，在aec_loss里对高能量近端帧乘 1.5 到 2.0 的权重。这会激励模型在近端段更积极地恢复语音，代价是回声段 ERLE 略有下降，但双讲主观分数提升明显。如果连这种分组信息都没有，退而求其次的做法是训练时把近端语音统一衰减 0.3 到 0.5 的增益再混入，等效于让模型面对“近端偏弱”的双讲，测试时反而更能保留近端细节。

5.2 频率泛化：换采样率前先重新算 STFT 参数

频域模型学到的是绝对频率位置上的模式，不是相对频率结构。16kHz 采样率下训练的模型，直接跑到 48kHz，音频内容展开到 24kHz 频带，而模型内部仍然按 257 个固定 bin 去解，相当于只看到原信号低频的四分之一，高频部分全部被忽略，输出必然异常。

正确处理方式分两种情况。如果只是测试音频从别的源来，先统一重采样到 16kHz 再进模型，这是最省事的办法。如果目标设备本身就是 48kHz 采样，需要把 n_fft 从 512 改成 1536（对应同样的 32ms 窗），重新生成数据并微调模型。不少模型声称“跨采样率泛化”，实际是靠前端将任意采样率重采样，或在时域做多分辨率 STFT 分支，这些都不含在基线代码里，别指望默认就能扛住。

5.3 导到 ONNX 并在推理端保持动态时间轴

训练完成后要把 PyTorch 模型导出成 ONNX，集成到 C++ 或移动端后处理链路。导出时最容易犯的错是让模型把时间维固定，导致推理时任何长度变化都要重新导出。

model.eval() with torch.no_grad(): mic = torch.rand(1, 257, 100) ref = torch.rand(1, 257, 100) torch.onnx.export( model, (mic, ref), "aec.onnx", input_names=["mic_mag", "ref_mag"], output_names=["mask"], dynamic_axes={ "mic_mag": {2: "time"}, "ref_mag": {2: "time"}, }, opset_version=12, )

dynamic_axes 里只把第 2 维（时间帧数）声明为动态，频率维固定为 257。导出后可以用 onnxruntime 加载并传入不同帧长度的输入验证形状兼容性。还有一点容易被忽略，STFT 的 center=True 在导出前后必须保持一致，否则 ISTFT 重建时会有固定帧偏移，听起来像整个信号往前挪了一小段。推理端的块处理建议每次输入 64 或 128 帧，重叠率保持训练时的 10ms 帧移，这样动态轴带来的边缘效应最小。

本文还有配套的精品资源，点击获取