异音检测模型选型实战：CNN、Transformer与AutoEncoder对比

异音检测这个方向，我在工厂产线做过几个落地项目，从最早的MFCC加SVM，到后来上CNN做时频图分类，再到近两年尝试Transformer和AutoEncoder做无监督异常检测，踩过的坑比调通的模型多得多。很多刚入行的朋友一上来就问"到底该用哪个模型"，其实这个问题本身就问错了——选型从来不是比谁的论文指标高，而是看你的数据长什么样、标注成本能不能扛住、产线节拍允许多大的推理延迟。这篇就把CNN、Transformer、AutoEncoder这三类模型在异音检测场景下的选型逻辑掰开揉碎讲清楚，从数据形态、特征提取方式、训练策略到部署落地，尽量给到能直接抄作业的判断依据。不管你是刚接触异常声音检测的新手，还是已经在产线上跑过模型的工程师，应该都能从里面找到对自己有用的部分。

1. 异音检测到底在检测什么：先把问题定义清楚

1.1 异音检测和语音识别、声纹识别的本质区别

很多人第一次接触异音检测，会下意识拿它跟语音识别类比，觉得都是处理音频，模型应该差不多。这个思路会把你带偏。语音识别的目标是把声波映射成文字，关注的是语义内容；声纹识别关注的是"谁在说"；而异音检测关注的是"这个声音正不正常"。三者的优化目标完全不同。

异音检测的核心矛盾在于：正常声音的分布相对集中，异常声音的形态却千奇百怪。一台电机正常运转时，声音频谱是稳定的；但一旦出现轴承磨损、异物卡入、装配松动，产生的声音可能表现为高频啸叫、周期性咔哒、低频轰鸣，甚至是一闪而过的瞬态冲击。你没法穷举所有异常类型，这就决定了异音检测天然偏向无监督或半监督范式。

我在一个家电产线项目里遇到过这种情况：客户一开始给了三类异常样本，我们按三分类训练CNN，测试集准确率98%，上线后第一周就漏检了一种没见过的"塑料件摩擦"异音。后来改成无监督的AutoEncoder方案，用正常样本训练，反而把这种未知异常也兜住了。这个教训很直接——异音检测的模型选型，首先要匹配你的标注能力，而不是先看模型结构。

1.2 产线场景对模型的硬约束

实验室里刷指标和产线落地是两回事。异音检测在工业场景下有几个绕不开的硬约束，这些约束直接决定了模型选型的边界。

第一是推理延迟。产线节拍可能是每件产品2到5秒，检测必须在节拍内完成，留给模型的时间往往只有几百毫秒。Transformer的自注意力机制在长序列上计算量是平方级增长的，如果不做优化，很容易超时。

第二是样本不均衡。正常样本海量，异常样本稀少，有些异常可能整个试产阶段就出现几次。这直接排除了需要大量异常样本的监督学习方案。

第三是环境噪声。产线背景噪声、相邻工位干扰、设备自身振动，都会混进采集信号。模型必须具备一定的抗噪能力，否则误报率会高到产线无法接受。

第四是可解释性需求。产线工程师需要知道"为什么判为异常"，是哪个频段、哪个时间段出了问题，这关系到后续的工艺排查。纯黑盒模型在这一点上会吃亏。

把这四条约束列出来，你会发现选型其实是在"精度、延迟、标注成本、可解释性"之间做权衡，没有哪个模型能四项全占。

1.3 三类模型的定位差异一句话说清

在展开细节之前，先用一句话给三类模型定个位，方便你建立整体认知：

• CNN：擅长从时频图里抓局部纹理模式，训练快、推理快、对小样本友好，是监督式异音分类的主力。
• Transformer：擅长建模长距离时序依赖和全局上下文，在数据量充足时上限高，但吃数据、吃算力。
• AutoEncoder：无监督范式代表，只用正常样本训练，靠重构误差发现异常，适合异常样本稀缺的场景。

这三者不是互斥的，实际项目里经常组合使用，比如用AutoEncoder做初筛、CNN做细分类。下面逐个拆解。

2. CNN在异音检测里的真实战斗力与边界

2.1 为什么时频图加CNN是异音检测的经典组合

声音是一维时序信号，直接喂给CNN效果通常不好，因为一维卷积感受野有限，很难同时捕捉短时瞬态和长时周期。行业里的标准做法是先做短时傅里叶变换（STFT）或梅尔频谱变换，把一维信号转成二维时频图，再让CNN去处理。这个转换的本质是把"时间-幅度"信号变成"时间-频率-能量"的三维表示，异常声音在时频图上往往表现为特定的纹理或亮斑。

举个例子，轴承故障的周期性冲击在时频图上会呈现等间隔的竖向亮线；高频啸叫表现为某条水平频率带上的持续能量；瞬态咔哒则是一个孤立的亮点。CNN的卷积核天然适合捕捉这类局部模式，这也是它在异音分类上长期占据主流的原因。

具体操作上，我一般用25ms窗长、10ms帧移做STFT，梅尔滤波器组取64或128个通道，得到一张128×T的梅尔频谱图。T取决于音频时长，通常截取1到2秒，对应100到200帧。这个尺寸对CNN来说很友好，输入不算大，训练也快。

2.2 网络结构选型：从VGG式到轻量化

异音检测的CNN结构不需要太深。我试过ResNet-50，在几千张时频图上过拟合严重，反而不如一个5层的小网络。原因是异音检测的数据集规模通常远小于ImageNet，深层网络的参数量是负担。

比较稳妥的结构是VGG式的堆叠：3到5个卷积块，每个块包含两层3×3卷积加BN加ReLU，后面接2×2最大池化，最后全局平均池化接全连接分类头。通道数从32起步，逐层翻倍到256。这个结构在多数异音分类任务上能到95%以上的准确率，参数量控制在百万级，推理延迟在CPU上也能压到几十毫秒。

如果产线用的是边缘设备，可以考虑MobileNetV3或ShuffleNet这类轻量结构。我在一个嵌入式方案里用过MobileNetV3-Small，模型大小不到3MB，在ARM芯片上单帧推理15ms，精度比VGG式网络只掉了1.5个百分点，性价比很高。

提示：不要盲目追求深网络。异音检测的数据量和任务复杂度，决定了中小型CNN往往比大模型更实用。先跑通一个小网络建立baseline，再考虑要不要加深。

2.3 数据增强在异音场景的特殊玩法

图像领域那套翻转、裁剪的增强手段，在时频图上要谨慎使用。水平翻转（时间轴翻转）会破坏声音的时序逻辑，一般不能用；垂直翻转（频率轴翻转）会改变音色，也不合理。真正有效的是这几类：

• 加性噪声：往原始音频里混入产线背景噪声，提升抗噪鲁棒性。这是最有效的增强手段，我通常会把信噪比控制在5到15dB之间随机采样。
• 时间平移：把异常事件在时间轴上随机挪动，模拟触发时刻的不确定性。
• 频率掩蔽和时间掩蔽：借鉴SpecAugment，随机遮挡部分频带或时间段，强迫模型学习更鲁棒的特征。
• 增益扰动：整体调整音量，模拟不同采集距离和灵敏度。

这里有个坑要提醒：加性噪声增强时，噪声样本必须来自真实产线环境。用白噪声或公开数据集噪声，增强出来的模型上线后照样扛不住实际干扰。我一般会专门采集几段产线空转时的背景音，作为噪声库。

2.4 CNN的软肋：长距离依赖和未知异常

CNN的局部感受野决定了它不擅长建模长距离依赖。如果异音的特征是"前0.5秒正常、后0.5秒出现周期性异常"，且这个周期性跨越了较长时间，CNN需要堆很多层才能覆盖，效率不高。Transformer在这类场景下更有优势。

更致命的是CNN对未知异常的无力。监督式CNN只能识别训练时见过的异常类别，遇到新异常要么误判为正常，要么分到某个已知类。如果产线的异常类型会持续新增，纯监督CNN的维护成本会很高，每次新增异常都要重新标注、重新训练。

所以我的经验是：如果异常类型固定且样本充足，CNN是首选；如果异常类型会动态增加，必须搭配无监督方案。

3. Transformer进入异音检测的正确姿势

3.1 自注意力机制为什么适合声音序列

Transformer的核心是自注意力，它能让序列中任意两个位置直接建立关联，不受距离限制。这个特性对声音信号特别有价值，因为异音的特征可能分布在时间轴的两端，也可能需要对比不同频段之间的关系。

举个实际例子，某类电机异音表现为"启动瞬间的高频成分"和"稳态运行时的低频调制"同时存在，单独看任一段都像正常，只有把两段关联起来才能判定异常。CNN要靠很深的网络才能建立这种远距离关联，Transformer一层自注意力就能做到。

另一个优势是Transformer对输入序列的建模更灵活。它不要求输入是规整的网格，可以把时频图的patch、原始波形的帧、甚至手工特征都拼成序列一起处理。这种多模态融合能力在复杂异音场景下很有用。

3.2 视觉Transformer和音频Transformer的取舍

在异音检测里用Transformer，主要有两条路线：一是把时频图当图像，用ViT（Vision Transformer）那套patch embedding；二是把音频当序列，用类似AST（Audio Spectrogram Transformer）的结构。

ViT路线实现简单，把梅尔频谱图切成16×16的patch，展平后加位置编码送进Transformer编码器。但要注意，ViT对数据量要求极高，原论文是在ImageNet上预训练的。异音检测的数据集通常只有几千到几万样本，直接从头训练ViT几乎必然过拟合。

我的做法是用预训练权重做迁移学习。在ImageNet上预训练的ViT，或者在大规模音频数据集上预训练的AST，拿来微调。微调时冻结前面的层，只训练最后几层和分类头，学习率调小到1e-5量级。这样在几千样本上也能收敛。

AST路线更贴合音频特性，它把时频图按时间和频率两个维度切patch，位置编码也是二维的，能更好保留时频结构。如果做的是纯音频任务，AST通常比ViT效果更好。

3.3 数据量不足时Transformer的补救方案

Transformer吃数据是公认的。异音检测场景下数据往往不够，有几个补救思路：

第一是数据增强要更激进。除了前面说的音频增强，还可以用Mixup、CutMix在时频图上做样本混合。Mixup把两张时频图按比例线性叠加，标签也按比例混合，能显著提升小数据集上的泛化。CutMix则是把一张图的局部区域替换成另一张图的对应区域。

第二是知识蒸馏。先用CNN在大数据集上训一个teacher，再用它指导Transformer学习。CNN的归纳偏置（局部性、平移不变性）能通过蒸馏传递一部分给Transformer，缓解小数据下的过拟合。

第三是降低模型规模。用轻量Transformer，比如把层数降到4到6层，注意力头数降到4到8个，embedding维度降到256。我试过一个6层、4头的轻量Transformer，在8000个样本上训练，效果和12层的大模型差不多，但训练时间少了一半。

第四是混合架构。用CNN做前端特征提取，Transformer做后端序列建模。CNN负责从时频图里抽局部特征，Transformer负责建模这些特征之间的长距离关系。这种CNN+Transformer的混合结构在小数据场景下往往比纯Transformer更稳。

3.4 推理延迟优化：Transformer上产线的关键

Transformer上产线最大的障碍是延迟。自注意力的计算复杂度是O(n²)，序列长度n一上去，延迟就爆炸。异音检测里如果音频长2秒、帧移10ms，序列长度就是200，自注意力要算200×200的矩阵，还能接受；但如果音频长10秒，序列长度1000，计算量就是100万次，边缘设备扛不住。

优化手段有几个方向：

• 降低序列长度：增大帧移，或者对时频图做下采样。比如把帧移从10ms改成20ms，序列长度直接减半。
• 使用稀疏注意力：只计算局部窗口内的注意力，或者用Longformer那种滑动窗口机制，把复杂度降到O(n)。
• 模型量化：把FP32量化成INT8，推理速度能提升2到4倍，精度损失通常在1%以内。
• 知识蒸馏到CNN：训练时用Transformer，部署时把知识蒸馏到一个小CNN上，兼顾精度和速度。

我在一个项目里做过对比：原始12层Transformer在边缘设备上单帧推理320ms，超出节拍；换成6层加INT8量化后降到45ms，精度只掉了0.8个百分点，顺利上线。

4. AutoEncoder：异常样本稀缺时的救命稻草

4.1 无监督范式的核心逻辑：只学正常，异常自然露馅

AutoEncoder的思路很朴素：用大量正常样本训练一个网络，让它学会压缩和重构正常声音。测试时，正常样本能被很好地重构，重构误差小；异常样本因为没见过的模式，重构误差大。设定一个阈值，超过就判为异常。

这个范式的最大优势是不需要异常样本。产线试产阶段异常样本稀少，甚至没有，监督学习无从下手，AutoEncoder却能直接开工。而且它对未知异常天然友好，因为任何偏离正常分布的模式都会导致高重构误差，不管这个异常是不是训练时见过的。

我在一个新品试产项目里，客户只有正常样本，要求上线检测。用AutoEncoder方案，正常样本训练，上线后一周内抓出了三种异常，其中两种是客户自己都没预料到的。这就是无监督范式的价值。

4.2 重构目标的选择：波形、频谱还是梅尔谱

AutoEncoder的重构目标决定了它能捕捉什么层次的异常。常见选择有三类：

波形重构：直接重构原始音频。优点是信息无损，缺点是波形对相位敏感，微小的相位偏移就会导致巨大重构误差，容易误报。一般不单独用。

线性频谱重构：重构STFT的幅度谱。比波形稳定，能保留完整的频率信息，适合检测频谱层面的异常。

梅尔频谱重构：重构梅尔频谱。梅尔刻度贴合人耳感知，对异音检测这种偏主观的任务更合适。而且梅尔谱维度低，训练快。我多数项目用这个。

选择时有个经验：如果异常主要表现为音色变化，用梅尔谱；如果异常涉及高频细节，用线性谱。高频异音在梅尔谱上会被压缩，可能漏检。

4.3 阈值设定：无监督方案最容易被忽视的环节

AutoEncoder判异常靠阈值，阈值定不好，整个方案就废了。定太高漏检，定太低误报。很多人随便取个重构误差的均值加两倍标准差，上线后误报率爆表。

正确的做法是用正常样本的验证集来定阈值。具体步骤：留出一部分正常样本不参与训练，用训练好的模型算它们的重构误差，得到误差分布。然后根据可接受的误报率反推阈值。比如要求误报率低于1%，就取误差分布的99百分位作为阈值。

但产线场景往往要求更严。我一般会做双阈值机制：一个高阈值直接判异常，一个低阈值判可疑，可疑样本转人工复检。这样既控制了漏检，又不会让误报淹没产线。

还有个技巧是动态阈值。产线环境会漂移，比如温度变化导致背景噪声改变，固定阈值会失效。可以每隔一段时间用最近的正常样本重新估计误差分布，动态调整阈值。这个在长时间运行的产线上很必要。

4.4 变分自编码器和记忆增强的进阶玩法

基础AutoEncoder有个问题：它可能把异常也重构得很好，尤其是当异常和正常在时频图上差异不大时。两个改进方向值得关注。

变分自编码器（VAE）：在隐空间引入概率分布，重构时从分布中采样。VAE的重构误差更平滑，对异常的区分度有时更好。但VAE训练更不稳定，需要调KL散度的权重，调不好会出现后验坍塌。

记忆增强AutoEncoder（MemAE）：在隐空间维护一个记忆矩阵，重构时从记忆里检索最相似的正常模式。异常样本因为找不到匹配的记忆，重构误差会显著增大。这个方法在MVTec等异常检测基准上表现很好，异音检测里也可以借鉴。

我试过MemAE在轴承异音检测上，相比基础AutoEncoder，AUC从0.89提升到0.94，代价是训练慢了一些，推理多了个检索步骤。如果对精度要求高，值得上。

5. 三类模型的横向对比与选型决策树

5.1 关键维度对比表

把三类模型放在一起对比，能更直观地看出各自适用场景。下面这张表是我根据多个项目经验整理的，指标是相对值，具体数值会随数据集变化。

从表里能看出，没有哪个模型全面占优。CNN胜在均衡，Transformer胜在上限，AutoEncoder胜在无监督。

5.2 按数据条件的选型决策路径

选型第一步是看数据条件，这是最硬的约束。

如果异常样本充足（每类几百条以上）：优先CNN。训练快、推理快、调参简单，性价比最高。如果数据量特别大（几万条以上）且算力充足，可以上Transformer冲更高精度。

如果异常样本稀少（每类几十条）：CNN加数据增强，或者用预训练模型微调。Transformer在这个数据量下容易过拟合，不推荐从头训练。

如果只有正常样本：AutoEncoder是唯一选择。如果正常样本也少，考虑用预训练的自监督模型提取特征，再做异常检测。

如果异常类型会动态增加：AutoEncoder打底，配合CNN做已知异常的细分类。新异常出现时，AutoEncoder能兜住，积累够样本后再训练专门的CNN分类器。

5.3 按产线约束的二次筛选

数据条件定了大方向后，还要用产线约束做二次筛选。

延迟敏感（节拍小于1秒）：CNN或轻量AutoEncoder。Transformer必须做量化或蒸馏，否则超时。

算力受限（边缘设备）：轻量CNN或MobileNet系列。Transformer基本排除，除非用蒸馏后的小模型。

可解释性要求高：三类模型都可以通过可视化中间特征来提升可解释性。CNN看卷积核激活，Transformer看注意力权重，AutoEncoder看重构误差的时频分布。相对而言，AutoEncoder的重构误差图最直观，能直接指出异常发生在哪个时间段和频段。

维护成本敏感：AutoEncoder维护成本最低，新增异常不用重新标注训练。CNN每次新增异常都要重新标注，维护成本高。

6. 落地实操中的坑与经验

6.1 数据采集环节的隐蔽陷阱

模型再好，数据不行都是白搭。异音检测的数据采集有几个隐蔽陷阱，我踩过不止一次。

采样率选择：很多人默认用16kHz，但异音检测里高频成分往往很关键。轴承早期故障的特征频率可能在10kHz以上，16kHz采样率下8kHz以上就没了。我一般用48kHz采样，保留完整高频信息，后续再根据需要降采样。

麦克风位置：麦克风离声源的距离和角度，直接影响采集到的信号。产线上麦克风位置一旦定了，训练和推理必须保持一致。我见过一个项目，训练数据在A工位采的，部署到B工位，模型直接失效，因为两个工位的声学环境不同。

同步问题：如果异音和某个动作相关（比如机械臂抓取瞬间），采集时必须和产线PLC做同步，否则标注的时间戳对不上。这个在项目初期就要和产线工程师确认好。

背景噪声记录：一定要单独录一段产线空转的背景音，用于数据增强和后续的噪声抑制。这个很容易被忽略，等到模型误报率高的时候才想起来，就晚了。

6.2 训练集测试集划分的常见错误

异音检测的数据划分有个大坑：不能随机划分。如果同一件产品的多个音频片段被随机分到训练集和测试集，测试集里会有和训练集高度相似的样本，导致指标虚高。

正确的做法是按产品件划分。同一件产品的所有音频要么全在训练集，要么全在测试集。更严格的是按批次划分，同一批次的产品全在一侧。这样测试集才能真正反映模型对未见产品的泛化能力。

我见过一个项目，随机划分下准确率99%，按件划分后掉到85%，差距就是这么大。所以指标虚高的时候，先检查数据划分方式。

6.3 模型融合的实战价值

单一模型往往有盲区，融合能显著提升鲁棒性。异音检测里常用的融合方式有两种。

多模型投票：CNN、Transformer、AutoEncoder各训一个，推理时投票。三个模型都判异常才判异常，误报率低；任一判异常就判异常，漏检率低。具体用哪种看产线更在意误报还是漏检。

特征级融合：把CNN提取的局部特征和Transformer提取的全局特征拼接，送进分类头。这种方式比投票更紧耦合，效果通常更好，但实现复杂一些。

我在一个项目里用CNN加AutoEncoder融合：CNN负责已知异常的细分类，AutoEncoder负责未知异常的兜底。上线后漏检率比单CNN降低了60%，误报率只上升了0.3个百分点，产线接受度很高。

6.4 上线后的持续监控与迭代

模型上线不是终点。产线环境会变，设备会老化，模型性能会漂移。必须建立持续监控机制。

监控指标：除了常规的准确率、误报率、漏检率，还要监控输入数据的分布。如果输入时频图的统计特征（均值、方差、频谱重心）发生显著偏移，说明数据分布变了，模型可能失效。

定期复训：积累新的正常样本后，定期更新AutoEncoder的阈值，或者重新训练CNN。我一般建议每月复训一次，产线变化快的话两周一次。

异常样本回流：产线判为异常的样本，人工复检后确认是异常的，要回流到训练集。这些是宝贵的真实异常样本，积累够了就能训练更准的监督模型。

A/B测试：新模型上线前，和旧模型并行跑一段时间，对比指标。确认新模型确实更好再切换，避免直接替换导致产线波动。

7. 一个完整的选型案例复盘

7.1 项目背景与约束

去年做过一个汽车零部件产线的异音检测项目，产品是电动座椅调节电机。产线节拍3秒，要求检测电机运转时的异音。客户提供了2000件正常样本，异常样本只有30件，分属两类（齿轮啮合异音和轴承异音）。产线用的是工控机，算力有限，要求推理延迟低于500ms。

这个项目的约束很典型：异常样本少、算力有限、延迟敏感、异常类型可能增加。

7.2 方案设计与迭代过程

第一版方案用监督CNN，30件异常样本加数据增强扩到300件，训练一个5层CNN。测试集准确率92%，但上线后误报率高，产线反馈每100件误报3到4件，无法接受。

分析原因：异常样本太少，模型泛化差，对正常样本的细微变化过度敏感。而且两类异常样本不均衡，齿轮异音25件，轴承异音只有5件，轴承类基本没学好。

第二版改成AutoEncoder为主、CNN为辅的融合方案。AutoEncoder用2000件正常样本训练，负责初筛；CNN只用齿轮异音样本训练，负责细分类。轴承异音因为样本太少，暂时靠AutoEncoder兜底。

阈值用正常验证集的99.5百分位，配合双阈值机制。上线后误报率降到0.5%，漏检率2%，产线接受。

第三版在运行两个月后，积累了80件轴承异音样本，补训了一个轴承分类CNN，融入融合框架。漏检率进一步降到0.8%。

7.3 最终效果与经验总结

最终方案在产线稳定运行，误报率0.5%以下，漏检率1%以内，推理延迟平均180ms，满足节拍要求。

这个项目给我的经验是：异音检测的选型不是一次性的，而是随数据积累动态演进的。初期异常样本少，AutoEncoder打底；随着异常样本积累，逐步引入监督CNN提升精度。不要指望一个模型从头用到尾。

另外，双阈值加人工复检的机制在产线落地时非常关键。它给了模型一个缓冲带，避免了误报直接冲击产线。很多项目失败不是因为模型精度不够，而是因为误报率没控制好，产线直接弃用。

最后说个细节：这个项目里麦克风用的是定向麦克风，指向电机正上方，距离10cm。这个位置是试了三个方案后定下来的，不同位置采集的信号信噪比差异很大。麦克风选型和位置固定，是异音检测项目最容易被低估的环节，值得花时间做对比实验。

如果你正在做异音检测的选型，我的建议是先别纠结模型结构，把数据采集和划分做扎实，跑通一个CNN baseline，再根据异常样本的积累情况决定要不要上AutoEncoder或Transformer。模型是工具，数据才是根本。