“Python 深度伪造终极检测指南”到第三篇，前两篇我们把图像伪造的底层逻辑和基础CNN模型过了一遍。这一篇直接上硬货：把图像、音频、视频三种模态的深度伪造检测方案全部拉通，用CNN、GAN、Transformer这三类主流深度学习结构，搭建一套能真正落地的检测流水线。我不讲那种“跑个开源模型就完事”的玩具Demo，而是把工程里最啰嗦、最容易翻车的环节——数据表示、模型选型、训练策略、阈值校准——全部拆开讲透。
这套内容适合谁？你已经会用PyTorch或TensorFlow跑分类模型，想把手上的伪造检测任务从“单张图片识别”升级到“多模态、多场景、可部署”的完整方案。核心价值就一句话：给你一个不用走弯路的三模态检测搭法，以及我从实际项目中踩出来的那些文档里不会写的坑。
1. 三模态检测的整体设计与思路拆解
1.1 图像、音频、视频伪造的天然差异
很多新手拿着图像检测的模型直接去跑视频和音频，效果惨不忍睹。问题不在于模型不够强，而是三种数据形态的信号特性根本不在一个维度上。
图像是静态的，伪造痕迹藏在空间域里：生成人脸边缘的模糊伪影、颜色通道间的光谱异常、眼睛高光与光源方向不一致、甚至GAN上采样带来的周期性纹理。这些痕迹用单帧CNN就能捕捉，关键是怎么捕捉。
音频是时序的，伪造痕迹藏在频域和相位域里：语音合成模型在静音段到语音段的切换位置容易出现频谱断裂，波形相位在共振峰附近会产生不自然的抖动。单纯把音频当成“一维图像”去跑分类，会漏掉大量关键线索。
视频多了一个时间维度，伪造痕迹不仅存在于每一帧，更存在于帧与帧之间：眨眼频率异常、头部旋转与背景透视不匹配、唇形同步误差、相邻帧之间的光流突变。跨帧一致性分析是视频检测的核心，也是单帧CNN始终搞不定的原因。
我早期做项目时犯过一个典型错误：直接用预训练图像分类模型逐帧处理视频，然后对帧级预测结果做平均投票。这个方案在静态伪造图上效果尚可，但遇到真实场景的动态换脸视频，准确率直接跌到六成以下。原因是模型完全没利用时间维度上的异常信号，而动态换脸恰恰是在时间维度上最容易露馅的。
1.2 CNN、GAN、Transformer在检测任务里的分工
这三类结构在检测任务里不是竞争关系，而是上下游配合的关系。
CNN负责捕捉局部的、多尺度的空间纹理特征。它的优势是强归纳偏置——卷积核天然适用于图像局部模式检测，训练数据量需求相对较低，收敛稳定。劣势是长距离依赖建模能力弱，跨大尺度区域的关联模式（比如整张脸的光照一致性）捕捉能力有限。
Transformer负责解决CNN的短板——全局关系建模。自注意力机制能把图像不同区域、音频不同频段、视频不同时刻之间的关系拉在一起比对。劣势也明显：训练数据量需求大，收敛慢，直接从头训一个ViT做深度伪造检测，效果大概率不如一个调好参数的ResNet。
GAN在这里的角色比较特殊——不是用来做检测的，而是用来做数据增强的。用GAN生成伪造样本，让检测模型见过更多样化的伪造痕迹，提升泛化能力。这算是最直接的“以子之矛攻子之盾”。
我的建议是：图像检测以CNN为骨干，在深层引入注意力模块，不要一上来就堆Transformer；音频检测直接用Transformer或带自注意力的RNN混合结构，因为音频的时间上下文信息太关键；视频检测用“CNN + 时序建模”的双流结构，单流方案几乎必挂。
2. 工具链选型与数据准备
2.1 音频和视频处理库的正确打开方式
图像这块没什么悬念，PyTorch + torchvision + OpenCV是标配。音频和视频的处理库选择，很多人第一步就踩坑。
音频处理首选torchaudio，尽量不要直接用librosa跑在线数据管线，两个原因：一是librosa的特征提取速度在批量训练时是性能瓶颈，二是librosa和torchaudio在部分特征实现上有数值差异，训练时用librosa提特征、部署时用torchaudio提特征，模型性能会莫名其妙掉两三个点。正确的做法是全程统一用torchaudio，训练和推理走同一条计算路径。
视频处理建议用decord替代OpenCV的VideoCapture。OpenCV的帧解码速度和decord差了整整一个量级，尤其在训练视频模型的时候，IO瓶颈能把GPU利用率压到50%以下。decord支持异步随机访问，批量取帧时尤其明显。
数据存储格式也很关键。视频数据建议预先抽帧存成LMDB或WebDataset格式，不要训练时实时解码视频。一条30秒的视频，实时解码取帧的耗时是预取帧缓存耗时的十几倍。我见过一个团队训练视频检测模型，GPU利用率长期在40%上下挣扎，后来把数据管线改成预抽帧+LMDB，训练时间直接缩短了三分之一。
2.2 伪造样本怎么构造才有效
深度伪造检测的数据集不是一个“真图 vs 假图”的简单二分类，这里要仔细设计正负样本的分布结构。
真实样本相对容易获取，公开真实人脸数据集、真实语音数据集都可以用。伪造样本是难点，关键原则是“多样性覆盖”。如果你只用一种GAN生成器（比如只用StyleGAN生成伪造人脸），检测模型会严重过拟合到该生成器特有的伪影上，换一个生成器就失效。
我在项目里会组合至少三种来源构造伪造样本：一是公开深度伪造基准数据，二是用现成换脸模型自己跑一批，三是用GAN生成器直接合成一批。三种来源的比例要刻意保持不平衡——换脸类的伪造样本占多数，因为实际攻击场景里换脸是最主流的手段，GAN直接生成的纯伪造人脸可以占比低一些，作为泛化增强使用。
音频伪造样本的构造有一个容易被忽略的细节：不要只做整句合成。实际攻击场景中，受害者往往是语音克隆后拼接了几个句子，而不是整段音频全部出自合成模型。所以伪造音频样本需要做“拼接局部伪造”——前半段真实语音，中间几个词换成克隆语音，后半段再切回真实语音。这种部分伪造样本才是实际检测中最难搞、也最需要训练覆盖的。
3. 三模态检测模型的核心方案详解
3.1 图像检测：不只是堆网络深度
图像检测是我们前面两篇的重点，这里只补充两个工程上大幅提升效果的方案。
第一，改用贝叶斯不确定性估计。很多深度伪造检测系统在真实场景中被攻击失败，不是因为模型分类错，而是因为模型“过度自信地把伪造判成了真实”。标准CNN的Softmax输出本身不是置信度，面对分布外样本（OOD）时会产生高置信度的错误预测。一个成本极低的改进方案是在预测阶段开启MC Dropout——在推理时多次随机关闭部分神经元，收集多次预测结果的方差作为不确定性。当方差超过阈值时，直接判定为“不确定样本”，交给人工审核而不是盲目信任模型输出。这个方案在工程上只需要在推理循环里多跑几次前向传播，几乎零代码改动，但能显著提升系统的可信度。
第二，特征提取用多尺度局部注意力。直接把整张图缩放到224x224输入模型会丢失大量细节纹理。我常用的做法是保留原始分辨率，在预处理阶段用OpenCV检测人脸关键点，然后同时裁剪出整脸、眼部局部、嘴部局部三个尺度区域，分别提取特征，再做一个轻量特征融合。伪造痕迹在眼睛和嘴巴周围分布最密集——生成器对眼睛高光、牙齿边缘的还原能力始终弱于真实图像。三尺度特征融合的方案，在我的实测里比单一整脸输入误检率降低了约三分之一。
3.2 音频检测：频谱图不是唯一答案
音频深度伪造检测的主流做法是把波形转成Log-Mel频谱图，然后用CNN分类。这个方案有效，但有明显天花板。
Log-Mel频谱图本质上是经过了非线性压缩和滤波的特征表示，这带来一个问题：Mel滤波器组把高频细节平滑掉了，而语音合成模型在高频段（尤其是齿音、气息音区域）的还原能力本身就弱，恰恰是最该观察的。很多生成语音在4kHz以上的高频区会有明显的能量分布异常，Mel表示会丢失这个信息。
我的做法是“双路频谱融合”：一路用Log-Mel频谱捕捉中低频频谱包络特征，另一路用线性频谱或恒Q变换频谱捕捉高频细节特征。两路特征在分类头之前进行融合。这个方案在实测中对比纯Log-Mel，对主流语音合成系统的检测率提升明显。
音频Transformer的用法也有讲究。直接把频谱图展平成序列送进标准ViT是可行的，但效果不一定好。更合理的方案是用CNN作为前端特征提取器，把频谱图编码成语义特征图，再用Transformer建模跨时间步的关系。这样CNN负责局部声学纹理，Transformer负责长时语音上下文一致性——两者各司其职，比纯Transformer收敛更快，效果也更稳定。
3.3 视频检测：双流架构与时空一致性
视频深度伪造检测的核心是“帧内容 + 帧间动态”，标准方案是双流结构。
空间流负责单帧图像内容检测，走的是图像检测模型路线——每一帧提取空间纹理特征。时间流负责帧间动态检测，输入不是RGB帧，而是相邻帧之间的光流图或帧差图，用来捕捉运动一致性异常。
这里有一个很关键的工程细节：时间流不要直接输入光流图的原图。光流图维度高、噪声大，直接喂给网络反而干扰学习。我通常对光流图做一个运动显著性区域筛选，关注运动幅度最大、最不符合物理规律的区域（比如嘴唇周围、头部边缘），把这个区域的运动特征单独抽出来。实际操作中，我还会对时间流模型引入帧序列的排序预测作为辅助任务——把连续三帧随机打乱顺序，让时间流同时预测“是否被打乱”和“是否伪造”。这两个任务共享同一套运动特征提取器，实验里能带来稳定的检测率提升。
双流融合不要用简单的拼接或相加。我建议用门控融合——让模型根据输入内容动态决定空间流和时间流的权重。伪造类型不同，两类特征的贡献度差异很大：纯GAN生成的伪造视频，空间伪影更明显，空间流权重应该更大；换脸视频的帧间闪烁和头部姿态不自然，时间流权重应该更大。门控机制可以让模型自动学会这个加权逻辑。
4. 实操过程与核心环节实现
4.1 数据准备阶段的三个核心步骤
如果是从零开始做三模态检测，我会把数据准备拆成三个顺序步骤，每个步骤都有明确的产出物和检查点。
第一步，模态分桶。图像、音频、视频分别存放，按标注类型（真实/伪造）分目录，统一文件名规范。这一步的核心产出是一份完整的数据清单，每一行包含样本路径、模态类型、伪造来源、样本时长等元信息。
第二步，特征预抽取。这一步的产出是“所有样本的特征张量包”，而不是原始媒体。图像抽好人脸区域、音频抽好频谱图、视频按固定采样频率抽好帧、光流和运动显著性区域。全部特征统一用内存映射格式存储，后续模型训练直接读特征，不再实时预处理。这一步是训练速度提升的关键。
第三步，数据划分。要特别注意伪造检测数据不能随机划分——同一来源的伪造视频如果同时出现在训练集和测试集，模型会学习到生成器的固定伪影，测试指标虚高。必须按伪造来源或生成器划分，保证测试集里的伪造样本来源于训练时完全没见过的生成器。这一点直接决定你的模型在真实场景中是否经得起检验。
4.2 三模态统一训练流程
模型部分我用PyTorch实现，核心训练流程可以是统一的：数据加载、前向传播、损失计算、反向传播、权重更新。差异在各模态的特征输入不同。
图像模态的训练代码相对简单，关键是图像增强策略要“克制”。这一点非常反直觉——通用图像分类任务恨不得用上所有增强手段，但伪造检测里过度增强（比如强对比度扰动、极端随机裁剪）会把真实的伪造痕迹抹掉，反而降低检测能力。我的经验是只做轻量随机水平翻转和轻微色彩抖动，其他花式增强一律不用。
音频模态的训练，除了频谱图输入之外，我会额外加一个“低频相位特征通道”。具体做法是把波形做短时傅里叶变换后取相位信息，转成相位差特征图，作为第三个通道和频谱图拼接。听感正常的人类语音在相位连续性上有严格的时间约束，而拼接型语音克隆在这个位置经常出现相位断裂。
视频模态的训练对整个工程最重的部分。实际训练中必须保证负样本（真实视频）里存在一定比例的“低质量增强”——清晰度下降、压缩伪影、亮度异常。因为真实场景中攻击者会故意压缩视频、降低画质来规避检测，模型如果没有见过低质量真实视频，会把压缩伪影误判成伪造痕迹，产生大量误报。
4.3 三模态统一集成与阈值设定
三模态模型训练完成后，最后的设计环节是把三个模态的输出统一集成为一个决策结果。
集成层面的核心原则是“先分别校准，再统一融合”。每个模态的模型训练完成后，批次输出值先使用温度缩放做置信度校准——用一个在验证集上学到的温度参数T调整Softmax输出，让模型预测概率和真实准确率匹配。不校准直接融合会导致一个问题：某个模态的模型“虚高自信”，在融合时压过了其他模态的真实判断。
融合权重我建议用验证集上的贝叶斯优化评估来确定，而不是手工拍脑袋。基础思路是给图像、音频、视频三个模态的输出分配加权系数，在验证集上搜索一组与数据分布匹配的权重组合。实际项目中音频和视频的权重应略高于图像，因为伪造视频的跨帧一致性和伪造音频的相位异常往往比单帧图像伪造更稳定、更难被攻击者针对性规避。
阈值设定是一个容易被轻视的环节。实际部署场景的TPR和FPR要求完全不同于实验室——这是“宁可漏检也不误伤”还是“宁可误伤也不漏检”的取舍。我在项目里会把系统在高阈值（低误报）和低阈值（高召回）之间运行两套逻辑，再结合样本的不确定性分数（MC Dropout方差）划分出“自动判定”和“人工复核”两条通道。高置信度走自动判定，低置信度走人工复核。这个工程化设计比单一阈值一刀切的效果稳定得多。
5. 常见问题与排查技巧实录
5.1 模型在测试集上效果好、真实场景差
这是我被问得最多的一个问题，几乎人人都遇到过。测试集效果90%以上，一上真实场景就跌到70%，甚至更低。
首要原因就是数据划分泄漏。如果训练和测试的伪造样本来自同一个生成器，模型学到的可能只是该生成器固定伪影的匹配模式，而不是深度伪造的通性缺陷。解决方法是按伪造生成器严格划分数据，并留出一部分未知生成器样本专门做泛化测试。
第二个原因是测试集过拟合。调参过程中反复使用同一个测试集做效果评估，本质上是在对测试集做隐式训练，模型已经“记住”了测试集的分布。解决方法是把数据划分成训练集、验证集、测试集三层，验证集用于调参，测试集只允许在最终阶段评估一次。
第三个原因是样本分布不均——训练数据里伪造样本和真实样本比例严重失衡，模型倾向于把所有样本都判成多数类。解决思路不是简单加权，而是用更多样的伪造来源来丰富少数类的类内多样性。
5.2 数据增强适得其反，伪造痕迹被抹掉
我见过有人把图像旋转、模糊、高斯噪声、随机遮挡全部加在伪造检测的训练里，结果模型在测试集上直接崩溃。前面说过，伪造检测对数据增强非常敏感。
最典型的翻车案例是随机遮挡或裁切。伪造痕迹往往集中在眼部、嘴部、轮廓边缘，随机遮挡正好把这些最该观察的区域堵住了。模型只能退回去学习肤色和纹理等表层特征，而这些特征在真实重叠区（真实照片也有可能不均匀照明）里不可靠。
另一个容易踩坑的增强是亮度对比度扰动过强。GAN生成图像在亮度分布曲线和真实照片有微妙差异——这种差异其实是一种有效特征，但过强的亮度扰动会把这种特征差拉平，模型失去判别依据。
我的经验是：伪造检测任务里的增强策略应该“小而谨慎”。对图像模态，保留轻微水平翻转和随机色彩抖动就好；对音频模态，轻度的加性噪声和随机时间伸缩是安全的（模拟真实信道退化）；对视频模态，压缩伪影添加反而是有效增强，因为它模拟了攻击者隐藏痕迹的手段。一切可能抹掉高分辨率细节纹理的增强，都不建议使用。
5.3 音频模型对数据质量异常敏感
音频模态有个特殊问题——不同来源的音频数据，采样率、编码格式、信道特性差异巨大。有人把16kHz和44.1kHz的音频混在一起训练，模型学到的不是伪造特征，而是采样率差异。这是我实际碰到过的低级但杀伤力巨大的错误。
通用做法是全部统一到16kHz单声道，做重采样和信道合并。这一步必须放在特征提取前完成，所有样本统一走同一条重采样路径。还有一个细节是录音环境的泛化问题：训练集里大量样本是专业录音室环境，干净没噪声，但真实通话场景有环境声、混响、压缩，模型容易误判。我习惯在训练集中混入一定比例的真实场景语音——会议录音、电话通话、房间混响——作为真实样本的多样性填充。
5.4 视频检测吃得掉显存，怎么办
视频检测模型训练显存开销大得惊人，一张1080p视频的10秒片段，即使抽到固定帧率，单样本也可能吃到几个GB。不少团队在显存限制下不断缩小batch size，最后模型收敛失败。
更稳妥的做法是“帧采样”。不要一次性把整个视频片段塞进模型，按固定间隔抽帧，比如每个视频抽8帧或16帧，然后把这组帧作为一个样本输入模型。第一步抽帧后，对这些帧做随机时间裁剪，相当于时序上的数据增强，既保留了跨帧一致性的学习信号，又把显存需求降到了可控范围。
如果显存仍然不足，可以训练阶段用混合精度（AMP）训练。视频模型的数值动态范围跨度比较大，FP16训练在伪造检测任务中稳定性没有问题，同时显存占用降至原来的一半左右，速度也有明显提升。
5.5 模型可信度分布严重变形
部署阶段遇到的第二个高发问题是：模型输出的概率分布严重向两端收敛，大量样本的预测概率不是0.01就是0.99。表面看起来模型“很自信”，但遇到新样本时基本都是乱自信。这个问题标准的解法参照4.3里的温度缩放校准——先校准再部署。
校准完成后要看可靠性图（Reliability Diagram）做验证。学到的温度参数不是越大越好，而是要让校准后的置信度曲线与理想对角线重合最佳。校准样本必须使用训练过程中完全没见过的验证集，否则校准过程本身也是过拟合。
还有一个技巧是分位数校准。当样本量足够大时，我习惯不让模型输出单一概率，而是输出一组经验分位数估计——比如分别输出5%、50%、95%三个分位数。判断一个样本是否伪造，用中位数做最终决策，用分位数宽度做不确定度估计。这个思路在实际项目中帮我把“自动判定”的可靠率拉高了不少。
写在最后
这一篇把三模态的深度伪造检测完整过了一遍，但说实话，这部分内容做的时间越久、坑踩得越多，越明白一个道理——深度伪造检测的本质不是“找到一张假的图片”，而是“理解真实信号里面不可复制的暗伤”。CNN帮你找到局部的异常纹理，Transformer帮你把跨模态、跨时序的异常关联起来，而GAN又让你反过来理解伪造者的生成习惯。三者拼起来的系统，才是能扛住真实攻击的体系。
从我个人的实战经验来看，在算法迭代的同时一定要认真经营自己的数据资产——不同来源的伪造样本、真实场景的低质量媒体、经过压缩转码的攻击样本，这些数据的价值甚至比调模型结构还高。每一次项目里遇到的新伪造样本，我都会归档回来补充进数据集，几个方向轮下来，检测系统的实战免疫力是实实在在涨上来的。
最后再分享一个小技巧：部署阶段不要只看模型输出，把每一类样本的特征空间可视化做出来，存成一个可供检索的档案库。后续每次遇到误报漏报，先归因到特征空间里看位置，再针对性补数据或调阈值。这个习惯会让你的检测系统进化的速度快很多，也少走很多弯路。
