图像拼接检测新思路：从自洽性学习到篡改区域定位

“这张图有问题，但我一时说不上来哪里有问题。”——这是图像取证工程师最常收到的反馈。新闻图片审核、司法证据核验、社交平台内容安全，全都依赖同一个判断：图像是否被人动过手脚。而所有篡改手法里，拼接（Splice）是最危险也最难检测的一种。所谓拼接，就是把一张图中的某块区域剪下来贴到另一张图上，区域本身是真实拍摄的，只是它不属于当前场景。ECCV 2018上的这篇论文《Fighting Fake News: Image Splice Detection via Learned Self-Consistency》，给出了一条完全不同的路线：不找“造假痕迹”，而是让网络去学“什么叫一张图内部自洽”。这篇博文会把它的核心思想、网络设计、训练数据构造、推理流程，以及我复现时踩过的坑全部拆开讲，适合正在做图像取证、AIGC检测或内容安全方向的朋友参考。

1. 老路子为什么越走越窄：那些“伪造痕迹”正在消失

1.1 拼接检测的任务定义

拼接检测要回答两个问题：第一，这张图有没有被拼接篡改；第二，如果有，被拼接进来的区域具体在哪。第二个问题在工程上更难，因为它不是简单的二分类，而是要在像素级别输出一个掩码，标注出哪些区域来源可疑。

很多人刚接触这个方向时，会把拼接检测和“复制移动检测”（Copy-Move）搞混。复制移动是在同一张图内复制一块区域盖住另一块，自相似搜索就能发现。拼接完全不同，被贴进来的内容来自另外一张图，图像本身没有一个“参照物”可供比对，这就要求检测算法在没有任何先验线索的情况下，判断“当前这块区域是不是本来就在这张图里”。

1.2 传统方法依赖的四大线索

早年的拼接检测几乎都围绕着“篡改者必然留下痕迹”这个假设展开。常用的线索有这么几类：

这些方法在十多年前的取证场景里确实有效，因为当时做假图的手法相对粗糙，拼接区域边缘往往有明显的羽化痕迹，或者JPEG块边界对不齐。但现在不行了，人人都能用工具做内容感知填充，边缘处理得比很多真实照片还自然。我测试过一张经过重新压缩和轻度降噪的拼接图，双量化检测器直接失效，噪声检测器也几乎给不出有效信号。

1.3 更深的困境在数据标注这一侧

传统方法还有个隐性成本：调试规则时很难找到足够的真实样本来验证规则是否有效。法庭图像、新闻照片这类真实篡改样本根本不可能大规模开源，公开数据集的范围和规模也都有限。

这让检测算法陷入了两难：人工定义的痕迹规则越来越容易被规避，而想用监督学习又拿不到足够带像素级标注的拼接训练集。这是这个领域在过去很长一段时间里进展缓慢的根本原因——不是模型结构不够强，而是“监督信号”无处安放。

2. 换个角度：不找痕迹，测“自洽性”

2.1 什么是“自洽性”

论文开篇提出了一个很直观的假设：一幅真实的自然图像，内部各局部块之间应该存在一种连续、合理的关系。这个关系看不见摸不着，但人的视觉系统能轻松感知——把一个人物贴到完全陌生的场景里，即使色调和光影都调整过，人眼还是会觉得“这个人和环境不搭”。

这种“不搭”就是自洽性被破坏。研究团队把这种主观感觉形式化成一个数学概念：图像中任意两个局部区域对一个一致性函数打分，分数越高代表这两个区域越可能来自同一幅真实图像。拼接区域与宿主图像之间的一致性必然低于正常区域之间的平均水平。

2.2 自洽性不是“规则”，而是“统计规律”

这个思路和传统方法最本质的区别在于：一致性函数不是人工指定的，而是从大规模自然图像里学出来的。

传统方法规定“JPEG块效应应当一致”“噪声模式应当一致”，这是一种显式的、有限的规则。而自然图像里隐含的规律远比这几条复杂，比如草地纹理的朝向与周边地形的趋势、金属反光与周围光源的关系、人物体表的色彩分布与场景色温的关系。这些规律很难写进代码，但深度网络能够在海量自然图像里把这些统计特性隐式编码进特征空间。

所以论文提出的自一致性（Self-Consistency）是“被学习的”，不是“被设计的”。

2.3 一个更直观的类比

你可以把整幅图像当成一段文章，把图像块当成句子。正常文章里句子与句子之间有衔接逻辑，通顺且连贯；如果从另一篇文章里硬插一段进去，即使单句话语法完全正确，放在上下文里也会“读着别扭”。

传统方法相当于去检测插入段落的字体、缩进、行距是否一致，一旦对方把格式调好就失效了。这篇论文的办法是训练一个模型，去理解“正常文章的上下文逻辑”本身，再回来判断哪句话“别扭”。它不关心字体和缩进，更关注内容层面的连贯关系。

2.4 与复制移动检测和语义分割的差异

复制移动检测做的是自相似性比较，拼接检测做的是异源兼容性判断。前者需要找到相同的区域对，后者需要判断“不存在的来源”是否合理，难度完全不同。

同时这个方法也不是做语义分割。它的训练标签不是“人”“车”“天空”这样的语义类别，而是“两个patch是否来自同一幅图”这样的关系标签。网络不需要知道它看到的是什么东西，只需要知道它们之间“合不合得来”。这省去了大量标注工作，也是这个方法可以完全走自监督路线的根本原因。

3. 网络设计与数据构造：怎么把“自洽性”训出来

3.1 整体架构：孪生网络加打分头

论文采用的网络结构是一个经典的孪生网络结构。输入是一对图像块，分别通过共享权重的卷积主干提取特征，再在特征层做融合，最后输出一个标量，表示这两个图像块来自同一幅真实图像的概率。

具体实现上，主干网络使用了类似VGG风格的全卷积结构，最后经过全局平均池化拿特征向量。融合层把两个特征向量做差并拼接，再接一个全连接层分类头，输出用sigmoid激活。这个结构在当年很朴素，但胜在简单可靠，也容易迁移到不同规模的输入上。

3.2 训练样本构造：正负样本对的生成逻辑

训练阶段完全不需要任何拼接标注图像，只需要一个数量充足的自然图像库。样本对的构造方式非常直观：

• 正样本对：从同一张自然图像中随机采样两个不重叠的图像块
• 负样本对：从两张不同的自然图像中各采样一个图像块
• 正负样本比例保证在1比1，避免模型倾向

这里有个我实际踩过的坑：正样本对的两个块不能离得太近。如果两个块有较大重叠，或者在纹理上存在明显的延续关系，模型很容易偷懒，只学会“颜色纹理极度相似的是同一来源”，而对“同一个场景不同部位的合理延续”缺乏理解，测试时虚警率会很高。我后来把正样本对的最小中心距离限制在patch尺寸以上，问题才明显改善。

3.3 数据增强与难样本挖掘

为了让学到的一致性函数不至于过拟合到低层统计特征，训练时需要对图像块做充分的数据增强，包括随机HSV扰动、水平垂直翻转、随机旋转、模拟JPEG压缩、随机缩放等。

难样本挖掘是这个训练流程里非常关键的一步。训练一段时间后，用当前模型对负样本对做预测，找出那些被模型误判成“一致”的负样本，把它们重新放回训练集加大权重。这一步能让模型真正学到“看似一致但实际来自不同图像”的高阶差异，比单纯随机采样效果提升明显。

3.4 损失函数与训练策略

训练使用二元交叉熵损失。网络输出的就是“来自同一图像”的概率，直接通过最小化对数损失来优化。

我复现时的经验是：使用预训练主干比从头开始训练收敛更快，最终得到的一致性分数也更稳定。原因不难理解，预训练网络已经具备了较强的低级纹理和中级形状特征，需要学习的只是“这一对特征在关系上是否自洽”这个抽象判断，任务难度大幅下降。

训练时的一个细节是，batch size不能太小，论文实验和我的实践都表明在256左右比较合适。学习率用Adam的默认初始值，配合余弦退火，大概训练三到五个周期就能在验证集上看到足够好的区分度。

4. 推理阶段：从“成对判断”到“篡改区域热图”

4.1 测试时的朴素想法及其局限

拿到一个训练好的判分器之后，最朴素的想法是把测试图像划分成块，然后逐对判断。但一幅512x512的图像如果按64的步长划分，大约有64个位置，两两比较会产生两千多个样本，计算量还能忍受。到了高分辨率真实场景，比如新闻原图两千万像素，这个量就失控了。

更关键的是，两两比较得到的是一个“成对相似度矩阵”，如何把矩阵转化成可解释的区域掩码，需要一个更聪明的聚合方式。

4.2 一致性热图的生成

论文的做法是：对图像中每个位置，都让它与邻域内若干位置计算一致性分数，然后对邻域分数取平均，得到该位置的“自洽度”。自洽度越低，代表这个位置与周围环境越不协调，被拼接进来的概率越高。

我把这个流程整理成了可复现的步骤：

1. 设定patch尺寸为96、滑动步长为32，把测试图像切成交叠的网格
2. 对每个候选位置i，取中心patch，与邻域窗口内（比如5x5网格）的所有其他patch输入孪生网络
3. 计算平均一致性分数并取反，得到位置i的异常敏感度
4. 输出一张低分辨率的异常热图，再双线性上采样回原图尺寸

4.3 全局与局部比较怎么选

如果邻域窗口选得太小，异常热图会变得支离破碎，大面积拼接区域的内部因为没有接触宿主区域，自洽度反而可能很高，形成“空心”现象。

如果对全图所有位置做平均，能保证拼接区域的整体凹陷，但对小面积篡改的敏感度会下降。

我的处理办法是同时计算局部邻域一致性和全局一致性，再做一个加权融合。权重可以结合图像尺寸调整，一般各取0.5效果就不错。这样可以兼顾小面积拼接的响应和大面积拼接的整体性。

4.4 后处理细节与效率控制

原始热图分辨率低于原图，上采样之后直接做阈值分割经常会有零散假阳性点。我习惯的做法是先做高斯平滑，再做形态学开运算去除小孤立点，最后根据面积阈值过滤过小区域。

如果追求更精细的边界，可以把这个低分辨率的热图作为引导，在边界附近做局部全分辨率patch采样，再对边界像素做二次判断。这个方法虽然额外消耗时间，但边界精度能提高一个档次。

性能方面，一张中等尺寸图像在单卡上的推理耗时大约是数秒到十几秒，瓶颈在邻域比较的数量。把邻域窗口从5x5缩小到3x3，速度可以提升一倍，精度损失通常非常小。

5. 实验验证与边界条件：它能检测什么，又会败给什么

5.1 评测数据集与指标

论文在公开的图像拼接数据集上做评测，主要使用两类数据：

• Columbia拼接数据集：包含上百组真实拼接图像对，且提供拼接掩码，适合做像素级定位评估
• CASIA系列数据集：覆盖包括拼接在内的多种篡改类型，篡改区域通常来自同一来源或素材库，挑战性更高

常用的评价指标包括像素级IoU、精确率与召回率、以及更贴近实际取证场景的区域级检测率。需要注意的是，这些数据集的版本不同、裁剪和压缩预处理不同，结果会有些浮动，对比方法时最好统一协议。

5.2 我在复现中的实际观察

论文选择了一个很有挑战性的实验设置：训练过程完全不接触任何篡改图像，只用自然图像库学习自洽性，测试时直接面对拼接样本。在这种“零篡改样本训练”的条件下，它仍然能够在公开数据集上取得与一些需要真实篡改数据训练的监督方法相当甚至更好的定位效果。

我自己的复现实验也验证了这个结论。对经过重新压缩的拼接图像，传统JPEG双量化检测几乎失效，而自洽性方法的异常热图仍然能明显区分出拼接区域。压到70%质量的JPEG重压缩，对这种方法的影响远小于对传统方法的影响。

5.3 边界条件与失败模式

自洽性方法也有它天然的弱点，这些边界条件很重要：

• 平坦区域的拼接很难检测。天空、白墙这类区域本身缺少纹理细节，任何图像的天空patch都可能与任何图像的宿主区域高度一致，信号会被淹没
• 拼接面积过小时，patch采样很难覆盖到足够的“不一致”上下文，容易被当成噪声忽略
• 拼接内容与宿主场景在内容上高度相关（比如都是草地、都是皮肤区域）时，自洽性强度降低
• 图像经历重度后处理，比如强高斯模糊加噪声注入，特征被破坏，方法会退化

理解这些失败模式，比记住它的优势更重要。任何单一取证方法都不可能在所有条件下可靠，关键是要知道它在什么时候值得信任、什么时候必须调用其他证据链。

6. 复现笔记与延伸思考：动手跑通之前，你需要知道的

6.1 参数选择的经验

下面这组参数是我在多个自然图像库上调出来的折中值，可以作为起点：

6.2 常见的坑与排除思路

我复现时遇到的第一个坑是训练数据泄漏。从同一个图像库中采样正负样本时，如果库本身包含大量连拍图或者同一场景的多个帧，正样本对很容易落到“同一场景但出自不同图像”的组合上，模型学到的一致性概念会偏向“同景即同图”，测试时问题很大。解决方法是加入近似去重，剔除库中视觉上重复的图像。

第二个坑是热图阈值的选择。开箱用0.5阈值经常高估区域，因为实际拼接区域的平均异常分数往往在0.3到0.5之间浮动。更好的做法是在一个小验证集上统计异常分数的分布，计算ROC曲线再取约登指数对应的阈值。

第三个坑是当图像尺寸过大时，GPU显存会被邻域比较的中间特征撑爆。我的规避方式是把大图切块推理，每个块之间保留重叠区，最后再拼回热图，重叠区取平均。这比直接限制最大分辨率更实用。

6.3 这个方法在后来的演进

自洽性的基本思想在后来的工作里不断被复用和增强，大致沿着两个方向发展：

• 把一致性函数从孪生网络升级为更复杂的架构，在全局和局部特征交互上做文章
• 将自洽性与其他取证线索（传感器噪声、边缘连续性、EXIF一致性）进行多模态融合，形成多证据决策

另外，在AIGC图像检测这个新场景里，“局部-全局关系是否合理”的思想也在换一种方式延续。本质上，无论是拼接检测还是生成图像检测，都是在判断一块内容与整体环境的关系是否站得住脚。

6.4 落地应用时的一点建议

如果你在一套内容审核流程里集成这个方法，建议把它放在第一道粗筛位置，输出的异常热图用来做“可疑图片”排序，而不是直接下结论。热图分数偏高的图片再叠加其他取证工具做交叉验证，效率和误判率都会比单一方法好很多。

我在实际使用中体会到，这类自监督学到的一致性信号，一个很大的优点是它不需要针对特定篡改类型做规则适配，换领域、换设备、换拍摄环境，它的判断基础仍然成立。这是它作为通用取证前置模块最大的价值。

另外还有一个小的实操提醒：取证场景里要保持原始图像不被重压缩，如果流程里存在预览缩略图、水印覆盖、转码等操作，最好在检测链路里保留一份原始副本。这个细节听起来简单，却能让自洽性检测的稳定性和精度明显不同。