对抗训练为何频现认知冲突？纤维丛与拓扑学给出新视角

递归对抗拓扑学这个说法，乍一听像是把三个不相干的词硬凑在一起：递归对抗、拓扑学、认知冲突。直到我在复现一个对抗训练实验时，被一个现象反复折腾，才发现它们其实是同一件事的三个侧面。模型在应对迭代攻击时，认知状态会产生一种系统的、有方向的漂移。这种漂移的结构，用纤维丛上的规范理论来描述，意外地贴切。

事情是这样的：我跑了一个标准的图像分类对抗训练流程，第一轮用固定步数的攻击去测试防御后的模型，成功率不到三成。但神奇的是，我拿着上一轮生成的对抗样本作为下一轮攻击的初始点，攻击成功率一下子蹿到了八成上下。模型参数在这两轮之间只更新了一次，攻击结果却发生了剧烈变化。这个现象让我意识到，对抗样本不是散落在输入空间里的孤立“盲点”，它们更像是在模型中沿着某个通道流动的产物。这套通道是有几何结构的，而结构最顺手的刻画方式，就是纤维丛。

下面我把这段时间整理的思考框架完整写出来。这个东西不是一个严格的数学建模，更多是我用来指导实验的思考脚手架。它能不能成为可发表的严谨理论，我现在也说不好，但里面有些推论确实帮我在做对抗鲁棒性实验时少走了不少弯路。

1. 从对抗样本说起：为什么“认知冲突”不是误差而是结构

1.1 我在实验中反复看到的“主场优势”

先讲一个我踩了很多次才正视的现象：白盒攻击下的模型表现，和黑盒攻击下的模型表现，差距大得离谱。

同样是训练好的模型，白盒攻击（攻击者能看到梯度）第一次跑就能把准确率打到百分之十几；换成黑盒攻击（攻击者只能通过查询结果来猜），成功率经常只有三成左右。我一开始以为这是正常的，毕竟白盒拿到了全部信息。但后来我仔细看攻击日志，发现一个更有意思的细节：白盒攻击找到的那些成功样本，在输入空间里往往集中在一条狭窄的“走廊”上——它们的扰动方向高度一致，但扰动幅度差异很大。

这就说明一件事：模型对扰动的敏感度不是均匀分布的，而是具有方向性、局部性的。某些方向上，模型脆弱得一碰就碎；另一些方向上，你怎么扰动它都稳如泰山。这种不均匀性没法用“模型不够鲁棒”一句带过，它更像是一种结构性特征：在特定方向存在一条“认知通道”，顺着通道走，不需要走多远就能让模型发生认知翻转。

在这个意义上，对抗样本不是模型的随机bug，而是模型的几何结构决定的必然产物。理解这种结构，比单纯堆防御算法更有价值。

1.2 认知冲突的三重含义：博弈、表征漂移与决策翻转

我说的“认知冲突”，不只是攻击者成功让模型答错这么简单。深入拆开看，它其实同时包含三个层面。

第一层是博弈层面的冲突。攻击者和防御者轮流出手：防御者更新参数想让模型更稳，攻击者重新生成扰动想找到新漏洞。这个过程是递归的、对抗的，一轮的结果直接影响下一轮的起点。这个层面和博弈论里说的“策略迭代”是同一件事。

第二层是表征层面的冲突。输入图像只被修改了十几个像素的幅度，人类看起来几乎无差别，但模型中间层的特征向量可能已经漂移了一大截。我在实验里统计过，成功攻击样本在中间层特征空间中的位移，比失败攻击样本平均高出三到五倍。

第三层是决策层面的冲突。这是最表象的：分类器输出的类别被彻底翻转，从“猫”跳到“狗”，从“安全”跳到“风险”。很多人只盯着一层，而我越来越觉得，这三层冲突是在同一根链条上依次传导的。递归对抗过程不断制造新的扰动，扰动在表征层被放大，最终在决策层爆发。

1.3 拓扑学为什么适合描述这种冲突

如果认知冲突真的是一种“结构”，那我们需要一种能刻画结构的数学语言。拓扑学恰好是这么一门学科：它研究的是在连续形变下保持不变的性质，比如“连通性”“孔洞数量”“边界在哪”。

把分类器看成一个把输入映射到类别的连续函数，那么决策边界就是函数值发生跳跃的地方。在干净数据上，决策边界可能看起来很规整；但一旦考虑数据流形的整体形状，边界就不一定“拓扑干净”了。真正有意思的是这个：如果某个类别的决策区域在特征空间中围出了一个洞，那么从洞内走到洞外，必然会穿过边界。如果模型想把这个洞堵上，它需要改变的不只是局部参数，而是整个区域的拓扑连接关系。

对抗扰动之所以能成功，很多时候不是因为它打破了某个几何性质，而是因为它利用了“洞”的存在：一点微小的移动，就让样本从洞内被推到了洞外。这种跨域翻转的本质是拓扑事件，不是普通的数值误差。

2. 纤维丛的几个核心概念：底空间、纤维、结构群和联络

要理解“认知冲突作为纤维丛上的规范理论”，得先搞明白纤维丛到底是什么。别被名字吓到，我用最土的方式来拆。

2.1 用书页直观理解“底空间+纤维”

我脑子里理解纤维丛的方式，永远是一本书。

书的每一张纸，在某个固定的“页码位置”上展开。整本书的“书脊”是一条线，每一个位置代表一个数据点；每一页纸，就是固定在该数据点上所有可能认知状态的集合。书脊上的不同位置，对应不同的数据点；同一张纸上的不同点，对应同一个数据点在不同参数、不同变换下的不同表征。

在数学语言里，书脊那条线叫底空间，每一页纸叫纤维。整本书就是“底空间+所有纤维”构成的纤维丛。

为什么要这么拆？因为我们的模型不是一个从输入到输出的简单函数，它中间要经过很多层变换，已知的输入x、模型参数θ、中间特征h三者之间是纠缠在一起的。不同的θ组合，在同一输入x下会得到不同的h。这种“同一输入、多份可能表征”的结构，天然就是一个纤维丛。

2.2 局部看是纸片，整体看可能带扭转

纤维丛有个关键性质叫“局部平凡”：从任何一个局部小区域看，它都和“底空间×纤维”的简单乘积没有区别。在任何一个输入点附近，我们都可以把数据空间和特征空间分开来看，感觉不到任何异常。

但整体上，这个结构可能是扭转的。最经典的例子是扭转纸带：把它在局部剪开一小段，看起来就是普通纸条；但如果你沿着纸带的中线走一圈，你会发现纸带其实翻转了一百八十度，你回不到“同一侧”。这就是整体扭转带来的非平凡效应。

神经网络里的非线性激活、跨层连接、注意力加权，在某种程度上都像这种“扭转后再粘起来”的操作。它们把不同位置的纤维以非平凡的方式连接起来，让特征空间不再是一个平平整整的乘积空间。对抗扰动顺着扭转的方向走，可能在走完一个小闭环之后，让模型的状态无法回到原点。这个“回不来”的程度，就是后面要说的曲率。

2.3 结构群：允许哪些坐标变换

纤维丛上还站着一个“管理员”，叫结构群。它规定了在不同纤维之间做坐标系变换时，允许使用哪些变换。

想象每个数据点上的纤维，都有一套自己的坐标系。当你从一本书的一页挪到另一页时，坐标系之间需要有一个对应规则，这个规则不能随便定，得受限于结构群。如果结构群是旋转群，那么你的坐标只能旋转，不能拉伸；如果结构群是一般线性群，那你可以做任何可逆的线性变换。

把目光挪回神经网络：数据增强（旋转、平移、缩放、颜色抖动）实际上就是在输入空间上实施某些变换。这些变换映射到特征空间之后，会在每一根纤维上诱导出一个局部的坐标重排。如果模型对某种变换天然不敏感，那说明它的特征表示在这个变换群下具有很好的不变性。反过来，对抗攻击找到的扰动，往往不属于任何常见的变换群——它是一股“非对称”的力量，正好打在结构群的盲区上。

2.4 联络：不同纤维之间怎么“平行移动”

纤维丛只描述了一个数据点和它的认知状态集。要从一个数据点走到另一个数据点，比如从x走到x+δ，我们需要一个规则，规定“x处的特征h如何迁移到x+δ处的特征h'”。这个规则在微分几何里叫联络。

在神经网络里，计算图本身就定义了一套联络：给定输入x和参数θ，前向传播就是沿着计算图把信息从输入层一路平移到输出层。反向传播则定义了另一个方向的联络：损失函数关于参数的梯度，描述的是当参数θ移动一个微小量时，整个特征映射对输入x的一阶响应如何变化。

对抗攻击里的扰动方向δ，本质上就是在输入空间里选了一个切向量。这个切向量沿着联络方向做“平行移动”，把数据点从一个位置搬到另一个位置，再把该处的特征和原处的特征做比较。攻击的成功与否，很大程度上取决于你选的这条“平行移动路径”上有没有大的几何弯曲。

2.5 曲率：绕一圈回不来，冲突就爆发了

说了半天，曲率到底是啥？直观说，曲率告诉我们“平行移动绕一个闭环之后，状态能不能保持一致”。

假设我们让输入沿着一条小路径δ走到x+δ，再沿着另一条小路径δ'走到x+δ+δ'，然后返回。如果整个结构是平坦的，走完一圈之后，特征状态应该回到原来的位置。但在弯曲的结构里，走完一圈之后，特征状态会偏出一截。这个偏出量就正比于局部的曲率。

放到对抗场景里，我把“x → x+δ → x+δ+δ' → x+δ' → x”这个闭环称为对抗回路。如果模型在这个回路上的特征变化很大，说明该处曲率很大。只要攻击者能找到曲率大的区域，就能用很小的扰动制造很大的认知冲突。曲率是认知冲突背后的“放大器”。

3. 把认知空间替换成纤维丛：我的一套形式化框架

前面铺垫了这么多，现在说说我自己是怎么把这个框架落到实处的。这不是严格的数学公理化，但能落进代码和实验设计。

3.1 底空间选什么：特征流形而不是像素空间

刚开始我试图把所有图像像素直接当作底空间，很快就发现不对劲。像素空间动辄上万维，绝大多数方向对语义毫无意义，而且“哪两个像素点算相邻”这个问题本身就模糊。

后来我换了一个选择：底空间用模型中间特征流形M，即所有可能输入经过特征提取器之后落到的集合。形式化地说，M = { h | h = f_θ(x), x ∈ X }。认知冲突发生在特征层面，而不是原始像素层面。两个像素几乎一样的样本，可能在特征空间相距很远；两个像素差异很大的样本，反而可能在特征空间纠缠在一起。用特征流形做底空间，才能捕捉到语义级别的变化。

3.2 纤维的构造：同一输入在所有可能参数下的表征副本

确定了底空间之后，纤维就好定义了。在每个数据点x对应的底空间点h₀上，我定义纤维为：所有能够在同一输入x下产生的、随参数θ变化而变化的特征向量集合，即F₀ = { f_θ(x) | θ ∈ Θ_x }。

严格来说，Θ_x应该是x附近所有“合理参数”的集合。现实计算根本不可能遍历所有参数，所以我在实际操作中做了一层局部近似：只考虑当前参数θ附近一个小邻域内的参数变化引起的表征变化，用切空间和高阶残差来近似纤维的局部形态。这个近似在实验里够用了，因为对抗扰动本身就是一个小邻域操作。

3.3 对抗扰动看作规范场，攻击强度看作联络的“分量”

下面就是最关键的类比：规范场就是攻击者赖以行动的那个“方向场”。

在纤维丛上，规范场是联系每一根纤维的“连接器”——它告诉你沿着某个底空间方向移动时，纤维里的坐标偏转多少。而在神经网络的输入空间里，攻击者需要的恰恰是这样一种“方向场”：知道往哪个方向挪动输入，才能让特征产生最大的漂移。

最常见的规范场就是损失函数对输入的梯度场：A(x) = ∇_x L(f_θ(x), y)。它给出了在每个输入点处“让模型变笨”的最佳移动方向。范数攻击强度ε相当于限制这个方向场上的“位移步长”。PGD这类迭代攻击，则是反复在更新后的方向上继续走，等于沿着联络不断做平行移动。

如果再引入规范变换的概念——对特征表示做一个可逆变换、预测结果不变——那对抗鲁棒性的几何定义就非常顺滑了：一个模型是鲁棒的，当且仅当它对允许的规范变换具有不变性。对抗扰动恰好是一种“非物理意义”的规范变换，模型对它越敏感，说明它的规范不变性越差。

3.4 递归对抗的收敛性与规范不变性

对抗训练本身是一个递归动态系统。防御方更新模型参数，攻击方调整扰动方向，二者交替进行，最终目标是让模型满足某个不动点条件。

用纤维丛的语言说，这个过程想找一个“度量”，使得在底空间的每个邻域内，任何方向的小平行移动都无法显著改变纤维上的判别响应。如果目标的规范不变性可以达到，那么迭代对抗过程的成功率应该随着攻击步数增加而趋近于一个较低的稳定上限。如果模型不具备这种不变性，那训练过程中就会出现一种“飘移”现象：每次攻击总能找到新的漏洞，上一轮学习到的鲁棒性在下一轮被击穿。这就是我在实验里看到“用上一轮对抗样本做初始点，成功率大幅上升”的几何机制。

3.5 认知冲突强度与曲率的具体度量

理论落到地头，总得有个能算的指标。我给“认知冲突的曲率强度”定义了一个近似可计算的公式，方便在小规模实验里对照：

K(x, δ) = ‖ f_θ(x + δ) − f_θ(x) − J(x)δ ‖² / ‖δ‖⁴

其中J(x)是一阶导数矩阵，分子部分是二阶及更高阶残差。这个K值可以直接反映“在x点朝δ方向移动时，特征空间有多弯”。我在实验中统计一个批量内K的均值和分位数，用它来比对各层的弯曲程度。结果表明，K值大的层和解耦度高的层，往往是对抗攻击效果最明显的层。

4. 四个实验现象在纤维丛框架下的解释

搭建这套框架，不是为了写相声。下面四个现象都是我在实验中确确实实碰到过的，用纤维丛的视角重新解释一遍，视角完全不同。

4.1 为什么白盒攻击比黑盒攻击容易这么多

白盒攻击拿到了梯度信息，等于拿到了这一点的完整“联络向量场”。攻击者知道往哪个方向走，路径最短、效果最好。黑盒攻击就惨了，只能靠查询模型的输出结果来反推梯度，相当于在漆黑的环境里沿着一个局部估计的联络做平行移动。每一次查询的误差都会积累，导致攻击者无法稳定找到曲率最大的方向。

更微妙的是迁移攻击为什么会在不同模型之间生效：不同结构模型在同一点附近的底空间形态是相似的。因为它们学到的是同一个数据流形上的某种语义分割，所以规范场的大致方向也相似。一个模型上找到的“高曲率方向”，在另一个模型上往往也是高曲率方向，于是扰动发生了迁移。

4.2 为什么对抗训练会“牺牲”自然精度

对抗训练的本质，是在每一个训练点的小邻域内强制要求“对任何扰动方向，预测输出都要稳定”。这相当于给底空间上的度量做了一个全局压缩：原本各个区域可以自由弯折，现在被要求尽量平坦。平坦化之后，模型对扰动的敏感性降低，但同时也失去了刻画精细决策边界的能力。

举一个不严谨但很直观的类比：你想让风铃在风吹的时候不响，索性把房间里的空气全部抽掉。空气不流动了，风铃是不响了，但你也感受不到微风了。对抗训练就是在“抽空气”，它牺牲的是模型对干净数据中细微语义差异的敏感度。这种牺牲不是bug，是为平坦化付出的几何代价。

4.3 为什么某些防御会被二次攻击打穿

网上很多临时防御方案，比如对输入做平滑、随机加噪声、去掉梯度等，它们失效的速度比想象中快得多。原因是：这些方法只修改了局部“度量”，没有改变底空间的拓扑结构。攻击者换一条路径，绕开你设置的局部障碍，照样能抵达高曲率区域。

我在实验里专门复现过这种打穿过程。一个加了“输入随机噪声防御”的模型，第一次黑盒攻击成功率只有百分之二十几；但当我以之前失败的对抗样本作为起点，额外加一个微小的平移扰动时，成功率立刻突破了六成。这说明防御者堵住的只是一个局部方向，而攻击者在纤维丛上换了一条平行移动路径。只要曲率还在，换个方向就能到达同样的认知冲突点。

4.4 从规范理论视角看FGSM和PGD的差距

FGSM和PGD是两种最常用的对抗攻击方法。几何上它们差着一个维度。

FGSM在一阶梯度很陡但路径弯曲的地方容易失败：它只看了一眼起点的梯度，但平行移动过程中，方向早就变了。PGD每走一步都重新看一遍局部梯度，相当于沿着弯曲的联络走了一条更贴合曲面的路径，所以它能找到FGSM完全找不到的高曲率攻击点。这也是为什么对抗训练普遍使用PGD而不是FGSM做攻击器：要逼模型在弯曲空间里也能保持稳定，就得用尽量贴合曲面的攻击方式。

5. 从框架到实验：可落地的几个方向

如果读者只是想看理论，上面就够了。但我觉得这套脚手架真正的价值是能指导实验设计。下面几个方向我都试过或者正在试，效果有高有低，但都挺有启发的。

5.1 用“特征空间平行移动”做对抗鲁棒性评测

常规鲁棒性评测只在输入空间加扰动，但从纤维丛视角来看，更本质的测试是在特征空间里“平移”。具体做法：拿到中间层特征h后，在特征空间加一个扰动Δh，再把这个扰动映射回输入空间（或者直接在特征层做梯度反传），观察最终预测的变化。

我在一个图像分类实验上对比了三种扰动方式：输入层扰动、特征层扰动、参数扰动。结果出乎意料但符合理论预期：特征层扰动对中间层的曲率最敏感，只需很小的幅度就能造成决策翻转。这说明如果我们只在输入层做防御，很可能忽略掉了真正的高曲率区域。把评测粒度下沉到特征层，能看到很多输入层评测看不到的问题。

5.2 用曲率引导对抗样本生成

既然曲率是关键，那直接用曲率来挑攻击方向就不是空谈了。我在实验里写过一个简化版本：对每个候选扰动方向，在特征空间中计算前面定义的K值，然后挑选K值最高的方向作为攻击方向，而不是每个梯度方向都去试一遍。

# 伪代码示意：用特征残差估计局部曲率强度 def curvature_score(model, x, delta, layer): # 提取原始特征和扰动后特征 h_clean = model.forward(x, return_layer=layer) h_adv = model.forward(x + delta, return_layer=layer) # 一阶导数矩阵与扰动方向的内积 grad_h = compute_gradient_of_features(h_clean, x) first_order = grad_h @ delta # 残差部分：二阶及高阶效应 residual = h_adv - h_clean - first_order # 归一化：扰动幅度平方 return norm(residual) / (norm(delta) ** 2)

这里的关键点是：一阶梯度只告诉你哪个方向坡度猛，不能告诉你哪个方向在“拐弯”。增加残差项之后，能识别出那些坡度不大但几何弯曲大的隐藏通道，而这些通道往往才是对抗攻击真正使用的路径。实际工程中我不会真的计算完整的一阶导数矩阵，而是用VJP（向量-雅可比积）或者自动微分的随机估计来近似。

5.3 用“规范对称增强”改善数据增强

数据增强是日常训练里最常用的正则手段。但标准数据增强只是盲目的在输入空间做变换，没有在特征空间同步约束。从规范理论的角度，更好的做法是：对每个输入x施加一个变换t后，同时要求特征表示在期望的变换Φ_t下保持一致。

# 伪代码示意：特征层面的规范一致性正则损失 # Φ_t 是变换 t 下预期诱导的特征变换 loss = ce_loss(model(x), y) + lam * \ norm(model(t(x)) - phi_t(model(x)), p=2) ** 2

我在一次消融实验里发现，加上这项正则之后，模型在亮度抖动和旋转变换下的鲁棒性有明显的提升。这不是巧合：它相当于要求模型对一组特定规范变换保持不变，在纤维丛上等于局部选择了一组相容的坐标系。这个思路后续可以扩展成任意可微变换族，潜力不小。

5.4 一个最小化验证实验设计

如果你也想验证这套视角，我建议从小规模开始，不要在太大的网络上跑，否则调参成本会淹没一切。

实验设计如下：用一个小型卷积网络加一个图像分类数据集。训练三种模型：

• 方案A：普通交叉熵训练；
• 方案B：输入层PGD对抗训练（固定少步数）；
• 方案C：特征层扰动 + 曲率正则训练（按上述K值做正则）。

评价指标四件套：干净样本准确率、白盒攻击成功率、黑盒攻击迁移率、中间层特征在扰动前后的余弦相似度。

我预跑过这个实验的雏形。方案B的白盒鲁棒性最好，但干净准确率掉得多，特征余弦相似度提升一点；方案C干净准确率掉得少，特征稳定性和黑盒迁移率都比纯PGD对抗训练好。这给我一个很实际的指引：下一步防御算法的重点，不应该只在输入空间堵点，而要在特征空间的几何层面做文章。

6. 这个框架的边界与常见误区

把这套东西讲出去，确实会有同行觉得“你就在套名词”。这个质疑有一定道理，我先把边界画清楚，省得大家踩坑。

6.1 数学比喻与严格证明的距离

纤维丛是一个高度结构化的数学对象，有光滑流形、有联络、有截面、有结构群。神经网络虽然也是映射，但ReLU激活引入了大量不可导点，模型参数空间也不是流形，更不用说“认知空间”的规范结构目前没有任何直接实验证据。所以这里的纤维丛只是一种类比。它能给你直觉，但推导不出定理。

我在内部文档里写这套框架时，会特意标注“借喻”。如果你要拿它去发论文，必须把每一处映射都用严格的构造定义出来，否则审稿人会立刻挑出这些经不起推敲的地方。事实上我也并不打算把它包装成严格理论——它的价值在于帮我设计实验。

6.2 高维空间中的几何直觉经常骗人

在一维、二维、三维空间里长大的我们，对“弯曲”有很强烈直觉：一个曲面弯不弯，肉眼可见。但几千维空间里，曲率可以在几十个方向高度集中，在绝大多数方向完全平坦。这种“方向分布极端不均匀”的现象，在低维空间里很难直觉化。

这就解释了为什么“看起来就是噪声”的扰动，能让模型发生巨大的判断翻转：它正好走在高维空间中几个曲率集中的方向之一。这个方向在人类视觉里没有任何语义信息，但在模型的纤维丛结构上，是一段高度弯曲的快速通道。以后在讨论对抗样本时，尽量抛弃“视觉上像不像”的直觉，多关注“方向敏感性”。

6.3 二阶信息的计算代价

曲率计算本质上是二阶信息，代价极高。直接算完整的Hessian或者一阶导数矩阵，在小模型上可行，大模型上直接爆炸。我做实验时采用了三种近似的折衷方案：

• 只用最后一层或者倒数第二层的特征计算K值，维度可控；
• 用多方向有限差分估算残差，不显式求导；
• 用随机Hessian向量积估计曲率的矩阵迹，作为每层的“总体曲率”指标。

在资源有限的前提下，第三种方案效果尚可，但噪声较大，需要多跑几个随机种子取平均。如果刚起步，我的建议是先只对最后一层特征做曲率正则，改动最小，起效最快。不要一开始就想着在网络所有层上曲率正则化，那会直接把训练搞崩。

6.4 什么时候这套视角帮不上忙

这套框架并不万能，至少三种情况我适用得很吃力。

第一种是纯离散输入场景。比如分类固定长度的离散串，输入空间完全没有局部连续性，扰动定义和纤维丛结构几乎无法搭边。第二种是模型容量过低的极端情况，决策边界本身缺乏足够几何复杂度，谈曲率没有意义。第三种是对鲁棒性没有要求的任务，花一大堆资源去平坦化底流形，只会白白牺牲自然精度。

我自己的原则很简单：只有在连续数据域、模型足够大、且任务确实对局部扰动敏感时，才值得用纤维丛视角来做防御设计。

最后说一点个人体会。我并不会把“纤维丛”三个字直接写进所有实验报告的标题，因为那会把注意力从实验本身挪开。但它确实让我在设计对抗实验时多了一种思考方式：不再只盯着输入空间的某个扰动点，而去追问特征空间的整体几何形态。如果你也在做对抗鲁棒性相关的工作，最简单的上手方式是先观察一个指标——把翻转样本的特征余弦相似度画出来，看看它们是不是周期性波动。如果是，说明这个模型存在明显的“认知通道”，你的下一步防御方向，应该放在切断这些通道上。