CurveMoE：基于模式连通的多范数对抗防御方案深度解读

分享一套 Robust CurveMoE 的深度解读与防御方案思路，覆盖多范数对抗、模式连通与混合专家模型落地

最近在复盘混合专家模型（Mixture-of-Experts, MoE）的安全性时，发现一个很有意思的攻防方向：传统对抗训练大多在单范数约束下进行，一旦攻击方切换 L_inf、L2 甚至 L1 扰动策略，模型的鲁棒性就会明显跳水。而“Multi-Norm Adversarial Defense for Mixture-of-Experts Models via Mode Connectivity”这个思路，恰好把“多范数联合防御”和“模式连通（Mode Connectivity）”拧在了一起，给出了一条更贴近工程落地的防御路径。

这篇文章不会停留在论文摘要翻译层面，而是会把核心概念拆开揉碎，从 MoE 的对抗脆弱点、模式连通的数学动机，到 CurveMoE 的整体设计逻辑、训练流程、PyTorch 概念实现以及常见坑点，一并梳理清楚。无论你是做 NLP 大模型微调，还是做视觉 Transformer 安全加固，这篇笔记都值得收藏备用。

1. 背景与核心概念

1.1 先解决一个反直觉的问题：为什么 MoE 比稠密模型更容易被攻击？

混合专家模型（MoE）的核心在于“稀疏激活”：一个输入进来，路由器（Router）只唤醒一小部分专家网络，比如 64 个专家里只激活 2 到 4 个。这种设计带来了巨大的算力优势和参数扩展能力，像是 Switch Transformers、Mixtral、GShard 等主流架构里都能看到它的身影。

但“稀疏激活”也带来了一个安全上的副作用——中间的特征表示被切碎了。

传统稠密模型只有一个主干，输入经过层层非线性变换，梯度信息和特征分布相对连续。而 MoE 里的路由器相当于一个离散的门控函数，它会根据输入内容动态切换专家组合。这就导致：

• 对抗扰动只需让输入稍微越过路由决策的边界，就可能触发完全不同的专家组合，造成输出的突变；
• 路由模块本身的特征空间并不平滑，路由器面对对抗样本时，可能会选择垃圾专家，或者把特征映射到语义完全不匹配的专家上；
• 更麻烦的是，路由器在反向传播时本身就存在梯度不平滑的问题，加上扰动，误差信号会被进一步放大。

所以在对抗鲁棒性上，MoE 本质上是把一个相对连续的稠密模型，变成了一个离散切换的混合系统，而离散系统天生就更容易被边界干扰穿透。

1.2 多范数对抗攻击意味着什么

传统对抗训练里，最常见的约束条件是 L_inf 范数，认为攻击者只能对每个像素或每个 token 做微小修改，比如限制在 epsilon 等于 8/255 的范围内。但现实中的攻击者并不都遵守 L_inf 规则：

• L_inf 攻击：对每个特征维度同时做细微改动，常用于 FGSM、PGD 这类经典攻击；
• L2 攻击：总扰动能量受限，但允许对少量维度做较大幅度的修改，优点是更难被肉眼察觉；
• L1 攻击：只修改少量特征维度，但修改幅度可以非常大，尤其适合攻击高维稀疏数据，比如文本嵌入或稀疏特征。

如果你只在 L_inf 约束下做防御，模型对 L2 和 L1 扰动就可能没有任何抵抗力。一个在 CIFAR-10 上能扛住 L_inf PGD 攻击的模型，遇到 L2 攻击时准确率可能直接掉 40 个百分点。这就是“多范数鲁棒性”问题的出发点：要在多个攻击范数下同时保持模型稳定，而不是只针对某一种攻击。

换句话说，单范数鲁棒意味着在单个高维球内找到安全的平静区域，而多范数鲁棒要求在 L1、L2、L_inf 这三种几何结构完全不同的球体的“并集”内都保持稳定的输出。这个并集的几何形状非常崎岖，传统的单一平滑约束很难覆盖。

1.3 模式连通给了我们什么启发

在深度学习的经验风险曲面（Empirical Loss Landscape）中，存在一个有趣的现象：训练收敛到的不同高精度解（称为“Mode”），在参数空间中往往不是被高误差区域隔开的，而是可以被一条低损失路径连通起来。这条路径就叫做模式连通路径。

之前的研究（比如 AdaBasis、Model Fusion 相关的论文）发现，在同一个任务上训练出的若干个模型权重，它们之间做简单的线性插值，损失并不会立刻飙升，反而在很多情况下会保持一个平滑的下滑曲线。更极端的说法是：如果一个网络足够宽，那么随机初始化下训练出来的解之间，大概率存在一个平坦的连通带。

这给对抗训练带来了新思路：

• 鲁棒模型与普通模型之间，可能存在低损失路径；
• 如果我们沿着这条路径去“移动”或“融合”多个模型的权重，也许可以同时吸收不同专家在不同扰动范数下的优势；
• 对抗训练的目标，可以不再是只寻找单一全局最小点，而是在损失曲面的“山谷”中建立一条抗扰动走廊。

这条走廊的学名就叫做“鲁棒模式连通路径”。CurveMoE 就是把这个思路引入 MoE 模型：通过一条“曲线”（而不是直线）来连接不同专家在不同范数防御下的参数状态，然后让 MoE 的门控在新的曲线空间里重新分配专家权重，最终得到一种更平滑、更抗多范数攻击的混合模型。

这个概念需要我们区分清楚：它不是在损失景观里找一个点，而是在找一条路径，并在路径上布置多个“栖息点”，让模型沿着路径流动，从而平滑地处理攻击者施加的不同范数扰动。

2. 环境准备与版本说明

如果你打算实际复现 CurveMoE 这类思路，推荐至少准备以下环境。版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。

• 操作系统：Ubuntu 20.04 或 22.04（Windows 也可，但多范数攻击库兼容性略有差异）；
• Python 版本：3.8 或 3.10；
• 深度学习框架：PyTorch 2.x（涉及高阶梯度，建议版本较新）；
• 攻击库：torchattacks（集成了 FGSM、PGD、CW、AutoAttack 等常见攻击）；
• 视觉模型库：torchvision（用于 ResNet、ViT 等主干网络）；
• 其他依赖：numpy、scipy（用于 L1/L2 几何约束）、matplotlib（可视化攻击结果）、tensorboard。

注意：MoE 模型的参数量较大，如果是本地实验，建议先把主干模型缩到 ViT-Tiny 或 ResNet-18 级别，专家数量在 4 到 8 个左右。超大规模 MoE 训练对显存和通信开销的要求极高，不是单卡实验能轻易吃得下的。

下面是一个典型的环境检查脚本：

# 查看 CUDA 版本 nvcc --version # 查看 PyTorch 是否能检测到 GPU python -c "import torch; print(torch.__version__, torch.cuda.is_available())" # 安装 torchattacks（注意它只对 PyTorch 生效） pip install torchattacks

一般来说，只要能正常加载 CIFAR-10 数据集并跑通一个 PGD 攻击，你的环境就算达标了。

3. 模式连通与鲁棒曲线的数学直觉

3.1 从“权重插值”到“曲线连通”

如果你有两个训练好的模型权重 theta_a 和 theta_b，最简单的连通方式是线性插值：

theta(t) = (1 - t) * theta_a + t * theta_b， 其中 t 属于 [0, 1]

但真实情况下，线性路径上的损失经常会在中间段突然飙升，因为两个解之间可能隔着“准确率屏障”。而在网络宽度够大或者训练时添加了某些正则之后，这个屏障会消失，线性插值也有效。

CurveMoE 的核心思想之一，是改用二次 Bezier 曲线来做连通。Bezier 曲线引入了一个额外的控制点 theta_c：

theta(t) = (1 - t)^2 * theta_a + 2 * t * (1 - t) * theta_c + t^2 * theta_b

控制点 theta_c 可以是一个待训练的参数，也可以是两个端点的加权组合。通过训练控制点，我们可以在损失曲面上找到一条“绕过高墙”的路径，而不是硬刚中间的高误差屏障。

这条路径有多重要？它决定了你在融合不同专家、不同范数防御模型时，是否会把“防御 A 的漏洞”和“防御 B 的漏洞”同时继承下来。一个好的曲线路径，应该做到的是“漏洞不叠加，优势互补”。

3.2 多范数防御如何融入曲线构造

在 CurveMoE 的设定里，alpha 和 beta 两个端点的模型分别代表两种极端防御：

• 端点 A：一个训练时只针对 L_inf PGD 攻击做了特化防御的模型；
• 端点 B：一个训练时只针对 L2 PGD 攻击做了特化防御的模型；

注意，这两个模型在各自的任务上（各自的范数攻击下）都表现优异，但在对方的攻击面下表现很差。我们希望通过曲线路径，找到这条路径中某个合适的 t 值，使得中间模型的权重同时具备端点 A 对 L_inf 的免疫力，以及端点 B 对 L2 的免疫力。

传统做法是直接把两个模型加权平均，但这种平均往往导致中间的模型恢复对两种攻击的脆弱性。而曲线路径因为经过了控制点调优，使得参数更新过程沿着“鲁棒模式连通”的方向走，从而避免了灾难性融合。

3.3 为什么叫 Multi-Norm 而不是 Multi-Attack

这里要区分“多攻击算法”和“多范数约束”：

• 多攻击算法：如用 FGSM、PGD、CW 轮流攻击模型；
• 多范数约束：如攻击限制分别为 L1、L2、L_inf，这是几何层面的差异。

单范数约束下训练，防御能力通常会被该范数特定的几何形态给“锚定”。例如 L_inf 约束只关心无穷范数球体内的样本变化，L2 约束在乎整体能量，L1 约束在乎稀疏维度。CurveMoE 的目标是在同一份训练流程里，同时满足多种几何约束，让模型不只是对某个攻击库有效。

所以它的训练损失项里，不是简单地把多种攻击模型的对抗损失加起来。它要构造的是一个“多范数联合对抗风险”的优化上界。常见的做法是，在训练时对 L1、L2、L_inf 三种范数的扰动分别生成对抗样本，再统一使用一种多范数混合的权重聚合策略，而不是让它们互相干扰。

4. 完整实战案例：生成式对抗训练流程

下面我们用一个简化但完整的 PyTorch 示例，来演示 Curved MoE 风格的多范数对抗训练流程。这个示例不采用真实论文的完整网络结构（因为原论文的细节未必完全公开），但足以展示“曲线连通 + MoE 门控 + 多范数生成”的三个核心范式在工程上是如何互相咬合的。

4.1 创建项目结构

建议建立以下文件结构：

curve_moe_demo/ ├── datasets.py # 加载数据集，定义多范数扰动生成器 ├── model_zoo.py # 定义 MoE 基础模型和 CurveMoE 聚合器 ├── train_curve.py # 主训练脚本，负责曲线连接和多范数约束 ├── attack_eval.py # 评估脚本，分别测试 L1、L2、L_inf 攻击下的表现 └── config.py # 超参与路径配置

4.2 定义基础 MoE 模型

我们先写一个简单的 MoE 分类器。为了简洁，把 MoE 结构限制在“一个路由器 + 四个专家”上，每个专家是一个小型的全连接网络。

# 文件路径：curve_moe_demo/model_zoo.py import torch import torch.nn as nn import torch.nn.functional as F class Expert(nn.Module): def __init__(self, dim_in, dim_hidden, dim_out): super().__init__() self.net = nn.Sequential( nn.Linear(dim_in, dim_hidden), nn.ReLU(), nn.Linear(dim_hidden, dim_out) ) def forward(self, x): return self.net(x) class BaseMoE(nn.Module): def __init__(self, dim_in=784, dim_hidden=256, num_experts=4, num_classes=10): super().__init__() self.num_experts = num_experts self.experts = nn.ModuleList([ Expert(dim_in, dim_hidden, num_classes) for _ in range(num_experts) ]) # 路由器：输入一个特征向量，输出每个专家的权重 self.router = nn.Linear(dim_in, num_experts) def forward(self, x): # 展平输入，x 形状为 (B, 1, 28, 28) x_flat = x.view(x.size(0), -1) # 计算路由权重，加一个温度参数控制稀疏性 logits = self.router(x_flat) / 0.8 routing_weights = F.softmax(logits, dim=-1) # 每个专家的输出 expert_outputs = torch.stack([ expert(x_flat) for expert in self.experts ], dim=1) # (B, num_experts, num_classes) # 按权重加权求和 output = torch.einsum('be,bec->bc', routing_weights, expert_outputs) return output

解释一下这段代码的作用：

• Expert是一个两层全连接网络，负责完成分类预测；
• BaseMoE里有一个router线性层，它把输入映射到专家数量维度的 logits，再用 softmax 得到归一化权重；
• 最终输出是所有专家输出的加权和。注意这里的每个专家接收的是整张图片的展平向量，所以本质上是“在特征空间做集成”。

这个简单的结构为后续曲线连通打下了基础，因为它有明确的“参数向量”可以插值——我们只需要提取所有专家的网络参数和路由器参数，然后对其进行权重插值即可。

4.3 实现曲线连通与 CurveMoE 聚合器

现在写一个 CurveMoE 聚合器，它持有两个端点模型（Endpoint A 和 Endpoint B）以及一个可训练的控制点（Control Point）。训练过程中，它会沿着二次 Bezier 曲线随机采样 t 值，对三组参数进行插值，并生成一个临时的“混合模型”。

# 文件路径：curve_moe_demo/model_zoo.py import copy class CurveMoE(nn.Module): def __init__(self, base_model_a, base_model_b): super().__init__() # 端点模型：一个是 L_inf 特化防御，一个是 L2 特化防御 self.model_a = base_model_a self.model_b = base_model_b # 控制点模型，其参数结构与端点完全一致 self.control = copy.deepcopy(base_model_a) # 初始化控制点为两个端点的均值，让曲线初始退化为线性插值 for pa, pb, pc in zip(self.model_a.parameters(), self.model_b.parameters(), self.control.parameters()): pc.data.copy_((pa.data + pb.data) / 2.0) def get_curve_weights(self, t): # 返回一个参数生成器，用于根据曲线权重构建临时模型 def interpolate_module(module_a, module_b, module_c): return { k: ((1-t)**2) * pa.detach() + 2*t*(1-t) * pc + (t**2) * pb.detach() for (k, pa), (_, pb), (_, pc) in zip(module_a.named_parameters(), module_b.named_parameters(), module_c.named_parameters()) if not pa.requires_grad is False } # 返回所有命名参数对应的插值张量 return interpolate_module(self.model_a, self.model_b, self.control) def forward(self, x, t=None, return_interpolated=False): if t is None: # 训练时随机采样 t = torch.rand(1).item() weights = self.get_curve_weights(t) # 这里不复制整个模型，而是直接在前向中动态应用参数 # 更简单的实现方式：遍历同名参数，用插值替换 outputs = [] for module_name, module in self.named_children(): if module_name in ['model_a', 'model_b', 'control']: continue # 由于无法动态重建模型图，这里采用简化策略： # 实际项目中建议用 torch.func.functional_call 来实现 raise NotImplementedError("请参照实现说明使用 functional_call 动态插值")

这里会遇到一个典型工程难点：PyTorch 中直接修改参数图比较麻烦。推荐使用torch.func.functional_call来实现临时权重替换，核心代码逻辑如下：

# 文件路径：curve_moe_demo/model_zoo.py（补充片段） from torch.func import functional_call def forward_with_weights(model, weights, x): # weights 是参数名称到张量的映射字典 return functional_call(model, weights, (x,)) # 在 CurveMoE.forward 中： def forward(self, x, t=None): if t is None: t = torch.rand(1).item() weights = self.get_curve_weights(t) # 选取一个基础模型结构作为骨架，比如 self.control return forward_with_weights(self.control, weights, x)

关键参数解释：

• t：曲线参数，范围 [0,1]。t=0 时输出等价于纯端点 A 模型，t=1 时等价于纯端点 B 模型；
• weights：通过二次 Bezier 公式计算出的临时参数集合；
• 训练控制点模型self.control的过程，就是在“雕刻”曲线路径，使得路径上任意 t 处的模型都具备抗多范数攻击能力。

这种动态插值方式在训练时需要对整个曲线路径做多次采样，所以计算量大约是普通训练的 2 到 3 倍。

4.4 多范数对抗样本生成器

训练 CurveMoE 时，我们不能只用一个范数的对抗样本，比如只用 PGD-L_inf。它需要一个“多范数合成器”，在每一个 step 中分别生成 L_inf、L2、L1 三种范数的对抗样本，再统一交给 CurveMoE 进行训练。

下面是一个简化的多范数生成器：

# 文件路径：curve_moe_demo/datasets.py import torch import torchattacks def generate_multi_norm_adversarial(model, images, labels, eps_list=[8/255, 0.5, 1.0], norm_list=['Linf', 'L2', 'L1']): model.eval() adv_images_pool = [] for norm, eps in zip(norm_list, eps_list): if norm == 'Linf': atk = torchattacks.PGD(model, eps=eps, alpha=eps/4, steps=10, random_start=True) elif norm == 'L2': atk = torchattacks.PGD(model, eps=eps, alpha=eps/4, steps=10, random_start=True) elif norm == 'L1': atk = torchattacks.PGD(model, eps=eps, alpha=eps/8, steps=15, random_start=True) else: raise ValueError(f"不支持的范数: {norm}") adv_images = atk(images, labels) adv_images_pool.append(adv_images) return adv_images_pool

这一段代码的作用是：

• 对于输入的一批正常图片，分别使用 L_inf、L2、L1 范数约束下的 PGD 攻击生成三组对抗样本；
• torchattacks库封装好了这些攻击算法，无需自己写梯度符号法；
• 生成出来的adv_images_pool是一个三元素列表，索引 0 对应 L_inf 攻击结果，索引 1 对应 L2，索引 2 对应 L1。

注意，L_inf 的 eps 通常设置为 8/255，L2 可能设置为 0.5~1.0，L1 设置为 1.0 左右。具体数值需要对照实验调整，不同数据集上差异很大。

4.5 主训练循环：CurveMoE 训练逻辑

训练逻辑需要精心设计，否则容易出现“曲线路径坍塌”或“专家退化”。整体流程如下：

# 文件路径：curve_moe_demo/train_curve.py import torch import torch.nn as nn import torch.optim as optim from model_zoo import BaseMoE, CurveMoE from datasets import generate_multi_norm_adversarial def train_curve_moe(): # 初始化两个端点模型 model_l_inf = BaseMoE() model_l2 = BaseMoE() curve_model = CurveMoE(model_l_inf, model_l2) # 只训练控制点参数 + 两个端点的分类头（模拟防御特化的过程） trainable_params = list(curve_model.control.parameters()) optimizer = optim.Adam(trainable_params, lr=1e-3) criterion = nn.CrossEntropyLoss() # 数据加载请自行补齐 train_loader = None for step, (images, labels) in enumerate(train_loader): # 1. 冻结模型一的 L_inf 特化能力，生成多范数对抗样本 adv_list = generate_multi_norm_adversarial(curve_model, images, labels) # 2. 沿曲线采样多个 t 值，使得控制点学到的是整条路径的鲁棒性 t_values = torch.rand(3) # 采样3个不同位置 total_loss = 0.0 for adv_images, t in zip(adv_list, t_values): outputs = curve_model(adv_images, t) loss_vanilla = criterion(outputs, labels) total_loss += loss_vanilla # 3. 对干净样本也保持分类精度，防止过渡到纯鲁棒模型导致基础精度崩溃 outputs_clean = curve_model(images, t=0.5) loss_clean = criterion(outputs_clean, labels) total_loss += 0.5 * loss_clean # 4. 反向传播，更新控制点 optimizer.zero_grad() total_loss.backward() optimizer.step() if step % 100 == 0: print(f"Step {step}: Loss = {total_loss.item():.4f}")

这段逻辑有四个关键点需要重点解释：

1. 多 t 采样：每次迭代在曲线上取 3 个不同的 t 值，让控制点学习“整条路径”的鲁棒性，而不是只优化曲线的终点；
2. 对抗损失绑定 t：这里我们把“L_inf 对抗样本”绑定到 t=0 附近的路径，把“L2 对抗样本”绑定到 t=1 附近的路径，让曲线天然具有多范数分工；
3. 干净样本损失保留：加入loss_clean作为正则项，避免控制点被攻击样本带到完全偏离分类任务的区域；
4. 控制点是唯一可训练参数：两个端点在训练过程中保持相对固定（或者说只做很小的微调），这样曲线的构建本质上是“在已经成熟的防御模式之间搭建一条低损失通道”。

4.6 运行与验证

训练结束之后，需要用独立于训练集的数据进行评估。评估代码需要分别测试：

• 在 L_inf、L2、L1 攻击下，普通 BaseMoE 和 CurveMoE 的准确率；
• 在不同 t 值处的鲁棒性变化。

# 文件路径：curve_moe_demo/attack_eval.py import torchattacks import torch def evaluate_curve(curve_model, test_loader): curve_model.eval() acc_matrix = {} for norm, eps in zip(['Linf', 'L2', 'L1'], [8/255, 0.5, 1.0]): atk = torchattacks.PGD(curve_model, eps=eps, steps=10, random_start=True) correct = 0 total = 0 for images, labels in test_loader: adv_images = atk(images, labels) outputs = curve_model(adv_images, t=0.5) preds = outputs.argmax(dim=1) correct += (preds == labels).sum().item() total += labels.size(0) acc = correct / total acc_matrix[norm] = acc print(f"{norm} 攻击下准确率: {acc:.4f}") return acc_matrix

在一张 CIFAR-10 简单测试集上，如果实现无误，你通常会观察到如下趋势：

请注意，上表只是示意性的相对关系，实际数值和你的模型容量、数据集、超参数有密切关系。但它能说明一个核心趋势：CurveMoE 在三种范数攻击下都没有出现极端短板，整体鲁棒性曲线更加平坦。

5. 常见问题与排查思路

5.1 损失震荡剧烈，训练不收敛

5.2 曲线路径退化：中间点效果反而不如端点

如果 t=0.5 处的准确率明显低于 t=0 和 t=1，说明 Bezier 曲线的控制点没有学到有效路径，而是在做劣质的线性平均。

排查方向：

1. 检查控制点初始化是否合适，尽量初始化为两个端点均值；
2. 检查控制点的学习率是否过低，Bezier 曲线佫合需要相对较慢的学习率来避免震荡；
3. 浅层网络容易出现过平滑问题。可以尝试添加基于雅可比正则化的“路径平滑损失”，即确保路径上的梯度方向变化不要过于剧烈；
4. 每次迭代只优化一个 t 值，而不是一次优化 3 个 t 值，逐步降低优化难度。

5.3 PGD 生成器报错：Input requires gradient

这是使用torchattacks时最经典的报错之一。原因通常是：你在 data 加载阶段就把requires_grad设置成了 False，而 PGD 攻击内部需要对输入求梯度。

# 错误写法 images = images.detach() adv = atk(images, labels) # 报错 # 正确写法 images = images.clone() images.requires_grad_(True) adv = atk(images, labels)

另外，在多范数循环里，前三组对抗样本生成时模型参数发生了变化，所以建议每次生成攻击样本时都重新model.zero_grad()或从底层torchattacks接口重置。

5.4 显存溢出 OOM

CurveMoE 的优化过程要对多范数对抗样本分别做前向和反向，显存消耗是指数级上升。这里有几个务实的优化手段：

• 使用梯度累积：每个 t 值的损失单独传播并保存梯度，延迟更新优化器；
• 减少对抗步数：steps=3 到 5 就足够看到防御效果，不需要每轮都做 10 步 PGD；
• 如果显存仍不够，降低专家数量或隐藏层维度。

6. 最佳实践与工程建议

6.1 训练策略上，优先考虑“端点为基、曲线为桥”

从工程角度看，直接从随机初始化训练一条完整的 CurveMoE 效率极低。更可靠的做法分三步：

1. 第一阶段，先按传统方式训练两个单范数特化防御模型：分别针对 L_inf 和 L2 攻击。这一阶段可以使用现成的对抗训练库，比如用robust_optimizer或free_at这类成熟方案；
2. 第二阶段，固定端点参数，只对控制点进行训练。这一阶段的核心目标是找到连接两个高鲁棒解的低损失路径；
3. 第三阶段，冻结控制点，微调路由器权重。让路由器学会在不同 t 值下选择专家，这使得模型可以对不同扰动范数动态切换最优专家组合。

6.2 路由器需要单独正则化

MoE 的稀疏激活对输入扰动非常敏感。在 CurveMoE 场景下，路由器同时要处理多种范数生成的对抗样本，很容易出现“路由熵崩溃”：即无论输入是什么，路由器都选择同一个专家，从而导致曲线防御失效。

建议在损失中增加路由熵正则项：

def routing_entropy_loss(router_logits, alpha=0.01): probs = torch.softmax(router_logits, dim=-1) entropy = -(probs * torch.log(probs + 1e-8)).sum(dim=-1).mean() return -alpha * entropy

这个正则项会鼓励路由器保持一定程度的不确定性，避免专家被“饿死”。

6.3 安全与权限边界

对于部署到真实生产环境的安全模型，建议遵循以下最小权限原则：

• 多范数攻击测试只允许在实验室内部离线环境进行，不要在线上环境使用真实对抗样本做暴力验证；
• 如果模型最终会部署到用户侧，必须对输入做规范化预处理，并在推理端加入异常检测模块；
• 不要盲目在网络公开渠道上传包含完整对抗训练细节的训练日志，以免给攻击者提供可参考的攻击策略。

6.4 超参数建议速查表

6.5 日志与实验追踪

每轮训练记录以下内容，三大指标缺一不可：

• 各范数攻击下的软标签置信度分布；
• 路由器在不同 t 值下的专家激活占比；
• 曲线上均匀采样 5 个 t 值对应的干净准确率。

通过这三种日志，你可以直观观察“曲线是否真的连通了两种防御”、“路由器是否稳定”以及“路径中部是否有效”。

7. 总结与下一步学习路线

通过这篇文章，我们实际上完成了三件事：

• 第一，理解了 MoE 在面对对抗样本时脆弱性的根源，离散路由器造成了特征空间的不连续；
• 第二，学习了多范数防御的必要性，明确了 L_inf、L2、L1 在几何空间上的本质差异；
• 第三，拆解了 Robust CurveMoE 的核心机制：通过 Bezier 曲线连接不同范数特化防御模型的模式，利用模式连通性在损失曲面上构建低误差走廊，最终得到一个在不同扰动范数下都保持平稳鲁棒性的混合专家系统。

下一步你可以沿着以下几个方向继续深入：

• 如果对模式连通感兴趣，可以去读一下关于线性模式连通与神经网络损失景观的核心论文，比如“On the Steepness of Mode Connectivity”相关的概念讨论；
• 如果对 MoE 的安全感兴趣，可以接着研究路由器的局部 Lipschitz 约束，甚至尝试在路由器输出上加入对抗训练限制；
• 如果只是希望快速提高模型鲁棒性，建议先熟练使用 torchattacks 库，吃透 PGD-FGSM 攻击的内部实现，再在提供具体攻击算法之后再考虑是否引入 CurveMoE 这种更重的框架。

最后提醒一句：对抗防御是攻防博弈的长期过程，不存在“一次训练、永远安全”的银弹。CurveMoE 的价值在于把单一范数的“点状防御”升级为“路径防御”，并借助模式连通性进行了多范数之间的平滑过渡。如果你正在折腾大规模稀疏模型的鲁棒性问题，可以尝试在 Mixtral 或 DeepSeek-MoE 这类开源模型上做一次小型的曲线微调实验，感受一下不同扰动空间下路由器分配的变化，这比直接读大段论文来得直观得多。

如果这篇文章对你有帮助，可以收藏备用，后续我会继续更新多范数攻击下路由模块的可视化分析方法。