知识蒸馏的实证研究：蒸馏定罪与蒸馏提能的对称性与非对称性

1. 从两个缩写说起：DFI 与 DFC 到底在聊什么

第一次看到“蒸馏定罪”和“蒸馏提能”这两个词，我脑子里冒出来的第一个画面是酿酒——同样一锅原料，蒸馏一次得到的是烈酒，蒸馏两次可能就变成工业酒精了。后来仔细琢磨了一下这篇论文想讨论的问题，发现这个类比其实挺贴切的：同样是“蒸馏”这个动作，用在不同的目的上，得到的结果可能天差地别。

先把这两个概念用大白话翻译一下。所谓蒸馏定罪（DFI，Distillation For Incrimination），指的是利用知识蒸馏这套技术手段，去反向推断或者证明某个模型“抄”了另一个模型——说白了就是找证据、定罪名。而蒸馏提能（DFC，Distillation For Capability），则是我们平时最熟悉的那种用法：让一个小模型去学大模型的本事，目的是把能力提上去，让小模型跑得更快、更省资源，但表现尽量接近大模型。

这两个方向听起来像是同一枚硬币的两面，但论文想做的事情是用实证的方式去检验它们——不是空谈理论，而是拿数据说话，看看蒸馏这件事在“抓抄袭”和“提能力”这两个场景下，到底表现出什么样的规律。这个选题之所以值得关注，是因为过去几年里，围绕模型蒸馏的讨论大多集中在“怎么蒸得更高效”上，很少有人系统地去问一句：蒸馏留下的痕迹，能不能被当作证据？如果能，这个证据有多可靠？

我个人的判断是，这篇论文的价值不在于给出了某个一锤定音的结论，而在于它把一个长期被模糊处理的问题摆到了台面上。对于做模型训练、模型安全、以及模型合规相关工作的从业者来说，这里面的实证结论会直接影响你未来怎么设计训练流程、怎么留存日志、怎么评估一个模型的“血统”。接下来我会把这篇论文涉及的核心思路、实操层面的细节、以及我自己在类似工作中踩过的坑，尽量掰开揉碎地讲清楚。

2. 论文整体设计与思路拆解

2.1 为什么要用“实证”而不是“理论推导”

理论推导在机器学习领域很常见，但蒸馏这件事有个特点：它的行为高度依赖于数据分布、温度参数、损失函数设计、以及师生模型的容量差距。你在纸面上推导出来的结论，换一个数据集可能就完全不成立。所以这篇论文选择实证路线，我认为是明智的。

实证检验的核心逻辑大致是这样的：设计一组可控的实验，让“蒸馏”这个动作在已知条件下发生，然后观察两件事——第一，蒸馏出来的模型在能力上到底提升了多少（对应 DFC）；第二，能不能通过某种统计手段，判断出一个模型是否经过了蒸馏、以及是从哪个模型蒸出来的（对应 DFI）。这两件事共用同一批实验数据，但分析的角度完全不同。

这里有个关键的设计考量：如果 DFI 和 DFC 用完全独立的实验，那结论之间就没法互相印证。论文把两者放在同一个实验框架下，好处是你可以直接看到“能力提升越明显的蒸馏，留下的痕迹是不是也越明显”。这个交叉验证的思路，是我觉得整篇论文最值得学习的地方。

2.2 实验框架的三个核心变量

论文在实验设计上主要控制了三个变量，我按自己的理解重新梳理一下：

• 师生容量比：学生模型比老师小多少。这个比例直接决定了蒸馏的难度——差太多，学生学不动；差太少，蒸馏的意义就不大。
• 蒸馏温度与损失权重：温度高，软标签分布更平滑，学生能学到更多“暗知识”；温度低，就退化成普通的硬标签训练。
• 数据重叠度：学生蒸馏时用的数据，和老师原本训练时用的数据，重叠程度有多高。这个变量对 DFI 的影响特别大，后面会展开讲。

我之所以把这三个变量单独拎出来，是因为它们恰好对应了实际工作中最容易出问题的三个环节。很多团队做蒸馏的时候，只盯着“学生模型准确率涨了多少”，完全忽略了数据重叠度这个隐性变量，结果在合规审查的时候被问得哑口无言。

2.3 DFI 与 DFC 的对称性与非对称性

论文里有一个我觉得很有意思的观察：DFC 和 DFI 在实验表现上并不是完全对称的。换句话说，一个蒸馏过程如果能力提升很明显，不代表它的痕迹就一定很容易被检测到；反过来，一个痕迹很明显的蒸馏，能力提升可能微乎其微。

这个非对称性背后的原因，我理解是这样的：能力提升主要取决于学生模型有没有学到老师输出分布里的“有效信息”，而痕迹是否明显，更多取决于学生模型的输出分布和老师之间有没有形成某种统计上的相关性。这两件事有关联，但不是一回事。举个不太严谨的例子：你跟着一位大厨学做菜，厨艺提升明显，不代表你做的菜和他做的菜在口味上就有明显的相似性——你可能学到了火候的原理，但调味风格完全是自己的。

这个结论对实际工作的启示是：不能想当然地认为“蒸得好”就等于“藏不住”。如果你在做模型合规相关的工作，这一点尤其要注意。

3. 核心细节解析与实操要点

3.1 蒸馏温度这个参数，比你想的更关键

在 DFC 的语境下，温度参数 T 决定了软标签的平滑程度。论文的实验里，T 的取值跨度比较大，从 1 到 20 都试过。我自己的经验是，T 在 3 到 8 之间往往是比较甜的区域，太低学不到暗知识，太高会把有区分度的信息也抹平。

但论文在 DFI 的语境下发现了一个反直觉的现象：温度越高，蒸馏留下的痕迹反而越难被检测。原因是高温下学生模型的输出分布被过度平滑，和老师之间的直接相关性被稀释了。这就意味着，如果你既想提能力又想降低被检测的风险，高温蒸馏似乎是个“两全其美”的选择——但代价是能力提升的幅度也会打折扣。

提示：温度参数的选择本质上是在“能力提升”和“痕迹暴露”之间做权衡，不存在一个对所有场景都最优的值。实际工作中建议先固定其他变量，单独扫一遍 T 的取值，画出能力曲线和痕迹强度曲线，再根据你的目标去选点。

3.2 数据重叠度：DFI 检测的命门

论文里最让我印象深刻的结论，是关于数据重叠度的。简单说：如果学生蒸馏时用的数据和老师训练时用的数据高度重叠，那么 DFI 的检测成功率会显著上升。这个逻辑其实不难理解——同样的输入，老师和学生的输出如果高度一致，那这种一致性本身就是一种“指纹”。

但这里有个实操上的坑：很多团队在做蒸馏的时候，根本不知道老师原本的训练数据是什么。尤其是当你用一个开源模型当老师的时候，它的训练数据构成往往是不公开的。这种情况下，你只能通过输入探针的方式去反推——设计一批有代表性的输入，观察老师模型的输出分布，再和学生模型对比。

论文给出的一个实操建议是：探针输入的选择要尽量覆盖老师模型能力边界附近的样本。太简单的样本，所有模型输出都差不多，没有区分度；太难的样本，输出又太随机。只有在“老师能做对但需要一点努力”的区间，输出分布才最有信息量。

3.3 损失函数设计对 DFI 的影响

论文对比了两种常见的蒸馏损失：一种是标准的 KL 散度，另一种是加入了硬标签监督的混合损失。结果显示，纯 KL 散度的蒸馏，留下的痕迹更明显。原因可能是纯 KL 散度会让学生模型的输出分布更“贴近”老师，而混合损失因为引入了硬标签的约束，学生分布会被拉向真实标签，反而稀释了和老师之间的相关性。

这个发现对做 DFI 的人来说是个好消息——检测纯 KL 蒸馏相对容易。但对做 DFC 的人来说就有点纠结了：纯 KL 蒸馏能力提升往往更好，但痕迹也更明显。怎么选，取决于你的优先级。

3.4 学生模型容量对两个目标的不同影响

论文的实验里，学生模型从老师容量的 10% 到 50% 都试过。结论是：容量比越低，DFC 的能力提升越困难，但 DFI 的检测也越困难。这个结论其实挺符合直觉的——学生太小，学不像，自然也就留不下太多痕迹。

但这里有个细节值得注意：论文发现当容量比低于某个阈值（大概在 15% 左右）时，DFI 的检测成功率会断崖式下降。这个阈值的存在意味着，如果你想把痕迹压到最低，把学生模型做小是一个有效手段，但代价是能力提升几乎可以忽略不计。这又回到了那个老问题：天下没有免费的午餐。

4. 实操过程与核心环节实现

4.1 复现实验的基本流程

如果你手头有资源，想自己复现一下论文的核心实验，我建议按下面的流程走。这套流程是我结合论文描述和自己的经验整理的，不一定和论文完全一致，但实操性更强。

第一步：准备师生模型对。选一个能力较强的模型当老师，再选几个不同容量的模型当学生。容量比建议覆盖 10%、25%、50% 三档，这样能看出趋势。

第二步：固定蒸馏配置。温度先固定在一个中间值（比如 T=4），损失函数先用纯 KL 散度，数据用老师训练数据的一个子集。这样做的目的是先建立一个基线。

第三步：训练学生模型。这一步没什么特别的，按标准蒸馏流程走就行。但要注意记录训练过程中的损失曲线，后面分析痕迹的时候会用上。

第四步：DFC 评估。在学生模型和老师模型上跑同一套评测集，对比准确率、F1 等指标。重点是看学生模型相对“从头训练”的基线提升了多少。

第五步：DFI 检测。这一步是重点。设计一批探针输入，分别喂给老师和学生，收集输出分布。然后用统计检验的方法，判断两者的输出是否存在显著的相关性。

4.2 DFI 检测的具体实现细节

DFI 检测的核心是构造一个能够区分“蒸过”和“没蒸过”的分类器。论文里用的方法大致是这样的：

• 收集一批模型，其中一半是蒸馏出来的，一半是独立训练的。
• 对每个模型，用同一套探针输入收集输出分布。
• 把输出分布的特征（比如 softmax 向量的某些统计量）作为输入，训练一个二分类器。
• 看这个分类器在留出集上的表现。

这个思路其实和成员推断攻击很像，都是通过观察模型行为的细微差异来判断它的“出身”。我在类似工作中发现，探针输入的数量和质量比分类器的选择更重要。论文里用了大概几千条探针，我建议如果资源允许，尽量往多了做，因为统计检验的效力很依赖样本量。

4.3 参数选择的计算过程

这里我举一个具体的例子，说明温度参数是怎么影响输出分布的。假设老师模型在某个输入上的 logits 是 [5, 3, 1]，那么：

• 当 T=1 时，softmax 输出大约是 [0.84, 0.11, 0.04]，分布很尖锐。
• 当 T=4 时，softmax 输出大约是 [0.57, 0.29, 0.14]，分布明显平滑了。
• 当 T=10 时，softmax 输出大约是 [0.40, 0.33, 0.27]，几乎接近均匀分布。

可以看到，温度越高，输出分布携带的“区分度信息”越少。这就是为什么高温蒸馏痕迹更难检测——因为学生模型学到的本来就是一个被抹平了的分布，和老师之间的直接相关性自然就弱了。

注意：温度的选择不能只看 DFI 或 DFC 的单一目标。实际工作中，我建议先确定一个可接受的能力下限，然后在这个约束下尽量选高温度，以降低痕迹暴露的风险。

4.4 实验记录与数据整理

论文在实验记录上做得很规范，这一点值得学习。每个实验配置都记录了完整的超参数、训练曲线、评测结果。我自己的习惯是用一个结构化的表格来管理这些记录，字段包括：实验编号、师生模型、容量比、温度、损失类型、数据重叠度、DFC 指标、DFI 检测率。

这样做的好处是，当你需要分析某个变量的影响时，可以直接从表格里筛选，不用去翻零散的日志。论文里那些趋势图，本质上就是从这样的表格里画出来的。

5. 常见问题与排查技巧实录

5.1 DFI 检测率忽高忽低怎么办

这是我在类似工作中遇到最多的问题。同一个蒸馏配置，换一批探针输入，检测率可能从 90% 掉到 60%。排查下来，原因通常有三个：

• 探针输入的分布偏移：如果探针输入和老师训练数据的分布差异太大，老师模型的输出本身就不稳定，检测自然不准。
• 样本量不足：统计检验需要足够的样本量，几百条探针往往不够，建议至少上千条。
• 学生模型训练不充分：如果学生模型还没收敛，它的输出分布和老师之间的相关性还没稳定下来，检测结果自然波动大。

解决办法也很直接：固定探针集、增加样本量、确保学生模型充分收敛。这三件事做到位，检测率的稳定性会明显提升。

5.2 DFC 能力提升不明显，问题出在哪

能力提升不明显，最常见的原因是容量比太低。学生模型太小，就算老师输出再多的暗知识，它也吸收不了。这种情况下，要么换一个更大的学生模型，要么接受能力提升有限的事实。

第二个常见原因是温度设置不当。温度太低，软标签退化成硬标签，暗知识传不过去；温度太高，信息被过度平滑，学生学到的都是“废话”。建议在 T=3 到 T=8 之间扫一遍。

第三个原因是数据不匹配。如果蒸馏用的数据和目标任务的数据分布差异太大，学生模型学到的能力可能用不上。这种情况下，需要在目标任务的数据上做一点微调。

5.3 常见问题速查表

5.4 几个我踩过的坑

第一个坑是忽略了数据重叠度这个隐性变量。早期做蒸馏的时候，我直接拿老师训练数据的一个子集来蒸，结果 DFI 检测率奇高。后来换成独立采集的数据，检测率立刻降下来了。这个教训让我意识到，数据来源本身就是一种“指纹”。

第二个坑是过度追求能力提升，忽略了痕迹暴露。有一次为了把学生模型的准确率拉上去，用了很低的温度和纯 KL 损失，结果模型表现确实好，但后来做合规审查的时候被指出痕迹太明显。这件事让我明白，蒸馏不只是技术问题，还涉及到合规和风险管理的维度。

第三个坑是探针输入设计得太随意。一开始我用的是随机采样的输入，检测效果很差。后来改成在老师模型能力边界附近采样，检测率明显提升。这个经验说明，探针的质量比数量更重要。

6. 这套实证框架还能怎么用

论文给出的实证框架，其实不局限于 DFI 和 DFC 这两个场景。我自己的思考是，这套“控制变量 + 交叉验证”的思路，可以迁移到很多相关问题上。

比如，你可以用它来研究不同蒸馏算法留下的痕迹差异。论文只对比了 KL 散度和混合损失，但实际上还有基于特征的蒸馏、基于注意力的蒸馏等等，这些方法留下的痕迹特征可能完全不同。

再比如，你可以用它来研究多轮蒸馏的痕迹累积效应。一个模型蒸自另一个模型，那个模型又蒸自第三个模型，这种链式蒸馏的痕迹会不会叠加？检测难度会不会上升？这些问题目前还没有明确的答案。

还有一个我觉得很有价值的方向是把 DFI 的思路用到模型溯源上。现在开源模型这么多，很多时候你拿到一个模型，根本不知道它是从哪个基座微调来的。如果能通过输出分布的统计特征反推出它的“祖先”，那对模型治理和合规审查都会很有帮助。

我个人在实际操作中的体会是，蒸馏这件事的复杂性远超大多数人的想象。它不只是一个“让小模型变强”的工具，更是一个会在模型身上留下深刻印记的过程。理解这些印记的形成机制，对于做好模型训练和模型治理都至关重要。如果你也在做相关的工作，建议尽早把 DFI 的评估纳入你的训练流程，不要等到出问题的时候才想起来补课。