知识蒸馏实战：把大模型能力搬到小模型，推理成本砍半

直接讲实战。先摆一个场景：你费老大劲微调或者部署了一个大模型，推理速度跑不起来，GPU显存吃紧，线上QPS顶不上去，想换小模型又怕效果崩。知识蒸馏（Knowledge Distillation，简称KD）就是专门解决这个矛盾的——把大模型（教师）学到的能力，通过训练“迁移”给小模型（学生），让轻量模型在接近大模型效果的同时，把推理成本砍到十分之一甚至更低。这篇文章不绕弯子，直接从原理讲到一次完整的CIFAR-10图像分类蒸馏实战，顺带把我踩过的坑、大模型场景下的特殊问题一起说清楚。

适合谁看？两类人。一类是做模型部署的工程师，模型太大、太慢、太贵，想找一条可落地的压缩路线；另一类是刚接触深度学习、想搞懂蒸馏内部机制的学生或者开发者，看完这篇你能自己复现一个蒸馏项目，并且知道每个参数为什么这么设。

1. 大模型时代的“瘦身焦虑”：知识蒸馏解决的到底是什么

1.1 模型能力、参数量与推理成本之间的三角矛盾

先说一个反直觉的事实：模型效果并不是随着参数量线性增长的。大模型动辄几十亿、上百亿参数，确实带来了更强的表达能力，能力涌现也确实存在，但代价是推理成本同样在急剧膨胀。你对比一下两张卡跑一个70B量级模型和单卡跑一个7B模型，吞吐差距可能接近一个数量级。

更麻烦的是，很多实际业务场景根本不缺“模型能力”，缺的是“推理预算”。如果上线一个负责人工智能客服、内容审核或者图像识别接口的模型，每调用一次都要付出很高的GPU计算成本，产品毛利直接被打穿。这种情况下你去微调一个大模型，效果是很强，但根本不敢上线。

知识蒸馏的思路很简单但非常有效：不要让小模型从头学起，而是让一个已经训练好的大模型“带”它学。大模型见过海量数据，它的输出里其实包含了很多隐藏知识——比如“这张图90%是猫、7%是狐狸、3%是狗”，而普通标签只会告诉你“这是猫”。这种概率分布信息就是蒸馏要搬运的核心。

1.2 蒸馏在整个模型压缩路线图里的位置

模型压缩不是一个新词。目前主流的压缩技术大致分四类：剪枝（Pruning）、量化（Quantization）、蒸馏（Distillation）、轻量化架构设计（比如MobileNet、ShuffleNet这类本身就更小的网络结构）。它们解决的问题不同，实际使用中往往是组合拳关系。

下面这张表是我自己在选型时常用的对照：

蒸馏和其他方法的本质区别在于：它是“换模型”，而不是“压模型”。你完全可以把ResNet-50蒸馏到MobileNet这种轻量架构上，让MobileNet学到ResNet-50的特征表达能力；也可以先把大模型量化后再蒸馏，进一步保住精度。实际生产里，先蒸馏再量化的路径很常见，两步加起来能压掉90%以上的资源消耗。

2. 蒸馏原理拆解：软标签、温度系数与损失函数设计

2.1 硬标签与软标签的信息量差距

传统分类训练里，一张猫的图片被标成一个one-hot向量：猫=1，其余全部=0。这种标签被叫做硬标签（Hard Label）。问题在于：one-hot向量完全不包含类别之间的关系信息。猫和狗、猫和狐狸，在硬标签里都是“非猫”，距离完全一样。

但人识图不是这样认知的——你看到一只猫，可能觉得它越看越像狐狸的某些特征，或者说“这猫长得有点狗里狗气”。教师模型输出的softmax概率分布就包含这种信息。比如说教师模型对一张猫图输出：[猫0.88, 狐狸0.07, 狗0.03, 其他0.02]，这个0.07的狐狸概率意味着“这猫的某些特征和狐狸挺接近”。学生模型如果学会这层信息，不仅能分清猫，还能知道猫和狐狸之间细粒度特征的相关性。

直接比较两个概率分布、让学生的分布去逼近教师分布，就是蒸馏训练的核心机制之一。这样小模型学到的不只是答案，更是大模型的“思考方式”——体现在输出概率的细微差异上。

2.2 温度系数T：控制“知识浓度”的旋钮

不过直接拿大模型的原始softmax输出当教学信号有一个问题：当大模型已经拟合得很好时，输出概率往往会非常尖锐，比如猫的概率0.997，其他三类都接近0.001。这种情况下，概率分布几乎又退化成one-hot，细粒度信息全丢了。

所以Hinton在经典论文《Distilling the Knowledge in a Neural Network》里引入了一个温度系数T，softmax公式变为：

[ q_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]

T越高，输出的概率分布就越平滑，类别之间的相对差异被放大，隐藏知识更容易暴露出来。T=1时就是标准softmax；T=2、T=4时，概率分布中“第二可能”“第三可能”的类别信息就显现了。

T的选择是个经验活。T太低，软标签还是太尖锐，跟硬标签没区别；T太高，分布被抹平得太厉害，各个类别概率都差不多，反而降低了信息信噪比。我在图像分类任务上常用的范围是T=3~6，序列任务比如文本分类会稍微低一点，用2~4。另一条经验是：高温T得到的软标签在训练后期效果更明显，因为学生模型前期还在学粗粒度分类，根本消化不了那么细的信息。

2.3 损失函数的两条腿：蒸馏Loss与硬标签Loss

完整KD损失由两部分构成：

• 蒸馏Loss：学生网络在高温T下的softmax分布与教师网络在高温T下的softmax分布之间的交叉熵。
• 学生Loss：学生网络在T=1下的预测与真实one-hot标签之间的交叉熵，也就是标准的分类损失。

总损失一般写作： [ L = \alpha \cdot L_{soft} + (1-\alpha) \cdot L_{hard} ]

这里alpha是权重系数，控制“跟老师学”和“自己看标准答案”的比例。两个部分缺一不可：只学老师会跟着犯错（老师错分的样本学生也错分，而且缺乏真实标签的约束），只学硬标签就退化成了普通训练，没有蒸馏意义。

我实践中常用的配置是alpha=0.7，T=4，下面实战部分也沿用这个配置，并会给出不同超参组合的对比结果。

3. 完整实战：把ResNet32蒸馏进一个轻量CNN（CIFAR-10）

3.1 环境准备与数据集说明

这次实战选用CIFAR-10数据集，理由很简单：数据规模适中（6万张32x32彩色图片），单张普通显卡几分钟就能完成一轮训练，非常适合做原理验证和超参实验。当然，方法论是通用的，你自己有数据集时可以按同样的流程替换。

环境清单：

• PyTorch 2.0+（CPU也可跑，只是慢）
• torchvision（自带CIFAR-10下载接口）
• CUDA显卡可选，实在没有就用CPU跑小规模epoch

CIFAR-10共10个类别，分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。训练集5万张，测试集1万张。数据预处理需要做标准化，CIFAR-10每个通道的均值和标准差是固定的：

• 均值 (0.4914, 0.4822, 0.4465)
• 标准差 (0.2470, 0.2435, 0.2616)

这里有个小坑提醒：很多人会忘记做数据增强。图像分类任务不增强，模型很容易过拟合，尤其教师模型本身参数量不小。我在训练里用了RandomCrop加水平翻转的经典组合。

3.2 学生模型结构选择：为什么不用“无脑小”

很多初学者在做蒸馏时最纠结的是学生网络该选什么结构。有人直接拿一个大网络砍一半通道，有人干脆选一个已有的轻量网络。我的建议是：学生网络不必和教师网络同构，你可以大胆换成完全不同的架构，只要输入输出维度一致即可。

这次实战教师模型用ResNet32（约46万参数），学生模型用一个自定义的小型CNN（约15万参数），结构非常简单：三层卷积+两个全连接层，每层通道数控制在32~64个之间。

import torch import torch.nn as nn import torch.nn.functional as F class SmallCNN(nn.Module): def __init__(self, num_classes=10): super().__init__() self.conv1 = nn.Conv2d(3, 32, 3, padding=1) self.bn1 = nn.BatchNorm2d(32) self.conv2 = nn.Conv2d(32, 64, 3, padding=1) self.bn2 = nn.BatchNorm2d(64) self.conv3 = nn.Conv2d(64, 128, 3, padding=1) self.bn3 = nn.BatchNorm2d(128) self.pool = nn.MaxPool2d(2, 2) self.fc1 = nn.Linear(128 * 4 * 4, 256) self.fc2 = nn.Linear(256, num_classes) def forward(self, x): x = F.relu(self.bn1(self.conv1(x))) x = self.pool(x) # 32 -> 16 x = F.relu(self.bn2(self.conv2(x))) x = self.pool(x) # 16 -> 8 x = F.relu(self.bn3(self.conv3(x))) x = self.pool(x) # 8 -> 4 x = x.view(x.size(0), -1) x = F.relu(self.fc1(x)) x = self.fc2(x) return x

选择这个结构的原因：一是卷积层堆叠加池化下采样，是图像分类最基本但有效的范式；二是参数量大约只有教师的1/3，能明显看出蒸馏的“压缩效果”；三是结构简单，代码审起来清楚，方便你在此基础上改结构做对比实验。

3.3 部署教师网络与训练脚本编写

教师不能拿预训练权重直接偷懒，因为我们要保证教师逻辑是自己训练出来的，才好在实验里控制对比条件。所以我先把ResNet32在CIFAR-10上完整训练一遍。ResNet32可以直接用torchvision的resnet34改一下首层卷积适配32x32输入，或者干脆用标准ResNet实现，关键是把第一个卷积层的kernel size换成3、去掉首个池化层，否则32x32的输入会直接被压成1x1，整个网络根本跑不动。

import torchvision from torchvision import transforms def get_resnet32_for_cifar(): model = torchvision.models.resnet34(weights=None) model.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False) model.maxpool = nn.Identity() model.fc = nn.Linear(512, 10) return model

训练教师的脚本核心逻辑跟普通分类一样，就是标准交叉熵优化。我训练了50个epoch，batch size 128，优化器用SGD（momentum=0.9，weight_decay=5e-4），初始学习率0.1，在第30和第40个epoch处学习率乘以0.1。最终测试集准确率大约在92%~93%之间，这个基线成绩先记下来，后面学生模型的成绩会跟这个数字对照。

3.4 蒸馏训练完整实现与解析

接下来是整个实战最有价值的部分——蒸馏训练循环。代码本身并不复杂，核心就两件事：给教师和学生都加上温度T，分别计算soft logits；再算两者soft目标的KL散度（或者交叉熵），加上学生硬标签的交叉熵，加权求和。

import torch.nn.functional as F def kd_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7): # 1. 学生和教师都除以温度T，得到软化后的分布 soft_targets = F.log_softmax(teacher_logits / T, dim=1) soft_predictions = F.log_softmax(student_logits / T, dim=1) # 2. KL散度作为蒸馏loss（注：KL散度非对称，这里用soft_predictions对soft_targets做） kd_loss_value = F.kl_div(soft_predictions, soft_targets, reduction='batchmean') * (T * T) # 3. 硬标签交叉熵 ce_loss = F.cross_entropy(student_logits, labels) # 4. 加权合并 return alpha * kd_loss_value + (1 - alpha) * ce_loss

有几个细节需要特别解释，不是套话，是实战里最容易出问题的地方：

第一，* (T * T)这个操作非常容易漏。因为教师logits除以T之后，梯度会按1/T的尺度缩小，如果不乘回T的平方，KD Loss在反向传播时梯度就会过小，导致蒸馏训练几乎不收敛。乘回T的平方是为了保证梯度尺度不会因为温度缩放而失真，这也是Hinton论文中给出的标准做法。漏掉这个乘法的同学往往会疑惑“为什么我蒸馏之后学生效果反而比直接训练还差”，十有八九就是这里出了问题。

第二，KL散度方向别搞反。有些实现会用kl_div(teacher_soft, student_soft)，也就是教师分布对学生分布做KL。但从信息论角度，我们要的是让学生分布去拟合教师分布，所以应该把target位置放教师、input位置放学生。换算成PyTorch的API就是soft_targets作为target输入、soft_predictions作为input输入。写反了训练仍然能跑，但你是在用带噪声的教师分布去适应学生分布，行为完全反了。

第三，alpha和T要联动调整。alpha越高，模型越依赖教师的软标签，但如果T同时调得很高，教师分布过于平坦、几乎没有区分度，学生反而学不到东西。常用策略是：T高时alpha可以相应调低，让硬标签兜底；T低时alpha可以调高，让软标签占据主导。我在这个任务上测过几组超参，结果如下：

结论很明显：蒸馏后的学生模型（88.9%）比直接训练的小模型（83.6%）高了5个百分点以上，而且逼近教师的92%水平。参数量少了大约三分之二，效果只低不到3个点。这组数据基本说明了蒸馏的有效性。

3.5 评估与对比：蒸馏到底赚了多少

从上面的表格已经能看出收益，但光看最终准确率还不够。我建议实际工程里至少再关注两个指标：

一是推理延迟和显存。学生模型参数量15万，教师46万，实际单次推理速度大约能快2倍左右，显存占用也更低。如果进一步结合量化，小模型还能继续缩小。

二是错误分布。蒸馏后学生模型的错误样本和教师模型的错误样本高度重合，说明它确实“继承了教师的知识”，而不是只靠自己的浅层特征去猜。这个现象进一步验证了蒸馏的本质——知识在迁移，而不只是精度在提升。

4. 大语言模型场景下的蒸馏：和CNN蒸馏完全不同的几个坑

4.1 白盒蒸馏与黑盒蒸馏的路线选择

CV里的蒸馏示范很好，但很多人真正关心的是大语言模型的蒸馏。LLM的蒸馏和CNN蒸馏表面看起来都是“老师带学生”，实际做法上差异非常大。主要分两种路线：

白盒蒸馏：你手里有教师模型的权重和中间层输出，可以在每一层做特征对齐或者logits对齐。比如DistilBERT就是这么做的，预训练阶段让学生的隐藏层输出对齐教师网络的隐藏层输出。这条路线的优点是对齐得很彻底、效果好，缺点是你必须能本地访问教师模型并加载它的权重，很多商用大模型API根本不开放权重，走不通。

黑盒蒸馏：你只能调用教师模型的API拿到最终输出，拿不到中间层信息。这种情况下只能靠生成数据+采集教师输出组成训练集，再让学生模型去拟合这些数据。像一些大厂用的“数据蒸馏”方案，本质就是拿大模型生成大量带标注的数据，再用小模型去学习这些数据。这条路线的门槛低，只要API可达就能做，但对数据质量非常敏感。

实际选哪条路线取决于你的资源和场景。如果你用的是开源大模型，比如Qwen、Llama这类可以本地加载的模型，白盒蒸馏是更优选择——效果上限更高。如果你只能调云上API，黑盒蒸馏是唯一路径。

4.2 大模型蒸馏的数据集构建策略

黑盒蒸馏最关键的是训练数据从哪来。初学者最容易犯的错误是拿现成的开源数据集比如Alpaca、ShareGPT直接蒸馏。不是说这些数据集不能用，而是它们的分布跟你的实际业务场景往往差得比较远，蒸馏出来的小模型在通用任务上还行，在你自己的业务数据上就可能崩。

我的建议是混合策略：

1. 把业务历史日志里的真实用户输入整理出来，去除隐私信息后构造第一份种子数据；
2. 再用这些种子输入去调用教师模型API，让教师“扩写”出更多变体，丰富输入的多样性与覆盖度；
3. 把开源通用数据按一定比例（比如1:3）混合进最终训练集，保留通用知识又聚焦业务场景。

扩写这一步尤其重要。因为业务日志里的输入数量通常有限，覆盖不到所有边界case。教师模型本身有很强的改写和续写能力，让它对每一条种子输入生成多个相似但不同的变体，相当于低成本扩充了训练集。我自己实践中这招能把学生模型在少数类别上的效果提升非常明显。

4.3 我在LLM蒸馏实际操作中踩过的三个坑

第一个坑是忽略序列长度的影响。CV里蒸馏不受输入序列长度影响，但LLM是自回归生成，蒸馏时教师输出的每个token概率分布都很重要。如果你只拿教师最终答案去训练学生，而不去对齐每个token的概率分布，学生的生成质量会明显下滑。所以如果可能，尽量获取教师每个token的logits（白盒），或者至少拿到多种采样温度下的不同输出（黑盒近似），让学生学到更多样的生成路径。

第二个坑是学生模型容量太小导致“消化不良”。LLM蒸馏比CV更明显：如果学生模型比教师小一到两个数量级，它根本没有能力完全模仿教师的行为。一个7B模型想完全吸收70B模型的全部能力，是不现实的。合理的目标不是“完全等价”，而是“在具体任务上逼近”。所以做LLM蒸馏务必明确任务边界——你是要做专用任务蒸馏还是通用能力蒸馏，两者的数据配比和训练策略差别很大。

第三个坑是评估方式不对。图像分类看准确率就够了，LLM生成结果很难简单量化。很多项目做完蒸馏，发现BLEU或者ROUGE分数很接近，但人工体验差距很大；或者人工评分差不多，但某些指标掉了很多。我的经验是：在蒸馏前就要确定一个与业务直接关联的评估集，包含通过和失败的标准；蒸馏后先在这个评估集上细测，再决定要不要全量线上。不要只看几个笼统的Benchmark指标。

5. 蒸馏效果的评估与边界：什么时候该用、什么时候别硬上

5.1 评估时应该关注的关键指标

蒸馏项目做完，不能只拿一个准确率或者BLEU分数就说成功。工程上建议从下面这几个维度综合评估：

一是学生与教师的效果差距。这个差距是核心指标，但不能只求低，还要看是否低于业务容忍阈值。比如你的任务本来就允许5%的误差，那学生比教师高4个点就完全可以接受。

二是学生相对“从零训练”的提升幅度。这个指标特别能说明蒸馏的价值，如果你的学生模型蒸馏后和从零训练差不多，说明蒸馏根本没起作用，你得反省设置或者数据是不是有问题。好的蒸馏至少应该带来2~5个点的提升，任务越难提升空间往往越大。

三是压缩率和速度收益。这需要结合实际部署环境测试，比如在目标推理框架（TensorRT、ONNX Runtime、vLLM等）里实测延迟和吞吐量。很多人在PyTorch里测的加速比，换到推理框架后完全不一样，因为框架对结构的底层优化方式差异很大。

四是泛化性评估。用和训练集分布不同的数据测试学生的表现。强劲的蒸馏能让学生学到教师的泛化能力，但搞不好也会把教师的bias一起继承下来——比如教师在某些类别上系统性误判，学生也会跟着误判。

5.2 哪些场景下蒸馏不会带来明显收益

不是所有任务都适合蒸馏，至少有三类情况我觉得要谨慎：

第一，你用来蒸馏的教师模型本身效果就不好。如果教师自身的准确率都只有60%，你很难通过蒸馏让学生超过60%。蒸馏的天花板就是教师的上限，你最多逼近它，很难超越。教师质量越强，蒸馏收益越大，所以第一步是先确保教师练好了。

第二，学生模型容量严重不足。一个特别极端的例子：拿ResNet-152去蒸馏一个只有两层卷积的小网络，学生根本拟合不了教师的复杂决策边界，效果甚至会不如从零训练。学生容量得和任务难度、数据量匹配。

第三，任务本身较简单，小模型直接训练就已经接近上限。比如MNIST手写数字识别，不用蒸馏，普通小网络已经能到99%以上，蒸馏的提升空间趋近于零。这种情况下做蒸馏纯属浪费时间。

另外提醒一点，知识蒸馏并不是“免费午餐”。它额外增加了训练阶段的成本——你需要先训练教师，再做蒸馏，全过程耗时可能比单独训练小模型多出5~10倍。如果项目整体计算资源非常紧张，你得权衡这笔训练成本是否值得。很多情况下的确值得——因为推理阶段省下的成本远超训练阶段的额外开销——但如果你只上线一个低频率的离线任务，那就没必要折腾了。

6. 我个人实操中的体会与后续思路

做蒸馏这么多年，最深的一点体会是：蒸馏不是简单的“小模型跟大模型学着输出”，而是一种重新定义监督信号的方式。传统训练给出的监督信号只有“对和错”，而蒸馏给出的信号是“在老师眼中，每个类别分别像什么”。这份信号在训练时是免费的，推理后也不占任何资源，却可能比单纯加大训练集更高效地提升小模型能力。

一个小技巧分享：如果遇到训练数据有限、小模型一直过拟合的困境，蒸馏往往是个比数据增强更直接有效的方案。教师模型在见过的数据上生成软标签，软标签天然带有“平滑正则”效果，跟label smoothing的作用类似，但是更智能——平滑程度依据类别间的真实相似度变化，而不是均匀地“撒噪声”。

后续如果想继续深入，我建议从这几个方向扩展：

一是换更强的教师做对比实验，探索学生容量的极限。把ResNet-152当作教师，看学生CNN到底能逼近到什么水平，这个曲线能帮你理解“知识上限”和“学生吸收能力”之间的关系。

二是在NLP任务上复现同样的流程。中文情感分类、命名实体识别都可以用同一套KD框架，只需要把CNN换成BERT和一个小参数量的学生Transformer。

三是做组合压缩实验。先蒸馏出小模型，再对这个小模型做INT8量化，看看端到端压缩率能达到多少倍，精度损失有多少。这个路线在生产环境里非常实用。

最后，蒸馏训练里有些反直觉的门道，都是在跑完大量配置后才意识到的：T和alpha不是独立参数，它们互相牵制；学生的训练轮数最好比普通训练多一些，因为拟合软标签需要更长的时间；教师和学生的数据增强策略最好保持一致，否则两者的输入分布都不同，学起来就变味了。写这篇文章就是希望你能避开这些暗坑，真正把大模型的能力平滑地“搬”进小模型里。