最近几天，“7家中国公司被点名蒸馏”的消息在AI圈里炸开了锅。做模型的都知道，蒸馏（Distillation）这个技术名词这几年在圈内几乎是人尽皆知的操作，但这一次它被摆到台面上当成“偷窃”的同义词来讨论，性质就完全不一样了。很多朋友私信问我到底怎么看——这7家公司“偷走”的到底是什么，是代码？是权重？还是什么看不见摸不着的东西？
先说结论：如果只是复制模型文件或者直接抄代码，那叫抄袭，不叫蒸馏。这次争议的核心，远比“复制粘贴”要微妙得多——他们被质疑的是借用了闭源模型的行为特征，也就是把一个模型的“思考习惯”和“说话风格”无声无息地移植到了自己的模型里。这篇文章我不打算带节奏，而是想把“蒸馏”这个技术细节彻底拆开，讲清楚它到底做了什么、边界在哪里、以及那些想在合规框架下做蒸馏的团队，应该怎么绕开这趟浑水。
1. 蒸馏到底在“蒸”什么——先把技术原理说清楚
1.1 从一枚“教师模型”说起：知识蒸馏的经典机制
知识蒸馏最早是Hinton他们那篇经典论文提出来的，核心思路特别直观：让一个小模型（学生模型）去模仿一个大模型（教师模型）的输出。我们人类学习也是这么干的——跟着一位经验丰富的老师学，比自己黑灯瞎火地摸索快得多。模型也一样，十几亿参数的教师模型见过海量数据，它脑子里装着的“经验”没法直接拷贝给参数量只有自己十分之一的学生模型，但可以通过“输出”这个唯一窗口来传递。
具体怎么做？训练学生模型的时候，不再只用原始标注数据做硬标签（比如“这张图是猫”），而是用教师模型预测出来的概率分布来做软标签（“85%是猫，10%是狗，5%是兔子”）。这个软标签背后是有讲究的——真正有价值的不是那个最高概率的答案，而是答案之间的相对关系。猫和狗之间的相似度，猫和兔子之间的相似度，这些细颗粒度的关系才是教师模型多年训练积累下来的“手感”。
要控制这个“手感”传递到什么程度，就涉及到蒸馏里最核心的超参数——温度（temperature）。温度越高，概率分布越平滑，学生能看到更多“隐藏信息”；温度越低，分布越尖锐，学生学到的就越接近常规答案。这个细节后面实操部分我会重点讲。
1.2 为什么大模型时代蒸馏成了“香饽饽”
如果说小模型时代蒸馏是为了“压缩”，那大模型时代蒸馏的核心诉求就变成“降本”了：训练一个大模型实在太贵了，随便一个像样规模的模型，不说成千上万张GPU的采购成本，光是一次完整的预训练电费就够一个中小公司几个月营收。而蒸馏能让你用极少的算力、极少的数据，拿到一个“虽然小但学到很多”的模型，这对资源有限的团队来说，是性价比高得惊人的路径。
从技术上看，大模型时代蒸馏的方式也更灵活了。经典蒸馏只需要对齐输出，但LLM的场景里，你可以让教师模型产出一整段回答，学生模型去学这段回答的措辞、逻辑甚至语气；也可以让教师模型写出一堆思维链，学生再模仿这个推理链路。这个范式被很多团队当成了“加速模型迭代的常规武器”——先用昂贵的大模型批量生成高质量对话数据，再用这些数据去微调自家的小模型，本质上就是蒸馏的一种变体。
这也是为什么这次“点名事件”会让很多团队心里发毛——因为生成高质量数据来微调自家模型这条路，过去几年几乎是行业默认做法，很多开源的微调数据集本身就是拿闭源大模型跑出来的。如果被判定为侵权，波及面会比想象中大得多。
1.3 蒸馏和微调、预训练的根本区别
很多人会把蒸馏、微调、预训练这几个概念混成一锅粥，但它们是三种完全不同的操作，理解这一点对搞清楚“偷了什么”至关重要。
预训练是最“苦力活”的阶段：模型从零开始，在海量无标注文本上学习语言的基本规律，学习的是“世界知识”和“语言能力”。这个过程消耗的算力和数据量通常大到只有巨头才玩得起。微调则是基于一个已经会的模型，用特定领域的数据让它“变得更专”——比如让通用模型学会写法律文书、学会客服话术，模型的主体能力没有变化，只是额外学会了一门手艺。
蒸馏则完全不同，它的目标不是让模型“增长知识”，而是让模型“继承行为”。学生模型可能本身什么都没学过（从随机初始化开始），也可能已经受过预训练，但最关键的是——它学习的对象不是人类标注的数据，而是另一个模型产出的判断结果。可以这样理解：预训练是自己读书，微调是进修专业课，而蒸馏则是直接抄另一位专家的作业。
“抄作业”这个词放在这里很微妙，后面我会展开讲它为什么会引发争议。
2. 被点名的公司到底“偷走”了什么——关键词是“生成行为”
2.1 蒸馏转移的其实是“行为分布”
一个模型的能力最终体现在它的输出上，但如果你把输出当成一堆文字来看，那它跟普通文本没什么区别。区别在于这堆文字背后的统计规律——同一个问题，ChatGPT会怎么组织语言、怎么安排结构、怎么处理边界情况，这些规律组合在一起，就是模型的“行为分布”。
蒸馏的可怕之处在于，学生模型学到的不只是一两个标准答案，而是教师模型在各种输入下的条件概率分布。这意味着学生模型继承了教师的“性格”：同样一个刁钻问题，教师倾向于先摆出保守态度再展开分析，学生也会这样做；教师喜欢用某种特定的转折词，学生也会高频复现同样的小习惯。
这些特征在人工评估时很难一眼看出来，但如果拿去跑大规模测试集、做分布对比，相似度能高到令人头皮发麻。业界做过不少实验，正常训练出来的模型和蒸馏出来的模型，在开放生成任务上的重叠度、措辞分布、甚至错误模式都有明显聚类特征。所以被“点名”不是靠猜，技术上是可以拿出证据的。
2.2 从输出风格到措辞习惯：痕迹为什么很难藏住
我举个例子，你去找一个闭源大模型问“如何策划一场行业沙龙”，它给了你一段分了四个小标题、每个标题下面列三个要点、结尾还有一句温馨提示的回答。你把这段回答当训练数据，拿去微调自己的模型。模型学会了以后，你再去问它“如何组织团队团建”，它同样给你分了四个小标题、每个标题下三个要点、结尾来一句温馨提示。
这不是巧合，而是模型已经学到了教师模型的“句式模板”。更隐蔽的是，它还会学到教师模型的偏见模式、回避策略、安全话术——哪些话题会拒绝回答、拒绝时用什么措辞、怎么在不透底的情况下给个万能回复。这些东西远比表面文字更难清除，也是“痕迹”很难藏住的根本原因。
所以在技术上，怀疑一家公司的模型“蒸馏过某个闭源模型”，基本就是拿它的输出做分布对比，看看那些独特的措辞习惯和结构偏好是不是高度重合。这些特征就像笔迹鉴定里的连笔习惯，普通用户看不出来，但专门做分析的团队一眼就能认出来。
2.3 争议的本质：闭源模型服务协议与“数据飞轮”
现在来到最核心的问题：技术上这样做违法吗？严格说，这是商业条款问题，不是技术问题。
闭源模型的API服务协议里一般都会写明“不允许使用模型输出内容来训练竞争对手模型”或“不得对服务进行逆向工程”。也就是说，你用闭源模型API来生成数据、再拿去训练自己的模型，哪怕流程天衣无缝，也违约了。被点名公司的风险正在这里——它们可能没有直接拷贝模型权重，但在商业模式上使用了竞争对手的产出，这属于“打擦边球但踩线”的灰色操作。
更深一层，这件事牵扯到大模型时代的“数据飞轮”争夺。闭源模型公司花巨资积累用户反馈、优化模型输出，这些输出本身就是核心资产。如果你的竞争对手直接用这些输出来训练自己的模型，等于免费搭了你的便车，而且是用你的“思考”去训练一个将来要跟你抢生意的“替代品”——这在商业上大概率是不能忍的。
这也正是那些被点名的公司最尴尬的地方：你很难说蒸馏这个技术本身是错的，因为学术界、工业界人人都在用；但你没有授权就借用了别人的“行为资产”，这在商业规则里就站不住脚了。
3. 那些年我们都在做的蒸馏：三种常见落地方式
3.1 输出层蒸馏（黑盒蒸馏）——最像“抄作业”的方式
黑盒蒸馏是门槛最低、争议也最大的一种方式。你不需要知道教师模型内部结构，只需要调用它的API或者直接喂提示词，让它生成大量高质量问答对，然后用这些问答对去微调自己的模型。
我第一次做类似实验是在一个垂直领域客服机器人项目上。当时团队只有一个7B的小模型，回答质量惨不忍睹。我们用了当时市面上最好的闭源大模型，精心构造了2000组客服场景问题，让它生成标准话术，再用这些数据微调自己的7B模型。效果立竿见影——一周之内，小模型的回答质量就从“一眼假”变成了“有模有样”。
但我在实操第三周就停手了，因为发现了一个问题：小模型开始学到大模型那些“不干活”的毛病了，比如对于不确定的问题，它会像教师模型一样委婉地建议咨询专业人士，而不是直接给出答案。在客服场景里，这种回答等于没说。这就是黑盒蒸馏最大的坑——你学会了教师的礼貌，却学不会它的能力上限；你继承了它的回避策略，却丢了它的深度思考。
3.2 隐藏层蒸馏（白盒蒸馏）——为什么精但难
白盒蒸馏就不一样了，它要求你直接访问教师模型的内部结构，不仅是最终输出，每一层的隐藏表征都要对齐。这种方式迁移的知识更完整，学生模型理论上能学到教师模型更底层的语言理解能力，而不只是表面话术。
但白盒蒸馏对算力要求极高。你要同时跑起教师和学生两个模型，逐层计算它们中间表征的差异，这个过程的显存消耗几乎是单模型训练的二到四倍。我自己在一个8卡A100的环境里试过一次，教师模型是13B、学生是3B，光是把一个epoch跑完就花了差不多四十小时，还没算上调试的时间。
更麻烦的是，现在很多优秀的闭源模型根本不开放内部权重，你想做白盒蒸馏，只能拿开源的模型来蒸。这意味着如果你想“蒸”GPT级别能力的模型，只能退而求其次用开源的Llama、Qwen或DeepSeek系列。这也是为什么白盒蒸馏在学术圈大火、但在商业圈反而不如黑盒蒸馏流行——因为你只能蒸到别人愿意给你看的东西。
3.3 从开源模型蒸馏与从闭源API蒸馏的边界
这里要划一条很重要的边界：用开源模型做蒸馏，和用闭源API做蒸馏，法律风险完全不在一个量级。
开源模型的核心区别在于它的授权协议。比如Llama系列、Qwen系列，都有明确的许可证允许你基于模型输出做二次训练和商用，前提可能是保留版权声明、不得用输出去改进竞争性模型（具体要看每个模型的LICENSE）。在合规框架下蒸馏开源模型，这是被官方鼓励的玩法，Meta和阿里都在官方文档里明确给过蒸馏微调的示例。
而闭源API模型，几乎不存在这种许可。OpenAI、Anthropic、谷歌的API服务条款都把“用输出训练竞争模型”列为明确禁止项。你在技术上可能根本绕不开“使用闭源模型输出作为训练数据”这一步，但这就是纯粹的商业灰色地带了。
我做项目时的选择策略很简单：能不碰闭源API就别碰，优先开源基座；实在需要闭源大模型帮忙生成训练数据，严格控制比例，并把闭源输出的占比保持在可以被解释为“人工辅助标注”的范围内——这个思路既保守又务实，规避风险又不耽误工作。
3.4 蒸馏怎么落地：一个可执行的实验框架
如果你确实想在一个合规的项目里跑通蒸馏流程，我给一个自己整理过的、比较稳妥的落地路径：
- 确定基座模型：学生模型选一个同体系的小尺寸版本，比如教师用32B，学生就用3B或7B，两者最好来自同一模型家族——同族模型做蒸馏对齐会容易很多。
- 准备蒸馏数据：不要只收集教师模型的输出就能完事，要构造输入多样性足够强的数据。建议每个场景至少准备三到五种不同的提问方式，避免模型过拟合教师模型在单一表达上的风格。
- 设定温度参数：拿一组小验证集跑几轮实验，温度从1.0开始试探性上调，每隔0.5测一次。如果你发现学生模型开始“说话飘”，出现大量空话套话，那说明温度太高了。
- 混合训练策略：最有效的做法不是纯用教师软标签训练，而是把人类标注的硬标签和教师产出的软标签按7：3或8：2混合。硬标签负责教会学生“正确答案”，软标签负责教会学生“表达方式”——两条腿走路，模型既不会跑偏也不至于太生硬。
- 评估闭环：跑完蒸馏后用一套独立测试集做盲评，重点观察学生模型的“创造性部分”——如果它的措辞跟教师过于相似，说明你有可能在未授权的情况下过度复制了教师的风格特征，需要弱化这部分蒸溜强度。
这套流程不复杂，但它把蒸馏从“玄学”变成“工程”——每一步都可以度量和调整，也方便你在合规边界内控制风险。
4. 做蒸馏绕不开的坑：实操中我踩过的雷
4.1 温度参数不是越大越好
我之前犯过一个特别典型的错误——误以为温度越高，“知识”迁移得越多，于是把温度调到了10以上，结果小模型生成的文本变得空洞啰嗦，同义反复特别严重。后来才想明白，温度太高会让概率分布变得过于平滑，相当于把教师的“自信度”全部抹平了，学生学到的是“什么都沾点边、但什么都不确定”的模糊状态。
以我自己的经验，温度设置在2到5之间最稳妥。2到3适合做精度要求高、答案确定的蒸馏任务；4到5适合做开放生成如文案写作、头脑风暴类任务，因为这类任务需要更多多样性。如果实在拿不准，就从3开始，每次加0.5，跑到5为止，用验证集挑最优。
4.2 蒸馏数据偏斜导致的“学了个寂寞”
有次我接了一个代码生成小模型的蒸馏项目，团队图省事，直接从教师模型那里跑了两万条“Python函数生成”任务，感觉数据量足够大了。结果模型在验证集上跑出来还行，一放到真实场景就频繁出问题——后来查原因发现，那两万条数据里80%集中在数组排序和字符串操作，其他场景几乎没覆盖。
这就是蒸馏数据偏斜的问题，也是经常被忽略的坑。教师模型在生成数据时，天然会偏向它自己擅长的方向和提示词容易触发的方向，如果你没有人为做均衡，学生模型的“视野”会非常窄。现在我做蒸馏任务，一定会做一轮数据分布审计：统计生成数据的主题分布、长度分布、困难程度分布，任何一个维度占比超过40%，都需要定向补充或者重新生成。
4.3 模型变小不等于能力等比缩小
很多团队做蒸馏的初衷，是想用一个小模型替换大模型来节省推理成本。但这里有个认知误区——蒸馏确实能让你“能力密度”大幅提升，但它没办法凭空创造教师模型本身就没有的能力。教师模型会的东西，学生才能学到；教师模型也不会的东西，你蒸馏一万次也没用。
我见过最离谱的预期是：拿着一个擅长通用对话的教师模型去蒸馏，却指望学生模型能解决复杂的数学推理问题。这不叫蒸馏，这叫做梦。做项目之前，先想清楚你的教师模型是不是覆盖了你目标场景的核心能力区间，否则蒸馏完你会发现自己买了一个低配版、但功能范围一样受限的平替。
还有一个容易被忽略的：蒸馏虽然能压缩知识，但很难压缩模型的世界模型能力。学生模型的参数量如果小到一定程度，它可能连教师模型70%-80%的行为都装不下，强行蒸馏只会徒增训练成本却看不到收益。
4.4 个人体会：更稳妥的路径是先自己培养“教师”
踩过这么多坑之后，我现在对蒸馏的态度变得谨慎很多。如果你是想在商业项目里快速达到及格线，那蒸馏开源模型是非常高效的路径。但如果你要在这个基础上做长期积累，我更推荐一个“间接蒸馏”的思路——先拿开源模型蒸馏自家模型，把自家的模型能力提到一定程度之后，再用自家模型去生成数据做迭代微调。
道理很简单：一旦你依赖某个闭源模型来持续生产高质量数据，你自己的迭代节奏就永远被那个模型牵制住了。哪天对方的服务条款变更、价格调整、或者干脆封禁你的账号，你的整个数据生产管线直接就瘫痪了。我自己吃过这个亏——那段时间特别焦虑，每天醒来第一件事是查API调用次数和账单。
后来我调整策略，把70%的训练数据切换到开源基座生成，闭源模型只做10%的“盲区补漏”。整个训练管线稳定了很多，而且模型迭代一次的成本直接降了一半多。如果你问我今天做蒸馏最大的心得是什么，我可能不会跟你说技术细节，而是说一句“不要把你的命脉寄在别人的水龙头上”。把基座握在自己手里，才是真正的安全。
5. 蒸馏相关的几个常见问题速查
5.1 蒸馏和版权抄袭的边界在哪里
蒸溜和抄袭在技术上最大的区别是：抄袭是复制模型权重或代码，属于直接的资产侵占；蒸馏是透过行为特征的学习再造一个新模型，属于“借鉴行为”。两者在法律定性上差别很大，但在商业规则里，如果你蒸馏的对象是受服务协议保护的闭源模型，又没有授权，那风险其实是类似的——核心不是看你怎么“偷”的，而是看你“拿”到了什么，以及有没有使用许可。
5.2 蒸馏后的模型会不会“变笨”
这要看你把“笨”定义成什么。如果你的意思是它会不会在常见任务上表现更好、响应更快，那答案是“一般不会变笨，甚至还会更聪明”，因为蒸馏本质上就是把大模型的能力浓缩到小模型上，是可以做到在单个任务上超过教师模型的。但如果你把它放到开放世界里，去问它一些训练分布之外的问题，那它大概率会显得没见识——这个“笨”不是蒸馏的锅，是小参数模型的物理极限。
5.3 中小团队应该怎么合理借力
我的建议是分三步走。第一步，优先选一个开源许可足够宽松的基座模型，把权重掌握在自己手里，这是后续所有操作的前提；第二步，把蒸馏当成一个“能力搬运”的手段而不是“能力创造”的手段，先明确你要搬运什么能力，不要指望它变出魔法；第三步，在你的训练数据管线里加入合规审查，记录每一条训练数据的来源，这对未来发布模型、应对质疑都是重要的护身符。
说到这里，我其实想补充一点自己的真实观察：6到9个月之后，这波蒸馏争议大概率会催生一个行业共识——不管技术上行不行得通，“拿到别人的行为学数据之前先拿到授权”会变成一条新的默认规则。提前把这条规则内化到流程里，比等出事之后再公关要划算得多。
