LLM模型血缘判断：从零训练还是派生？用模型指纹识别技术溯源

做 LLM 应用开发时，最让人头疼的问题之一就是：你拿到一个开源模型，却不清楚它到底是在原始基座模型上微调出来的，还是从零开始预训练出来的。这个看似只影响“出身”的信息，一旦进入模型选型、能力评估、合规审计和线上排障，就会变成非常关键的技术判断依据。比如，团队采购或者引入一个号称“自研”的模型，结果经不住溯源验证；又比如，内部模型在迭代几个版本后，已经没有人记得它继承过哪条基座分支。项目标题里的 Model Genome（模型基因组）这个概念，正是为了解决这类问题。本文会从概念讲起，给出指纹识别的基本思路，并附带一套可以使用 Hugging Face 模型快速验证的 Python 代码。你可以把它当作一篇“模型血缘判断”的入门教程来读，也可以直接拿代码去对比两个候选模型是否在血缘上更接近。

1. 为什么需要判断 LLM 是从零训练还是派生而来

1.1 模型来源乱象

现在开源模型生态越来越庞大，同一个架构下可能有几十个微调版本。很多场景下，我们拿到的“新模型”并没有独立的技术报告，也没有公布基座模型、训练数据和训练细节。于是会出现几种典型情况：

• 某些发布方把开源基座模型换了个名字，甚至只是做了一轮很轻量的指令微调，就宣称是全新模型。
• 部分商业产品对外说是自研模型，实际底层依赖开源模型，甚至保留了原模型的部分可识别特征。
• 企业内部可能有多个部门分别微调同一个基座模型，最终合并时发现版本关系完全混乱。
• 安全审计时需要确认某个模型是否包含从其他模型继承来的能力，尤其是涉及数据合规和知识产权风险时。

这些问题的共同点是：我们需要一种技术手段去判断“模型 A 和模型 B 是否存在派生关系”，而不是只依赖发布方的说明。这就是模型指纹识别能发挥作用的地方。

1.2 从零训练与派生的定义

在正式讨论指纹之前，先明确两个概念。

Trained from Scratch，从零训练，指的是模型在一组随机初始化参数的基础上，从头经过预训练或者完整训练流程得到最终权重。这种情况下，模型能力的形成主要依赖训练数据、模型架构和训练算法。从零训练通常意味着更高的算力成本、更长的训练周期，以及更大的数据工程投入。

Derived，派生，指的是模型不是从随机初始化开始，而是在某个已经存在的模型基础上继续演化。常见的派生方式包括：

• 在基座模型上继续预训练。
• 在基座模型上做指令微调（SFT）。
• 使用 RLHF / DPO 等方式做偏好对齐。
• 对模型做蒸馏，得到结构更小的压缩模型。
• 对模型做量化、剪枝或知识编辑。

派生模型会继承基座模型的大量行为特征。即使经过了任务微调，它在通用语言分布、基础世界知识、甚至某些安全偏好上，仍然会保留原模型的“痕迹”。这既是模型的优点，也是判断血缘关系时可以利用的证据。

1.3 Model Genome 想解决什么问题

Model Genome 这个概念可以理解成“模型的基因组”。生物里，基因组决定一个物种的身份和进化关系；模型里，我们无法直接读取一串基因序列，但可以通过一组稳定的特征探针，提取出能够代表模型身份和行为模式的特征向量。这些特征向量组合起来，就构成了模型的“基因指纹”。

需要特别说明的是，Model Genome 并不是某一个官方标准，而是一类研究方向的统称。社区里常说的 LLM Wiki 也会记录模型谱系，但它依赖人工维护和发布方声明，时效性和准确性都有限。模型指纹识别则试图从模型本身找到证据，让“是否同源”这个问题不再停留在口头描述上。在实际项目中，它常用于三件事：

• 模型身份验证：确认一个模型是否确实是从某个已知基座演化而来。
• 模型选型评估：多个候选模型能力接近时，通过血缘关系判断选择的可靠性。
• 合规审计：在引入外部模型或接受第三方交付时，为“是否复制/继承”提供技术参考。

2. 指纹识别的基本原理

2.1 指纹不是一串随机 ID

很多人第一次接触“模型指纹”这个概念时，会误以为它是模型文件里存的一串固定 ID，比如某种水印。其实水印是主动嵌入的，而指纹识别更接近被动分析。

模型指纹通常来自模型在特定输入下的行为特征。由于模型的行为由参数决定，而参数又来自训练过程，因此训练路径不同的模型，即使在同一个评测集上表现很接近，内部表示和输出分布仍然会存在差异。这种差异就可以被提取成指纹。

换句话说，我们不是给模型贴标签，而是通过一组精心设计的探测任务，观察模型在“面对相同输入时的反应”，再根据反应的相似度推断血缘关系。

2.2 可迁移的输出分布特征

对于大语言模型来说，最容易获得的输出是词表上的 logits 分布。给定同样的 prompt，基座模型和它的微调模型，在预测下一个 token 时，通常会有一定比例的高概率 token 是重叠的。

为什么会这样？因为在预训练阶段，模型已经学到了大量语言规律和知识。指令微调调整的是模型“如何回答”的分布，但很难完全抹掉原始预训练分布。只要微调的步数不够多、学习率不够大，模型在大多数普通 prompt 下仍然会大概率输出与基座相似的候选 token。

因此，我们可以用一组固定的 prompt，提取模型在最后一个 token 位置的 top-k 候选 token 及其概率，然后把它们作为行为指纹。

2.3 参数扰动响应

除了直接比较输出分布，还有一种思路是观察模型对微小参数扰动的敏感程度。

当我们给模型的参数加入少量随机噪声时，模型的输出会发生变化。如果两个模型来自同一个基座，它们的参数空间存在对应关系，那么在同一组扰动下的响应模式也会比较接近。反之，如果两个模型是从不同数据、不同随机种子、不同架构下训练出来的，那么它们面对同样扰动时，输出变化的轨迹通常会有明显差异。

这种方法需要能够直接访问模型权重，因此更适用于本地部署后的模型审计。实际工程中可以把它作为输出分布指纹的补充，而不是替代。

2.4 血缘关系的判断指标

在实际判断中，我们不能只看单一指标，通常需要组合以下几种：

• Top-K Token 重叠度：两个模型对同一 prompt 产生的高概率 token 集合是否接近。
• 概率分布距离：比较完整词表概率分布的 KL 散度或 Jensen-Shannon 距离。
• 隐层表示相似度：比较模型中间层输出的 CKA 相似度，适合结构不同的模型。
• 参数扰动响应差异：加入相同噪声后，logits 变化方向的相似度。
• 下游行为一致性：在特定任务上的输出风格、错误模式是否高度一致。

这些指标没有绝对阈值，更适合做相对比较。比如，候选模型 A 与基座模型的距离，明显小于候选模型 B 与基座模型的距离，那么 A 更有可能是从该基座派生的。

3. 环境准备与依赖

3.1 运行环境

为了演示模型指纹识别，我们不需要特别大的 GPU 资源，一台普通开发机就能完成概念验证。建议环境如下：

• 操作系统：Windows / Linux / macOS 均可。
• Python 版本：3.9 及以上。
• 深度学习框架：PyTorch 2.x。
• 模型加载工具：Transformers 4.x。
• 数值计算：NumPy。
• 可选：scikit-learn 或 SciPy，用于计算部分距离指标。

版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。如果你的机器没有 GPU，CPU 也可以运行，因为示例中的模型都比较小。

3.2 模型选择

为了便于复现，我选择 Hugging Face 上的两个公开模型作为示例：

• gpt2：作为“基座模型”的替代。
• distilgpt2：作为“从 gpt2 派生出来的蒸馏模型”的替代。

distilgpt2是通过知识蒸馏从 GPT-2 训练得到的，因此它在行为上和gpt2存在很强的血缘关系。我们还要准备一个对照模型：

• 随机初始化的 GPT2 模型：作为“完全无关模型”的替代。

这个随机初始化模型可以看作一个最原始的“从零训练”起点。它的输出行为与任何真实预训练模型都不相似，因此可以作为判断相似度大小的参照。

如果文本生成模型下载比较慢，也可以提前把权重下载到本地目录，然后通过本地路径加载。实际使用时，请把模型路径替换成你自己需要对比的模型。

3.3 项目结构

建议新建一个目录，例如model_genome_demo，目录结构如下：

model_genome_demo/ ├── fingerprint.py ├── compare_models.py └── prompts.txt

• fingerprint.py：定义指纹提取函数。
• compare_models.py：加载模型并计算相似度。
• prompts.txt：存放一组固定的探测 prompt。

下面开始讲解核心代码。代码都保持“教学示例”风格，实际生产环境需要根据你的模型和硬件做调整。

4. 完整实战：用 Logits 指纹判断模型血缘

4.1 准备探测 Prompt

模型指纹的稳定性很大程度上取决于探测 prompt 的选择。建议准备一组覆盖不同能力的输入：

• 通用句式，如"This sentence is"。
• 知识类问题，如"The capital of France is"。
• 代码类片段，如"def hello(): return"。
• 中文输入，如"中国的首都是"。
• 指令型输入，如"Please write a short email about"。

这里要注意：如果两个模型的 tokenizer 不同，直接比较 logits 会有问题。好在示例中gpt2和distilgpt2使用同一个 BPE 词表，我们可以直接比较最后一层 logits 的概率分布。

在项目中新建prompts.txt：

The capital of France is This sentence is def hello(): Today the weather is 中国的首都是 Python is a Once upon a time

4.2 加载模型并提取指纹

新建fingerprint.py，代码中将模型加载、指纹提取和分布相似度计算封装成函数。

# fingerprint.py import torch import torch.nn.functional as F import numpy as np def load_model_and_tokenizer(model_name): from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # GPT2 系列没有 pad token，这里用 eos token 占位。 if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token model.eval() return model, tokenizer def extract_topk_fingerprint(model, tokenizer, prompts, top_k=100): """在最后一个 token 位置提取 top_k 候选 token 和概率。""" fingerprint = {} for prompt in prompts: inputs = tokenizer( prompt, return_tensors="pt", truncation=True, max_length=64, padding=False, ) with torch.no_grad(): outputs = model(**inputs) # 取最后一个 token 位置的 logits。 next_token_logits = outputs.logits[0, -1, :] probs = F.softmax(next_token_logits, dim=-1) top_probs, top_indices = torch.topk(probs, k=top_k) fingerprint[prompt] = { "tokens": top_indices.cpu().numpy(), "probs": top_probs.cpu().numpy(), } return fingerprint def compute_full_distribution(model, tokenizer, prompt): """计算指定 prompt 下最后一个 token 的完整概率分布。""" inputs = tokenizer( prompt, return_tensors="pt", truncation=True, max_length=64, ) with torch.no_grad(): outputs = model(**inputs) logits = outputs.logits[0, -1, :] probs = F.softmax(logits, dim=-1).cpu().numpy() return probs

这段代码的作用是在给定 prompt 下，得到模型对“下一个 token 是谁”的预测概率。top_k越大，指纹包含的信息越多，但噪声也会增加。对于初步判断，top_k=100是一个比较合适的值。

4.3 计算概率分布距离

我们需要一个距离函数来量化两个模型分布的差异。这里用 Jensen-Shannon 距离（JSD）作为主要指标：

def js_divergence(p, q, eps=1e-10): """计算两个概率分布之间的 Jensen-Shannon 散度。""" p = np.clip(p, eps, 1.0) q = np.clip(q, eps, 1.0) p = p / p.sum() q = q / q.sum() m = 0.5 * (p + q) left = 0.5 * np.sum(p * np.log(p / m)) right = 0.5 * np.sum(q * np.log(q / m)) return left + right def js_distance(p, q): """返回 JSD 的平方根，满足距离公理。""" return float(np.sqrt(js_divergence(p, q)))

JSD 越小，表示两个分布越接近。如果两个模型完全一样，JSD 为 0；如果两个模型的行为完全不相关，JSD 会趋向一个比较大的值。相比单纯的 KL 散度，JSD 对称且更稳定，适合做两两比较。

4.4 编写主对比程序

新建compare_models.py，用三个模型做对比：

• gpt2：基座模型。
• distilgpt2：可能是派生模型。
• 随机初始化的 GPT2：无关模型。

随机初始化模型的构造方式如下：

from transformers import GPT2Config, GPT2LMHeadModel random_config = GPT2Config() random_model = GPT2LMHeadModel(random_config)

这个随机模型没有经过任何训练，词表大小和 GPT-2 一致，因此可以直接使用同一套 tokenizer。它代表一条完全不同的“训练路径”，也就是没有任何继承关系。

完整代码如下：

# compare_models.py import numpy as np from fingerprint import ( load_model_and_tokenizer, compute_full_distribution, js_distance, ) PROMPTS = [line.strip() for line in open("prompts.txt", encoding="utf-8") if line.strip()] def compare_pair(model_a, tokenizer_a, model_b, tokenizer_b, prompts): distances = [] for prompt in prompts: p_a = compute_full_distribution(model_a, tokenizer_a, prompt) p_b = compute_full_distribution(model_b, tokenizer_b, prompt) distances.append(js_distance(p_a, p_b)) return distances def format_result(name_a, name_b, distances): avg = float(np.mean(distances)) std = float(np.std(distances)) print(f"{name_a} vs {name_b}") print(f" 平均 JSD: {avg:.6f}") print(f" 标准差: {std:.6f}") print() if __name__ == "__main__": base_model, base_tokenizer = load_model_and_tokenizer("gpt2") derived_model, derived_tokenizer = load_model_and_tokenizer("distilgpt2") from transformers import GPT2Config, GPT2LMHeadModel random_config = GPT2Config() random_model = GPT2LMHeadModel(random_config) random_model.eval() # 随机模型使用 base_tokenizer，因为词表一致。 d1 = compare_pair(base_model, base_tokenizer, derived_model, derived_tokenizer, PROMPTS) format_result("gpt2", "distilgpt2", d1) d2 = compare_pair(base_model, base_tokenizer, random_model, base_tokenizer, PROMPTS) format_result("gpt2", "random_gpt2", d2) d3 = compare_pair(derived_model, derived_tokenizer, random_model, base_tokenizer, PROMPTS) format_result("distilgpt2", "random_gpt2", d3)

4.5 运行与结果说明

在命令行中运行：

python compare_models.py

如果模型没有提前下载，程序会自动从 Hugging Face 下载gpt2和distilgpt2的权重。下载失败时可以提前手动下载到本地，然后把load_model_and_tokenizer的参数改为本地路径。

预期的相对结果是：

• gpt2与distilgpt2的平均 JSD 明显小于gpt2与随机模型的距离。
• distilgpt2与随机模型的距离通常也比较大，因为它保留了大量语言能力，行为并不是随机分布。

需要提醒的是，不同 prompt 下绝对值会有波动。因此，实际判断时不要只看某一项距离，而是看多组 prompt 的平均值、方差，以及三组对比的相对排序。

5. 常见问题与排查思路

5.1 模型结构不同，无法直接比较输出分布怎么办

如果两个模型的 tokenizer、词表大小不同，那么最后一层 logits 的维度不一致，不能直接计算 JSD。这时候可以采用两种替代方案：

• 使用隐层向量比较：对同一段文本，分别提取两个模型最后一层隐藏层输出，然后用 CKA 相似度衡量表示空间是否接近。
• 使用 token 投影：把两个模型的候选 token 映射到公共词表，再比较重叠度，但会损失精度。

CKA 是一种常见的表示相似度指标，对线性变换不敏感，适合比较不同宽度和深度的模型。它的实现可以直接使用开源库，也可以手动计算。

5.2 指纹结果不稳定，多次运行差异很大

模型在推理阶段通常是确定性的，但以下情况会导致结果波动：

• 显存不足导致中间结果被放到 CPU，产生数值差异。
• 使用半精度推理时，logits 精度发生变化。
• prompt 拼接时 padding 策略不一致。
• 测试 prompt 太少，受到单个样本影响较大。

解决方法是固定推理设备、固定max_length、使用一致的 padding 策略，并准备更多样化的 prompt 集。每次比对时，多个 prompt 一起计算平均值，而不是单条 prompt 下结论。

5.3 LLM 指纹识别和 ComfyUI 这类工作流必须在同一台电脑上吗

这个问题经常出现在可视化部署场景中。ComfyUI 主要面向图像生成工作流，LLM 指纹识别则是 NLP 模型分析任务，两者并不要求安装在同一台电脑上。

我们可以把指纹识别脚本部署在独立的离线分析环境中，只要能够加载待检测模型的权重即可。不过要注意一点：如果两个模型运行在不同精度的设备上，logits 会存在微小差异。因此，正式对比时最好在同一个硬件环境、同一个dtype下完成。这比“是否同一台电脑”更重要。

5.4 模型经过量化或剪枝后，指纹是否失效

会受影响。量化会改变参数精度，导致输出分布出现偏移；剪枝会删除一部分参数，使得原本的 logits 分布发生变化。对于这类压缩模型，建议不要单独使用 logits 分布，可以结合参数扰动响应和下游行为一致性综合判断。

6. 最佳实践与工程建议

6.1 建立模型资产指纹库

在一个长期维护的团队中，建议每次发布模型时都生成一次指纹快照。快照中至少记录：

• 模型名称和版本号。
• 基座模型信息。
• 指纹提取时间。
• 使用的 prompt 集和算法版本。
• 模型哈希值。
• 各 prompt 下的分布指纹文件。

有了指纹库，后续拿到任何新模型，都可以在库中检索最近邻居，快速判断它是否来自家族内部。这比临时找旧权重、人工回忆要可靠得多。

6.2 使用稳定的探测 Prompt 集

探测 Prompt 集应该做到“长期不变”和“覆盖多维能力”。建议包含：

• 世界知识类问题。
• 语言理解类句子。
• 代码生成片段。
• 中英文混合输入。
• 指令跟随类问题。
• 开放式续写。

每次更新算法时，要保存版本号。不同版本的指纹不应直接混用，否则会影响横向对比。

6.3 多维度交叉验证

在实际项目中，我会建议至少同时使用三类证据：

• 输出分布指纹：最快，适合大规模筛选。
• 参数扰动响应：需要能访问权重，适合重点确认。
• 下游任务相似度：用一组固定的评测题，观察两个模型错误的模式和分布。

只有三类证据都指向同一结论时，才适合在报告里下判断。如果只有输出分布相似，可能只是两个模型在某个任务上表现接近，并不一定说明派生关系。

6.4 安全与合规边界

模型指纹识别能提供技术参考，但不能替代法律和合规判断。在执行以下操作时，要特别注意：

• 只在有权访问的模型上做指纹提取。
• 如果模型许可证禁止逆向或探针分析，先确认授权边界。
• 不要使用包含敏感个人数据的 prompt。
• 生产环境中对模型权重做改动或扰动前，先备份原始权重。

如果你是在第三方模型上做审计，最好保留完整的操作日志，包括加载时间、推理设备、探测 prompt 和结果，方便后续复核。

7. 总结与学习路线

7.1 核心收获

读完本文，你应该已经清楚 Model Genome 不是一个神秘的黑盒技术，而是一套可落地的“模型血缘分析”方法论。判断一个 LLM 是从零训练还是派生而来，最直接的方式就是对比候选模型与已知基座模型在固定 prompt 下的输出分布。本文给出的 JSD 距离计算脚本可以直接作为一个小工具使用，帮助你快速建立初步结论。

7.2 后续学习方向

如果你想继续深入，可以从以下几个方向入手：

• 学习 LogitLens 等可解释性方法，理解模型每一层保留了什么信息。
• 学习 CKA 相似度，解决不同结构模型之间的表示对比问题。
• 了解模型水印与模型指纹的区别，理解主动保护和被动溯源的边界。
• 尝试把指纹提取做成 CI/CD 流水线，在每次模型训练完成后自动生成指纹快照。

如果你也在做模型选型、模型合规或内部模型治理，建议先把本文这套流程跑通，然后再加入更复杂的指标。模型指纹识别的核心不是堆算法，而是用稳定、可复用、可解释的方式，给每一个模型建立一份可追溯的“身份档案”。