合成数据不是免费的数据：数据合成质量控制的五类风险与四项验收指标
摘要
合成数据能补长尾、降标注成本，但它同时会把底座的缺陷一起放大。本文从全国数标委 2026 年第二批国标需求清单里的"数据合成质量控制"说起，拆开三种合成方式的风险差异，给出五类风险的可测指标与判据、四项验收阈值、四道入库门禁，以及一份可复现的生成配置与抽检记录模板，最后列出三个最常见的误用。
前言
去年底帮一家企业做客服语料补充。他们的真实对话只有 8 万轮，长尾场景（退保、跨省迁移、异常扣费）样本太少，模型在这几类问题上答非所问。
团队的方案很直接：用大模型按场景生成 40 万轮对话，人工抽检 500 条"看着挺像"，就混进训练集了。
三个月后模型上线，长尾场景的准确率确实涨了 6 个点，但整体意图识别掉了 2 个点，而且出现了一种奇怪的现象——不管用户问什么，模型都倾向于先来一段"非常理解您的心情"。
复盘时发现两个问题：一是生成时用了同一套提示词模板，句式高度同质；二是他们的评测集里，有 30% 的样本本身就是模型生成的。
这就是合成数据最典型的陷阱：它不产生新的信息，只放大已有数据的分布。底座干净，它放大干净；底座有偏，它放大偏差。
2026 年 10 月 11 日，全国数标委印发 2026 年第二批数据领域国家标准需求清单（全国数标委秘〔2026〕56 号，共 113 项，申报截止 10 月 31 日）。其中第 20 项《高质量数据集 数据增强技术要求》、第 21 项《高质量数据集 数据合成质量控制要求》都是 GB/T 层级、归 WG5。这说明一件事：合成数据已经从"团队自己看着办"的工程技巧，进入需要统一质量口径的阶段。
需要先说明：这是需求清单，不是已发布标准，距离正式立项、征求意见、发布还有很长周期。企业现在能做的不是等标准，而是把质量控制的口径先建起来——下面这套方法，就是按"标准大概会管什么"倒推的。
一、先分清三种"合成"，风险完全不是一回事
很多争论吵不到点上，是因为把三种东西混着叫"合成数据"。
| 类型 | 生成方式 | 典型用途 | 主要风险 | 成本 |
|---|---|---|---|---|
| 规则生成 | 模板 + 参数组合 + 业务规则 | 表单、工单、测试数据 | 组合爆炸、脱离真实分布 | 低 |
| 模型生成 | 大模型按提示词/种子样本生成 | 对话、摘要、长尾场景补充 | 同质化、幻觉、评测污染 | 中 |
| 真实增强 | 对真实样本做改写、回译、加噪、裁剪 | 文本分类、图像检测 | 语义漂移、标签不一致 | 低~中 |
规则生成的问题在"太整齐"。真实工单里客户会写错别字、会漏填、会夹杂方言，模板生成的数据训练出来的模型，一遇到脏输入就崩。
模型生成的问题在"太像自己"。同一模型、同一提示词、同一温度参数，生成的东西天然聚集在高概率区域，长尾反而被抹平。
真实增强的问题在"标签跟着变"。把"我要退保"改写成"这个保险我不想交了"，情感没变，但意图分类的边界可能变了；图像加噪之后，标注框是否还准确，需要重新校验。
有一句话值得记住：合成数据是放大器，不是地基。2024 年 Nature 那篇讨论模型崩溃的论文（Shumailov 等）说的是"递归用自产数据替换真实数据"的场景；斯坦福团队随后的研究（arXiv:2404.01413）做了一个重要限定——只要真实数据与历代合成数据累积保留，测试误差存在与迭代次数无关的上界。业界实践站在"累积"这一侧：真实数据打底，合成数据定向补缺，再加严格过滤。Gartner 在预测 2030 年合成数据用量将超过真实数据的同时，也警告偏差会被合成过程进一步放大（公开预测口径，非本文结论）。
二、五类风险：怎么发现，用什么指标
2.1 分布漂移
现象：合成集在长度、实体密度、意图分布上与真实集对不上。模型学到的"世界"比真实世界窄。
检测：
- 数值特征逐列做 KS 检验，看 p 值与效应量，不只看 p 值；
- 文本把句子过一遍 embedding，算真实集与合成集的 MMD（最大均值差异）；
- 类别分布做卡方检验，重点看低频类是否被"补"得过头。
判据建议：MMD 超过真实集内部两次随机切分的基线 2 倍，判定为显著漂移；低频类占比与真实集偏差超过 3 个百分点，触发人工复核。
2.2 模式坍塌（同质化）
现象：生成样本开头雷同、句式单一、实体组合重复。上面那个客服案例就是。
检测：
- 去重率：精确去重 + MinHash 近似去重，看 5-gram Jaccard > 0.8 的样本占比；
- 多样性：distinct-1/2/3、self-BLEU（越低越多样）；
- 信息密度：token 级熵值，按业务语料基线对比；
- 长尾覆盖：按实体/意图分桶，统计每桶的独立模板数。
判据建议：5-gram 近似重复率 > 15%，或 self-BLEU 比真实集高 0.1 以上，视为同质化超标。
2.3 标签泄漏
现象：生成时把答案写进了输入。比如生成"投诉工单"时，正文里直接出现"这是一条投诉"；或者生成的样本与评测集高度重合。
检测：
- 输入与标签的 n-gram 重叠率；
- 输入与评测集的 embedding 余弦相似度，> 0.95 的配对要人工看；
- 训练集与评测集的 MinHash 指纹比对。
判据建议：任一标签的输入-标签重叠率 > 20%，该批次退回重生成。
2.4 隐私残留
现象：模型把真实样本里的手机号、身份证号、住址、病历片段"背"了出来。
检测：
- 正则 + NER 双通道扫描 PII；
- canary 注入：生成前在种子样本里埋入唯一假串，看生成结果是否复现；
- 成员推断攻击（membership inference）的 AUC，明显高于 0.5 说明记忆效应强。
判据建议：PII 命中即拦截；canary 复现率 > 0 需要排查提示词与种子；成员推断 AUC > 0.65 建议降低真实样本在提示中的占比。
2.5 评测污染
现象：用合成数据补训练集，同时又把合成数据放进评测集。指标好看，上线就掉。
检测：
- 评测集建立指纹库（每条的 MinHash + 来源标记）；
- 每次训练前做一次训练-评测交叉去重；
- 评测集里"合成来源"占比必须显式统计。
判据建议：评测集中合成样本占比上限建议 10%，且必须单独报告"纯真实评测集"上的指标。
三、四项验收指标：把"看着像"换成"测得准"
合成数据验收最容易糊弄的地方，是用肉眼抽检代替指标。建议固定四项，每项都要有阈值和责任人。
| 指标 | 怎么算 | 建议阈值 | 不达标的处置 |
|---|---|---|---|
| 分布一致性 | 数值列 KS 效应量 + 文本 embedding MMD | 不超过真实集内部基线 2 倍 | 调整生成策略或降低混入比例 |
| 下游增益 | 在纯真实测试集上做 A/B：加合成 vs 不加 | 目标指标提升 ≥ 1 个点，且无显著下降项 | 回退，不进入训练集 |
| 长尾覆盖 | 按意图/实体分桶的独立样本数与模板数 | 每个目标桶 ≥ 50 条独立样本 | 定向补生成，不做全局扩容 |
| 隐私安全 | PII 命中数、canary 复现率、成员推断 AUC | PII = 0；canary = 0；AUC ≤ 0.65 | 整批隔离，排查种子与提示词 |
四项里最容易被跳过的是第二项。很多团队只做"合成集自身的质量评估"，不做"加了它之后模型有没有变好"。合成数据的价值只能由下游任务定义，不能由它自己定义。
四、四道入库门禁与一份可复现的生成配置
4.1 门禁顺序不能反
- 来源与授权卡：种子数据从哪来、有没有授权、是否含敏感字段；
- 生成配置卡：模型版本、提示词版本、温度、种子、生成时间、批号，全部留档；
- 质量抽检卡：按上面五类风险分层抽样，不是随机抽 100 条看感觉；
- 对照评测卡：在纯真实集上跑基线 vs 增量，出报告才准入。
顺序反了会怎样？先做评测、再补授权，一旦授权出问题，前面所有评测白做。
4.2 生成配置模板
batch_id:SYN-20261022-003purpose:"客服长尾意图补充（退保/跨省迁移/异常扣费）"generator:model:"<模型名与版本>"prompt_version:"cs-v7"temperature:0.7top_p:0.9seed:20261022seed_data:source:"prod.cs_ticket_2025H2（已脱敏）"sample_size:800pii_scan:"passed"authorization:"数据授权单 DA-2026-118"generation:target_size:20000per_intent_cap:3000dedup:"minhash_jaccard_0.8"filtering:pii:"regex+ner"label_leakage:"ngram_overlap<=0.2"diversity:"self_bleu<=baseline+0.1"acceptance:pure_real_eval:"cs_eval_real_v3（指纹库已登记）"min_gain:0.01reviewer:"数据质量组-李X"这份配置的意义不是"规范好看"，而是可复现。半年后模型出问题，能回答"这批数据当时是怎么生成的"。
4.3 抽检记录表（最小字段集）
| 字段 | 说明 |
|---|---|
| batch_id | 批号，与配置一一对应 |
| stratum | 抽检层（意图 × 风险类型） |
| sample_size | 该层样本量 |
| finding | 发现的问题类型与条数 |
| severity | 高/中/低 |
| action | 放行/重生成/隔离 |
| recheck | 复检结果与复检人 |
分层抽样的关键是"按失败模式分层"，不是按时间或 ID 排序取前 N 条。这一点和验收抽检是同一个道理：样本怎么抽，决定了结论可不可信。
4.4 混入比例怎么定：从 10% 开始做梯度实验
配比没有万能公式，但有一个可操作的实验设计。
先固定真实数据为基数，按 10%、20%、30%、50% 四档混入合成数据，每档跑一次训练，在纯真实评测集上看目标指标。画出来的曲线通常是先升后平、再升则降。
选择规则建议：
- 取"指标开始走平"的那一档作为初始配比，留出上调空间；
- 长尾桶可以单独提高配比（比如某个意图真实样本只有 50 条，允许 1:3 混入），不必全局统一；
- 一旦某档出现"整体指标下降、长尾上升"，说明合成数据在侵蚀通用能力，回退一档。
还有一个经验：合成数据占比越高，对生成配置的可复现性要求越高。10% 的时候，配置丢了大不了重跑；50% 的时候，配置丢了等于训练集不可重建，这在审计场景里是很严重的问题。
五、三个最常见的误用
误用一：把合成量当产能。“我们这个月生成了 200 万条”——数量不是成果。要看的是有效增量：去重后、过滤后、通过验收后，真正进入训练集且带来增益的条数。
误用二：拿合成数据做评测集。这是最隐蔽的一种。合成数据参与训练，又出现在评测里，等于自己出题自己考。评测集必须有一份"纯真实、永不复用、指纹登记"的版本。
误用三：不留生成配置。只留数据不留参数，出了问题无法定位是提示词、模型版本还是种子的问题。更麻烦的是无法复现，也就无法做增量对比。
总结
合成数据这件事，技术门槛不高，治理门槛不低。真正决定成败的是三件事：
- 定位清楚：它是补长尾的放大器，不是替代真实分布的地基；
- 指标固定：分布、增益、覆盖、隐私四项，每项有阈值、有责任人、有处置动作；
- 过程可查：配置、抽检、评测三段留痕，能复现、能追溯、能回退。
国标需求清单把"数据合成质量控制"单独列项，说明行业已经意识到这不是某个团队的手艺问题。等标准正式出台再动，通常要落后两年；现在先把内部口径建起来，标准出来时只需要对齐条款，而不是从零补课。
顺带提醒一句：需求清单只是预研方向，别拿去当合规依据，也别在方案里写成"符合国标"。
你们团队在用合成数据吗？是补长尾、做测试，还是替代标注？验收时看的是哪几个指标？欢迎评论区交流。
标签：合成数据、数据质量、数据治理、大模型、高质量数据集
