大模型训练数据与合成数据：从预训练对齐到高质量语料治理

简介：《阿里研究院2024大模型训练数据白皮书》以PDF形式呈现，面向大模型研发、数据治理与AI政策研究者，系统梳理训练数据的价值、类型、质量评估、合成数据、合规治理及中美数据生态差异，并对中文语料短缺、个人信息依赖等常见误解作出辨析。资源包共1个PDF文件，约11.93MB，内容涵盖大语言模型与多模态模型的数据特征、高质量数据标准、合成数据生成方法与作用、训练数据治理思路，以及阿里巴巴集团在大模型训练与应用中的探索。已有323人学习，适合希望快速建立大模型训练数据知识框架、理解合成数据方案与数据合规议题的读者，也可为相关研究、产品规划和政策分析提供参考素材。

1. 大模型训练数据到底指什么：先把它想成一所学校的“教材库”

很多人第一次听到“大模型训练数据”，会以为就是聊天记录、用户资料，或者一堆网页。更贴近的类比是：模型是一所没有老师的学校，教材、习题、参考答案、实验录像一起构成它的“教材库”。大模型训练数据就是这批用于学习的语料和标注反馈，包括网页、书籍、论文、代码、对话、图像-文本对、视频-文本对，以及人类对回答的排序和打分。它决定模型见过什么、会模仿什么、在哪些问题上容易翻车。搞懂它不是技术人员的专利：只有知道模型吃进去什么，才能判断它为什么有时像学霸、有时一本正经胡说八道，也才能分清“高质量数据”和“更多数据”并不是一回事。

2. 训练数据为什么分阶段：预训练要“广”，对齐要“齐”，行业模型要“专”

2.1 三个训练阶段，吃的数据并不是同一种“饭”

把一个大语言模型训练出来，不是把一堆网页倒进去就结束了。更接近真实过程的说法是：先上“通识课”，再上“答题课”，最后上“价值观和表达课”。这三个阶段分别对应预训练、监督微调、基于人类反馈的强化学习，后两个阶段常被合称为对齐。它们对数据的需求差别很大，混着理解就容易踩坑。

预训练阶段的目标是让模型建立基础能力，理解世界知识、语言规律和常见结构。这个阶段的数据特征是“广”：网页、书籍、新闻、论文期刊、对话文本、代码、百科知识、专业问答，能覆盖多少类型就覆盖多少类型。模型在这个阶段像在海量阅读里学语感、学事实、学推理链条，数据量通常最大，来源也最杂。它不需要每一条都像考试答案那样标准，但需要整体上信息密度足够、重复和噪声可控。

监督微调阶段的目标是让模型学会“怎么答”。标注人员会设计问题、写出参考答案，把例题投喂给模型，希望它在没见过的任务里也能举一反三。这个阶段的数据特征是“齐”：问题类型要覆盖，答案格式要稳定，表达要符合人类期待。它不一定需要海量，但需要质量高、示范性强。拿一堆随意抓取的网页去做微调，模型学到的可能是“像网页一样说话”，而不是“像一个可靠助手一样回答”。

基于人类反馈的强化学习阶段，目标是让模型的表达与人类偏好对齐。人类会对模型的不同回答打分、排序，告诉模型“哪种说法更好”。这个阶段的数据不是单纯的知识文本，而是偏好信号：哪条回答更有帮助、更安全、更清晰、更符合语境。它解决的是“模型知道很多，但说话方式不一定讨人喜欢”的问题。

如果一个行业模型要落到工业、金融、医疗等垂直场景，还需要第四层数据：特定领域知识。行业数据库、专业文档、专业网站、操作记录、专家经验，都属于这一类。它的特征是“专”，不一定覆盖全世界，但要在某个场景里有足够深度。预训练里没有学过的领域知识，很难靠后期微调凭空长出来；反过来，只有行业知识、缺少通用语言能力，模型又容易变成只会背手册的“问答机”。

注意：阶段划分是理解数据需求的工具，不是死板流水线。实际训练中会有交叉和变体，但“预训练要广、对齐要齐、行业要专”这条主线很少变。

2.2 多模态模型吃的不是“文字饭”，而是成对的感知材料

语言模型的训练材料主要是文本，多模态模型则要把图像、视频、语音和文字放在一起学。它模拟的是人类大脑处理信息的方式：看到一张图，能说出图里有什么；看到一段视频，能理解先后发生了什么；听到一段声音，能对应到场景和语义。训练这类模型，光有图片不够，光有文字也不够，关键是“配对关系”。

图像-文本对是最常见的一类数据：一张图像配一段描述图像内容的文本。模型在学习时，不只是记住图片里有一只猫，还要学习像素之间的组合关系、文字与图像的对应关系。比如“左边有一只橘猫，趴在窗台上，窗外下雨”这句话，会帮助模型把“橘色”“猫”“窗台”“雨”这些概念和画面中的区域关联起来。图像-文本对的质量，很大程度上取决于描述是否准确、是否具体、是否覆盖了画面里的关键信息。

视频-文本对更复杂：一段短视频配一段描述视频中事件的文本。模型不仅要学单个画面，还要理解时间序列和动态变化。比如“一个人先推开门，然后放下包，最后坐到椅子上”，这句话对应的是连续动作，而不是一张静态图。视频数据的标注成本更高，噪声也更多，所以视频-文本对的质量控制比图像更难。

多模态数据还包括音频、语音转写、传感器数据、仿真场景数据等。它们在自动驾驶、机器人、工业检测等场景里很常见。这里的“高质量”不只是清晰度高，还包括场景覆盖是否全面、标注是否一致、边缘情况是否足够。真实世界里罕见事件很难遇到，比如极端天气、罕见病、复杂路况、异常行为的人或车辆，这些数据往往需要靠模拟器、虚拟场景引擎或合成数据来补。

这也解释了一个常见困惑：为什么多模态模型有时能识别很细的物体，却会在简单因果问题上犯错？因为它学到的是感知材料里的统计关联，不是人类那种完整的常识体系。图像-文本对能教会它“看到什么”，视频-文本对能教会它“发生了什么”，但“为什么发生”“接下来应该怎样”还需要更多推理类、教材类、代码类数据配合。

2.3 中文语料和价值取向语料，不是同一个问题

聊到中文大模型，很多人会立刻想到一个现象：公开网页里英文内容远多于中文内容。于是有人担心，中文语料规模不够，会不会直接卡住中文大模型的发展。这个担心有一半是对的，但容易被简化成“中文语料少，所以模型不行”。实际情形更细。

规模上的短缺，并不是完全没有办法。世界知识里有很多客观事实，用英文表达和用中文表达，底层原理一致。机器翻译质量有保障时，可以把一部分英文知识转成中文训练材料。训练技术里也有安排语言顺序、调整配比的方法，让模型在学习资源较少的语言时仍然能获得足够特征。也就是说，“量”的缺口可以通过翻译、配比、训练顺序等手段缓解。

真正更难补的，是价值取向类语料。模型是概率分布模型，它学到的不只是事实，还有表达方式、判断顺序、文化背景和价值倾向。训练数据里哪些内容被反复出现，模型就更容易用相似的方式理解世界。中文使用者的文化背景、表达习惯、价值取向，需要通过大量本土内容来呈现。这类内容很难靠机器翻译补足，因为翻译再准确，也会带入源语言的偏见和叙事习惯。

文言文、古汉语、电子书籍、反映本土文化背景的公开内容，都可以成为这类语料的一部分。但它们在积累机制、数字化程度、开放共享和开发利用上，都还需要持续投入。古籍数字化率不高，很多资料停留在纸面或封闭系统里；行业文档、专业网站、优质对话也未必能直接拿来训练。结果就是：中文语料“量”的短缺尚有解法，价值取向类语料的短缺更值得警惕。

这也是理解“高质量数据”的入口。高质量不是简单等于“多”，也不是简单等于“干净”。它至少包含三层：信息是否准确、覆盖是否多样、与模型目标是否匹配。下一章要把这三层拆开，因为很多争论都卡在“高质量到底谁说了算”上。

3. 高质量数据为什么没有统一标准：三重不确定性和三个评估维度

3.1 第一重不确定：需要什么语料类型，会随模型能力需求变

高质量数据的第一重不确定性，来自“需要什么类型的语料”本身在变。它不是先有一张固定清单，然后大家照着清单去收集。模型能力需求变了，语料类型的重要性也会跟着变。

早期的基础模型更看重连贯对话能力，对话文本就被视为很重要的高质量数据。后来大家发现通用上下文理解更关键，书籍、科研论文这类长文本又变得重要，因为它们能帮助模型捕捉长距离依赖。再往后，推理能力成为更受关注的方向，代码数据和教材数据的重要性上升。代码里有大量条件控制、函数调用、异常处理，能训练模型按步骤解决问题；教材里有比较完整的数学推理和逻辑链条，能帮助模型学习“怎么一步步想”。

如果转向行业模型，语料类型就更难一一列举。广告场景可能需要经人类标注的视觉相似图片对，用来预测素材点击效果；自动驾驶可能需要人类驾驶员对稀有事件的应对数据，用来训练复杂路况、极端天气、异常行为场景下的处理能力；工业场景可能需要把生产流程、操作行为、时序数据转化成模型可读的语料。每个场景对“高质量”的定义都不一样。

所以，“高质量语料”的范围是不断拓展的。今天被认为一般的数据，明天可能因为模型能力需求变化而变得重要；今天被追捧的数据类型，也可能在技术路线变化后不再是核心。把高质量数据理解成一张固定清单，很容易在项目里翻车。

3.2 第二重和第三重：语料形态会变，搭配比例也会变

第二重不确定性，是语料形态在演化。同一种数据类型，随着技术进步，能被利用的形态会不断增强。过去难以直接使用的原始数据，经过加工、改造、泛化，可能变成模型训练可用的知识类数据。比如工业制造里的操作行为、时序数据，原本不是自然语言，但可以转成结构化信息，再结合行业知识图谱和专家经验，提炼成“在什么温度下应该怎么操作、好处是什么”的知识，最后泛化成更丰富的行业语料。

多模态领域也一样。自动驾驶、机器人、科学计算等场景，可以通过仿真生成更多样化、不同视角的物理世界数据，弥补真实世界对稀有事件观测不足的问题。模型长上下文能力增强后，代码数据从执行单一任务扩展到仓库级，教材数据从中小学级别扩展到大学级别，都是为了强化复杂场景下的推理能力。语料形态不是静止的，它会跟着模型能力一起长。

第三重不确定性，是不同数据类型之间的有效搭配。数据调度对模型能力有重要作用。不同类型的数据对能力的提升侧重点不同，来源配比不同，会影响模型泛化能力和下游任务表现。这里有两个关键环节：数据混合和数据课程。

数据混合，是调整不同来源数据的配比。训练的不同阶段可以设定不同配比，在实践中不断试出较优组合。比如在监督微调阶段，有研究从公开问答社区里精选高赞语料，配合手工整理的问答对，用“少而精”的数据取得不错效果。数据混合的常见策略，一是增加数据源多样性，二是根据目标任务选择对性能有积极影响的数据。

数据课程，是安排不同来源数据的学习顺序。一般来说，按技能集合的顺序组织预训练语料，从基础技能到目标技能，比直接只学目标技能更有效。先从通用或简单例子开始，逐步引入更专业、更复杂的数据，模型更容易把基础能力和专业知识接起来。这就像先学加减乘除，再学应用题，直接上来刷压轴题，容易把模型教成“只会套步骤，不会讲道理”。

3.3 同类数据怎么评：质量、规模、多样性，一个都不能少

对同类语料的质量评估，通常从质量、规模、多样性三个维度出发。但每个维度都不是简单的“越高越好”。

质量维度上，很多高质量数据之所以可信，是因为来源本身经过了筛选。新闻、科研论文、开源代码项目，往往有专业标准或社区审核；百科类内容有一群专注编辑者持续修订；精选问答有用户积极互动作为信号；专业图片和视频素材有设计师对光照、构图、艺术性、美观性做标注，形成高质量的图像-文本对。来源可信，不等于每条都完美，但能大幅降低筛选成本。

对于无法从来源直接判断质量的语料，人们会用评估模型打分。先对少量样本做人工评价，得到可读性、帮助性、安全性等指标，再用这些样本训练评估模型，把人工标准转化成机器可识别的特征和模式，然后对更大范围的网页信息做质量判断。这个方法能提高效率，但评估模型本身也会有偏差，所以人工抽检不能完全取消。

还有一类语料，连前置判断都很难。行业模型训练用的专业数据，涉及不同领域的知识，缺少统一判断标准，往往只能在模型训练中不断检验质量高低。也就是说，有些数据的好坏不是看出来的，是训出来的。这也决定了“高质量标准”很难被前置成一套放之四海而皆准的客观规则。

规模维度上，收集足够规模的高质量语料很重要。大模型有伸缩法则：模型参数或计算量按比例扩大时，性能也会随之提升；参数规模增加，也需要更多数据来训练。模型参数与训练语料之间存在类似的比例关系。但规模不是一味越大越好，高信息密度的语料规模大才有意义。一个四百TB级的公共网页抓取集，内容广泛但未经清洗；经过过滤噪声、删除重复内容后得到的三百GB级子集，反而可能训练出更好的模型。这说明数据清洗和去重有时比单纯堆量更关键。

多样性维度上，既要关注数据集公平性，也要关注安全能力。网络采集的信息可能对某些群体存在不平衡，训练时如果不审查和筛选，可能加剧偏见或系统性不平等。技术层面上，可以通过审查数据分布、调整广度和均衡性来缓解。安全方面也有一个反直觉的点：真实世界里潜在隐患的出现往往是偶然事件，与其把“不良信息”一概删除，不如给这些样本打安全标签，让模型学习识别风险。这样反而有助于提升安全防护能力。

注意：高质量数据并不适合被前置的客观标准完全定义。它更多是一种主观判断，标准取决于模型的应用目的，数据类型会因模型发展阶段、技术人员理解、训练效果而变化。所谓“高质量标准”，至多是对同类数据在质量维度评估提供参考，对模型训练的价值有限。

4. 常见误区与易混区别：训练数据不等于用户画像，中文语料短缺也不是一句话的事

4.1 五条最容易搞混的边界

易混点一：大模型训练数据 vs 用户个人信息。为什么容易混？因为过去很多推荐系统、搜索系统确实大量依赖用户行为、用户画像、点击记录。大家习惯性地把“AI 需要数据”理解成“AI 需要我的个人数据”。怎么区分？看训练阶段的主要需求。大模型训练更依赖世界知识型语料，比如网页、书籍、论文、代码、对话、图文对，而不是某个人的身份证号、聊天记录、位置轨迹。用户交互历史在推理和产品改进中可能有作用，但训练阶段并不以个人信息为主粮。过量的个人数据反而可能给模型带来噪声和合规负担。

易混点二：数据规模 vs 数据质量。为什么容易混？因为“大模型”三个字自带“大”的暗示，很多人下意识觉得数据越多越好。怎么区分？看有效信息密度。原始网页抓取量很大，但重复、广告、模板化内容、错误信息也多；清洗后的数据量小了，模型表现反而可能更好。规模是必要条件，不是充分条件。训练数据不是把范文、模板、素材一股脑倒进去，而是要控制噪声、重复和低信息密度内容。

易混点三：中文语料“量”的短缺 vs 价值取向语料的短缺。为什么容易混？因为两者都表现为“中文内容不够多”。怎么区分？看能不能靠翻译和配比补。客观事实类知识，机器翻译质量有保障时可以补一部分；价值取向、文化背景、表达习惯类内容，翻译会带入源语言偏见，难以完全替代。中文大模型真正的短板，不只是网页数量，还包括能反映中文使用者文化背景和价值取向的高质量语料。

易混点四：合成数据 vs 数据增强。为什么容易混？因为两者都在“造新数据”。怎么区分？数据增强通常是对已有数据做变换或扩充，比如旋转、缩放、亮度调整、裁剪，生成更多训练样本，增加代表性和多样性。合成数据则是通过算法和数学模型建模真实数据分布，再在分布上采样，创建出新数据集，模拟真实数据中的统计模式和关系。它可以是基于真实数据分布生成，也可以不依赖真实数据，用现有模型、专业知识或模拟器创建。数据增强更像“把一张照片换个角度”，合成数据更像“请一个替身演员演一遍相似场景”。

易混点五：高质量标准 vs 统一标准。为什么容易混？因为管理上总希望有一套统一规则，先识别出高质量数据，再放心训练。怎么区分？高质量是目标导向的，统一标准最多是参考。同类数据可以从质量、规模、多样性三个维度评估，但不同类型数据之间很难用一把尺子量。代码的高质量不等于教材的高质量，行业文档的高质量也不等于对话数据的高质量。标准可以帮你减少明显错误，但不能替你判断某类数据对当前模型目标到底有多大价值。

4.2 用一张表把“数据多”和“数据好”分开

这些误区之所以重要，是因为它们直接影响数据方案。把用户画像当训练主粮，会走偏；把原始抓取量当有效数据量，会浪费算力；把中文语料问题简化成“多爬网页”，会忽略价值取向语料；把合成数据当万能药，会引入新偏差；把高质量标准当死规则，会在行业场景里失去判断力。理解边界，比记住口号更有用。

5. 合成数据与治理生态：数据不够时，为什么“替身演员”也会上场

5.1 合成数据是什么：先建模分布，再采样“替身”

合成数据是通过算法和数学模型创建的数据。基本思路是：先建模真实数据的分布，再在这个分布上采样，创建出新数据集，模拟真实数据中的统计模式和关系。它像数据的“替身演员”，在必要的时候补充或替代真实数据，帮助模型学习、理解和预测。

这个类比有两个关键点。第一，替身演员不是随便找个人站上去，而是要尽量像原角色：身高、体型、动作、语气都要接近。合成数据也要尽量模拟真实数据的统计特性，否则就会缺乏保真度，对客观世界的模拟出现偏差。第二，替身演员不能完全替代原角色。合成数据可以补足真实数据难获取的部分，但如果生成过程设计不当，也可能带来噪声、偏差和虚假关联。

合成数据的生成方法大致分两类。一类基于真实数据集构建：建立模型捕获真实数据的分布特性和结构特征，刻画数据中的多变量关系和相互作用，然后从模型中抽样或生成合成数据。如果模型能较好代表真实数据，合成数据就会具有与真实数据相似的统计特性。语言模型学习词语之间的关系，生成文本时根据前文统计概率选择下一个词，背后也有类似的分布建模思路。

另一类不直接来源于真实数据，而是用现有模型、人类专业背景知识或模拟模型创建。现有模型可以是某个过程的统计模型，也可以是模拟模型。模拟可以通过虚拟场景引擎、仿真环境等方法创建。比如文生视频模型训练时，会用虚拟场景引擎合成的视频数据作为训练集，提高生成质量；自动驾驶、机器人、科学计算也会用仿真数据补足真实世界难以采集的场景。

按用于训练的 AI 类型，合成数据还可以分为生成式 AI 训练数据和判别式 AI 训练数据。生成式 AI 常用媒体合成数据，比如模型和算法合成的视频、图像、声音；也用文本合成数据，即在自然语言处理中由模型生成的文本。判别式 AI 训练，比如分类或回归任务，常用表格合成数据，类似真实生活中数据记录或表格的合成数据。

5.2 合成数据为什么必要：难观测、成本高、隐私约束

什么情况下会用到合成数据？本质原因是真实世界获取数据遇到困难。第一种困难是真实世界难以观测。罕见病、极端天气、复杂路况、灾难性事件、异常行为的人和车辆，这些场景在真实数据里出现频率很低，但模型偏偏需要在边缘案例上有良好表现。合成数据可以设计比真实数据集更广泛的情况，对边缘案例进行模拟，提升训练数据集的全面性和多样性，让模型在处理少见情况时也有准备。

第二种困难是数据获取成本高。大模型对齐训练需要人类大量高质量反馈，标注人员要设计问题、写答案、打分、排序，成本很高。合成数据可以实现对齐流程自动化，几乎不需要人类逐条标注，大幅节省成本，提高获取效率。对于需要大量指令数据的场景，这一点尤其明显。

第三种困难是数据获取和处理涉及真实世界中的个人信息甚至敏感信息，特别是医疗健康和金融领域。合成数据可以利用差分隐私对个体信息“加噪声”等方法，模拟真实数据集的分布，而不模拟其中的真实个人信息，实现对个人信息的去标识化。这样既能保留数据的统计价值，又能降低隐私暴露风险。

归纳起来，合成数据的优点包括全面性和多样性、经济高效、有利于隐私保护。但它不是无条件正确。合成数据的质量取决于生成过程：分布建模是否准确、采样是否合理、偏差是否被控制、噪声是否被过滤。生成过程设计不当，合成数据就会从“替身演员”变成“错误示范”。

5.3 合成数据怎么用：预训练里的新物种，对齐阶段的加速器

在预训练阶段，合成数据目前占比不一定高，但发展潜力很大，可以作为一个“新物种”密切关注。它主要在两个方向上有价值。

第一个方向是多模态数据生成。文生视频、图像生成、具身智能机器人、自动驾驶、科学计算等场景，都需要大量多模态数据。虚拟场景引擎可以生成不同视角、不同天气、不同光照、不同路况的视频和图像，补足真实世界采集不足。通过有效“过采样”罕见事件或灾难性事件，可以确保模型针对更广泛的输入保持鲁棒性。模型越通用，越不能只从文字里学习，还要从声音、图片、视频里学习，多模态合成数据的需求会持续增加。

第二个方向是高价值领域知识生成。核心是合成数据能对现有数据做深加工，把之前不能被用于训练的数据转化为可用，提升模型对数据利用的可能性。以工业制造为例，可以把生产、制造等工艺流程相关的原始数据，结合行业知识图谱，转化为可供大模型学习的工业语料。这个过程可以拆成三步：先把原始数据转变成信息，把非自然语言描述的内容，比如操作行为或时序数据，转化为模型可读的结构化信息；再把信息提炼为知识，把多条结构化信息与行业知识图谱、专家经验结合，产出有价值的行业知识，比如在什么温度下应该怎么操作、好处是什么；最后把知识泛化，利用大模型的推理能力，把相对单一的知识做多样性拓展，积累更丰富的行业语料。

这条路的关键不是“造一堆看起来像文本的东西”，而是“把数据、信息、知识、泛化串起来”。大模型只有在预训练中学习过领域知识，后期用行业语料做监督微调时才能激发出更好效果，更容易应用于垂直领域。所以合成数据在领域知识上的趋势是“精”，对语料质量要求高，而且不可或缺。

在对齐阶段，合成数据更像“加速器”。对齐数据以人类高质量反馈为主，包括监督微调和基于人类反馈的强化学习。这个阶段的问题有三个：数据获取成本高，人类评估的准确性和一致性有限，模型为了避免敏感和有争议问题可能过度拒答，降低整体效用。合成数据可以作为真实数据的补充和替代，缓解这些问题。

一种典型应用是从人工智能反馈中进行强化学习：用较大规模模型产出合成数据，生成指令及输入输出样本，过滤掉无效或重复信息，自动化微调出性能较好的小模型，全过程中几乎不需要人类标注。这样做大幅降低标注成本，也能缓解人工对齐导致模型对敏感问题拒答的情况。还有自我对局思路：在满足一定条件时，利用合成数据进行自我对抗微调，让新一代模型尝试区分上一代模型的输出与真人输出，从而得到比纯人类反馈更好的效果。原则约束式自我改进则是让 AI 系统在遵循预先设定原则的前提下，使用模型自身生成的反馈和修正意见进行自我改进，得到一个既能生成无害内容、又不规避有害问题的模型。

另一种思路是从人类和人工智能反馈中共同学习，把人类和 AI 元素整合起来提供监督。有研究表明，在利用 AI 协助人类评估模型有效性时，模型生成的批评有助于人类发现可能错过的缺陷，提高人类评估的准确性。合成数据在这里不是替代人类判断，而是把人类从重复劳动里解放出来，让有限的人力集中在更难的边界判断上。

5.4 治理与生态：为什么不能只靠一家公司堆数据

训练数据供给不足，不只是技术问题，也是治理和生态问题。大模型对训练数据的使用有几个特点：规模大、来源广、价值多元、合规复杂。规模大意味着逐条授权不现实；来源广意味着权利状态错综复杂；价值多元意味着同一份数据在不同场景下可能产生不同影响；合规复杂意味着不能简单用“全开放”或“全封闭”处理。

治理思路上，更适合“在发展中治理”，而不是等所有问题都清楚再行动。合成数据就是一个典型：它既能补数据，也可能带来偏差放大、自我循环、保真度不足等风险。如果一开始就用极严的规则把合成数据按住，技术探索会受限；如果完全放任，风险又会积累。更务实的做法是边发展边治理，在生成、标注、评估、使用环节建立可追溯机制，对高风险场景加强审查，对低风险探索留出空间。

生态上，高质量训练数据不能只靠一家机构堆出来。公共或准公共属性的高质量数据集、行业数据的进一步共享、训练数据权属保护规则的调整，都是供给体系的一部分。不同区域在公共数据开放程度、社会力量探索方式上存在差异：有的地方公共数据开放较充分，社会力量能在上面做应用探索；有的地方公共数据开放不足，社会力量探索又比较碎片化，导致高质量语料难以形成规模。这里的关键不是简单比较谁多谁少，而是看能不能把公共资源、行业资源、社会力量连成合作网络。

一个健康的训练数据生态，需要几类角色：能提供公共或准公共数据集的机构，能贡献行业知识的组织，能做数据清洗、标注、合成、评估的技术方，能制定权属和使用规则的治理方，以及能把数据用到具体场景的应用方。各方利益不一致，靠单点突破很难解决供给不足。更开放、更多元、更务实的方式，往往比“关起门来攒数据”更有效。

注意：合成数据是解决供给不足的新方案，但不是替代所有真实数据的万能钥匙。它适合补稀有场景、降标注成本、保护隐私，也需要在治理框架里控制偏差和循环风险。

6. 什么时候该用合成数据、什么时候别用：一张边界表和一次踩坑

合成数据最适合三种场景：真实世界难观测、标注成本高、隐私约束强。比如模拟项目X要做工业质检问答，真实产线里的极端故障样本很少，人工标注又贵，就可以先用仿真环境生成一批带标签的异常场景，再混入真实数据训练。反过来，如果任务是判断真实用户的表达习惯、文化语境、最新事件，合成数据只能做补充，不能做主食。生成模型没见过真实分布，造出来的“替身”再像，也可能在细节上跑偏。

我后来给自己定了一个习惯：每次评估数据方案，先问三个问题——真实数据能不能拿到？拿不到的原因是难观测、成本高，还是隐私限制？合成数据补的是分布，还是只补了表面形式？这三个问题答不清，就不要急着生成。从那以后我每次做数据配比都先走一遍这张表，再决定要不要合成，免得后面花更多时间返工。完整资料里对训练数据、合成数据、治理和生态拆得更细，遇到具体项目时值得拿来对照。希望帮到你。

本文还有配套的精品资源，点击获取