上周在调试一个多阶段训练流程时，我遇到了一个典型的“后期崩坏”问题：模型在宪法训练阶段表现良好，但进入RLVR阶段后，性能指标却开始剧烈震荡，甚至倒退。起初以为是奖励函数设计不当，但调整了十几个版本后，问题依旧。直到我把两个阶段的中间层激活值可视化出来，才意识到症结所在——两个阶段的特征分布，在数据流形上发生了严重的“漂移”。
这让我想起一个更普遍的工程现象：我们常常把“宪法训练”和“RLVR”当作两个独立的模块来设计和优化，投入大量精力分别调参，却忽略了它们之间最根本的连接点——数据流形。如果这两个阶段所处理的数据，在特征空间中的内在结构（即流形）不一致，那么无论单个阶段调得多好，整个系统的性能天花板都会被这个“连接断层”牢牢锁死。
今天，我们就来深入聊聊这个容易被忽视，却至关重要的工程原则：宪法训练与RLVR必须共享同一个数据流形。这不是一个玄学的理论概念，而是一个直接影响模型能否稳定收敛、奖励信号能否有效传递的实践基石。
1. 为什么“各练各的”会导致系统级失效？
在开始讨论解决方案前，我们必须先理解问题。为什么宪法训练和RLVR的数据流形不匹配，会导致整个训练流程失败？
1.1 一个直观的类比：地图与导航
想象一下，你要训练一个自动驾驶系统。
- 宪法训练阶段：你给模型看了无数张高清城市地图（数据A），教会它识别道路、车辆、行人、交通标志。在这个阶段，模型学会了在“地图特征空间”里游刃有余。
- RLVR阶段：你让模型坐上驾驶模拟器，根据实时摄像头画面（数据B）学习安全驾驶。模拟器的画面也是道路、车辆、行人，但它是第一人称视角、有动态模糊、光照变化，特征分布和静态地图截然不同。
现在，你把地图专家（宪法模型）直接扔进模拟器。它懵了。它之前学到的所有“地图特征”知识，在“第一人称视觉特征空间”里几乎无法直接调用。奖励信号（比如“避免碰撞”）传回来时，模型不知道该如何调整自己那套基于地图的“理解”来适应这个新世界。结果就是奖励信号嘈杂、学习效率低下、甚至出现策略崩溃。
核心矛盾在于：宪法训练定义了模型“应该知道什么”（知识/约束），而RLVR定义了模型“应该如何行动以获得奖励”。如果“知道什么”和“如何行动”所依赖的数据表征（流形）是割裂的，那么知识与行动之间就失去了可传递的桥梁。
1.2 从特征空间看“流形失配”的具体危害
在技术层面，这种失配会引发一系列连锁反应：
- 奖励信号失真与高方差：RLVR的奖励函数计算通常基于模型的输出或中间状态。如果RLVR阶段输入的样本分布，与宪法训练阶段模型所适应的分布相差甚远，模型的初始表现会非常差且不稳定。这导致产生的奖励信号噪声极大，方差高，使得策略梯度估计极不准确，训练难以收敛。
- 灾难性遗忘：模型为了在RLVR的新数据分布上取得奖励，可能会被迫“覆盖”或“遗忘”在宪法训练中学到的有价值约束和知识。这违背了宪法训练的初衷——我们本希望用RL来微调和增强一个已有良好基础的模型，而不是摧毁重建。
- 训练不稳定性：两个阶段特征分布的差异，会使得模型的优化过程一直在两个不同的“能量地形”上跳跃。这类似于在优化一个动态变化的目标函数，极易导致训练过程震荡、发散，难以找到稳定的最优解。
- 评估结果不可靠：你可能会发现，在RLVR阶段评估时性能似乎提升了，但一旦将模型放回宪法训练阶段的数据分布（或更接近真实应用场景的分布）下测试，性能又大幅下降。这种“过拟合”于RLVR特定数据流形的现象，使得模型丧失了泛化能力。
2. 诊断：如何判断你的流程是否存在“流形失配”？
在投入大量时间调参之前，我们可以通过一些相对低成本的方法进行诊断。
2.1 可视化分析：最直接的证据
- t-SNE / UMAP 可视化：分别对宪法训练数据集和RLVR环境采样得到的数据集（或模型在RLVR初期交互产生的数据）提取特征（例如，模型编码器的最后一层隐藏状态）。将它们放在同一张图上进行降维可视化。如果两个数据集的样本点形成明显分离的簇，而不是相互交织，这就是流形失配的强烈信号。
- 激活值分布统计：选择网络中的关键层，统计宪法训练数据和RLVR数据通过该层后的激活值的均值、方差、稀疏性等统计量。如果这些统计量存在显著差异（例如，数量级不同或分布形态迥异），则表明数据流形不一致。
2.2 性能与梯度分析：间接但相关的指标
- 零样本迁移性能：将在宪法训练上收敛的模型，直接在RLVR环境（不进行任何RL训练）中运行，评估其初始性能。如果初始性能极差，远低于随机策略，说明宪法训练学到的表征对RLVR任务几乎没有帮助，暗示流形差异大。
- 梯度冲突检查：在早期联合训练或交替训练中，计算来自宪法损失和RL损失对共享参数（尤其是底层编码器）的梯度。检查它们的余弦相似度或直接观察它们是否经常方向相反（冲突）。持续的梯度冲突是流形不一致导致优化目标矛盾的体现。
2.3 一个简单的自查清单
在项目初期，可以问自己这几个问题：
- 我的宪法训练数据（如高质量问答对、安全规则示例）和RLVR交互环境产生的数据（如模型生成、用户模拟器反馈），在格式、长度、风格、主题分布上是否高度同质？
- 我是否使用了完全不同的预处理流程、分词器或特征提取器来处理两个阶段的数据？
- 我的模型架构在进入RLVR阶段时，是否冻结了大部分在宪法训练中学到的底层参数（导致无法适应新分布）？
如果以上任何一个问题的答案是肯定的，那么你很可能已经埋下了流形失配的隐患。
3. 构建：如何实现宪法训练与RLVR的数据流形对齐？
诊断出问题后，接下来的核心就是构建共享的数据流形。这不是一个单一的技巧，而是一套系统工程思路。
3.1 策略一：设计统一的数据预处理与表征管道
这是最基础也最重要的一步。确保从数据到模型“眼中”的特征，流程是一致的。
- 统一的文本处理：使用完全相同的分词器、相同的最大长度截断/填充策略、相同的特殊标记。如果宪法训练用了
BPE，RLVR环境生成文本也必须用相同的BPE处理。 - 共享的特征编码器：让宪法训练和RLVR共享同一个文本编码器（如Transformer的底层）。这个编码器应该在宪法训练阶段就被充分训练，以学习到高质量、通用的语言表征。在RLVR阶段，这个编码器的参数通常应该保持可微调（或部分可微调），而不是完全冻结，使其能轻微适应新数据分布，但又不会遗忘根本。
- 数据混合与课程学习：在RLVR训练过程中，定期或按一定比例混合宪法训练数据。这相当于持续给模型“复习”原始流形，防止其完全漂移。可以采用课程学习，初期混合比例高，随着RLVR数据质量提升，逐渐降低比例。
3.2 策略二：在损失函数中引入流形一致性约束
这是从优化目标层面进行软约束，强制模型在两个任务上学习相似的表征。
- 基于对比学习的对齐损失：从宪法数据批次和RLVR数据批次中采样样本对，通过一个共享的投影头，计算InfoNCE等对比损失，最大化正样本对（来自同一语义类别或相似任务）在特征空间中的相似度，最小化负样本对的相似度。这能直接拉近两个分布的特征。
- 特征分布匹配损失：使用最大均值差异（MMD）或对抗性训练（引入一个判别器，试图区分特征来自宪法数据还是RLVR数据，而编码器则努力欺骗判别器）来最小化两个特征分布之间的差异。
- 知识蒸馏作为桥梁：训练一个在宪法数据上表现良好的“教师模型”，然后在RLVR阶段，让正在训练的“学生模型”在完成RL任务的同时，也去模仿教师模型对同一输入（或RLVR数据）产生的中间层激活值或输出分布。这能将宪法模型的知识流形“蒸馏”到RL训练过程中。
3.3 策略三：设计流形感知的RLVR环境与奖励
从RL环节的设计上，就考虑与宪法流形的兼容性。
- 环境初始化：RLVR环境的初始状态或上下文，应尽可能从宪法训练数据的分布中采样，或与其高度相似。这为模型提供了一个熟悉的起点。
- 奖励函数设计：将宪法训练的目标（如安全性、真实性）明确地编码进RL的奖励函数中。例如，奖励可以包含一个与宪法模型输出相似度相关的项。这样，获得高奖励的行为自然也会促使模型保持在宪法流形附近。
- 动作空间约束：如果可能，对RLVR中的动作空间（如生成的文本）进行约束，使其不偏离宪法训练所覆盖的“合理”范围。这可以通过在采样阶段加入来自宪法模型的引导，或者对离谱动作施加惩罚来实现。
4. 实施：一个从验证到落地的四步框架
理论需要落地。下面是一个可操作的四步框架，帮助你将“共享数据流形”从理念变为实践。
4.1 第一步：基线建立与流形诊断
- 独立训练：先分别完成宪法训练和RLVR的独立基线训练。记录宪法模型的最终性能，以及RLVR从零开始训练（或从随机模型开始）的收敛曲线和最终性能。
- 可视化诊断：使用2.1节的方法，对两个阶段的数据进行特征可视化。保存这张图作为基准。
- 性能评估：将训练好的宪法模型作为初始策略，在RLVR环境中进行零样本评估。记录其初始奖励和任务成功率。
这一步的目标是量化“不共享流形”的代价。
4.2 第二步：共享编码器与数据预处理对齐
- 架构调整：确保你的模型有一个明确的、共享的文本编码器模块。宪法训练和RLVR的策略网络（或价值网络）都基于这个编码器的输出进行构建。
- 管道统一：审查并统一两个阶段的所有数据加载、清洗、分词、编码流程。编写一个共用的数据处理函数。
- 微调实验：以宪法训练好的编码器为起点，开始RLVR训练。尝试两种模式：a) 完全冻结编码器；b) 以较低的学习率微调编码器。对比两者的效果。
4.3 第三步：引入流形对齐约束
- 选择对齐策略：根据你的任务复杂度和计算资源，从3.2节中选择1-2种对齐策略。对于大多数任务，数据混合是最简单有效的起点，对比损失是效果较强的进阶选择。
- 设计联合损失：你的总损失函数将变为：
总损失 = RL损失 + λ * 宪法损失 + β * 对齐损失。其中宪法损失是继续在混合数据上训练原始任务，对齐损失是你选择的一致性约束。 - 调参λ和β：这是关键。λ控制宪法知识的保留强度，β控制流形对齐的强度。建议从一个较小的β开始（如0.1），λ则根据宪法任务的重要性设置（通常0.1-1.0）。需要网格搜索或根据验证集性能调整。
4.4 第四步：迭代优化与监控
- 监控流形变化：在训练过程中，定期（如每1000步）采样数据，重复第一步的可视化过程。观察两个数据分布的点云是否逐渐靠近、交织。这是最直接的训练健康度指标。
- 监控梯度动态：观察共享编码器参数的梯度范数以及来自不同损失梯度的冲突情况。理想情况下，梯度冲突应随着训练减少。
- 评估最终性能：在独立的验证集上评估模型。这个验证集应能同时反映宪法任务和RLVR任务的目标。最终模型应在两个任务上都达到或超过独立基线的性能，并且RLVR的训练稳定性应显著提升。
- 消融实验：通过移除对齐损失、取消数据混合等消融实验，确认你引入的机制确实有效。
最终，一个成功的、共享数据流形的训练系统，其标志不是某个指标达到极致，而是整个训练过程变得平滑、稳定、可预测。宪法训练为RLVR提供了坚实、熟悉的起跳板，RLVR则沿着这个流形进行高效的策略搜索，两者协同进化，而不是相互拉扯。当你发现不再需要为了RLVR的稳定性而反复调整奖励函数的系数，或者不再担心微调会毁掉模型原有的“常识”时，你就已经走在了正确的道路上。这背后的工程实现，正是从对齐那看不见却至关重要的“数据流形”开始的。
