GRPO强化学习微调中的样本增强：采样、组构建与奖励预处理的工程实践

大模型强化学习微调这一圈，最近聊 GRPO 的人明显多了。原因不难理解：它把 PPO 那套 actor-critic 的复杂结构砍掉一半，训练显存省下来一大截，实现也清爽很多。但省下来的代价，就是它对样本的要求变得相当苛刻。说实话，我最早跑 GRPO 的时候根本没把“样本”当回事，以为只要把采样温度调一调、batch 凑够就能稳定训练。结果被各种奇奇怪怪的 collapse 和 reward 震荡反复教育之后，才意识到：GRPO 的样本增强不是锦上添花，而是整个训练流程里最容易决定成败的一环。这篇聊的就是样本增强，重点放在采样多样性、组构建、奖励预处理和 prompt 层面这几个可操作的方向上，顺便把我踩过的一些坑掰开揉碎讲清楚。

1. GRPO 为什么对样本这么敏感

1.1 从 PPO 到 GRPO：去掉 critic 之后，样本的地位彻底变了

PPO 在强化学习微调流程里靠的是一个 critic 网络去估计状态价值，然后用 actor 和 critic 的预测差值构造 advantage。这个过程里，单条样本的质量虽然也重要，但 critic 本身承担了一部分“打分基准”的职责，样本更像是给 critic 喂的回归目标。GRPO 直接把 critic 这一整个模块拿掉了，advantage 不再依赖价值网络，而是靠同一个 prompt 下的一组响应之间的相对比较算出来。

具体来说，一组样本收集完之后，先拿到每个样本的奖励 $r_i$，然后在这一组内部算均值 $\mu$ 和标准差 $\sigma$，最后每个样本的 advantage 就是 $(r_i - \mu)/\sigma$。这组样本会被用来估计策略梯度，指导 actor 朝着优势高、奖励好的方向更新。

这个设计意味着一个非常直接的后果：如果同一组里的样本之间没有差异，或者差异方向跟真实质量完全不对应，那么算出来的 advantage 就全部是零或者全是噪声，策略梯度直接失效。PPO 时代还可以靠 critic 兜底，GRPO 时代样本本身就是唯一的裁判。数值上看，$r_i - \mu$ 这一项完全由组内相对位置决定，样本质量高不高、多样性够不够，直接决定了梯度信号的有效性。

所以我对 GRPO 训练的一个基本判断是：你可以把大部分精力花在模型结构、奖励模型、超参调优上，但只要样本侧出了问题，前面所有工作都会白费。这也是我写这篇“样本增强篇”的初衷。

1.2 组内相对优势估计的隐含假设

看 GRPO 的 advantage 公式，表面上就是一行简单计算，但它背后藏了好几个假设，任何一个假设被破坏，训练都会出问题。

第一个假设是“组内样本覆盖了该 prompt 的合理答案空间”。换句话说，这组样本里既要有比较好的答案，也要有比较差的答案，或者至少要有可区分的中间地带。假如采样温度设得太低，组内几条响应几乎一模一样，那等于只采样了一个点，组内方差趋近于零，优势估计自然失效。这个假设是样本增强里“多样性”存在的根本理由。

第二个假设是“奖励噪声在组内是平稳的”。奖励模型打分本身有随机性，一些细微的措辞差异可能导致分数抖动。如果这种噪声相对于真实质量差异来说太大，那么相对优势排序就会失真。这种情况下，你增强样本、增加多样性，只会把更多噪声样本选进来，训练反而更不稳定。所以样本增强不能只做“量”的加法，还要做“质”的筛选。

第三个假设是“组内样本可以公平比较”。同一组样本来自同一个 prompt，所以 prompt 难度的差异被控制住了。但如果你的采样过程中混入了历史策略的样本，或者不同采样配置产生的样本，那么比较的公平性就会被打破。很多人忽略这一点，导致训练中期 reward 出现周期性震荡，多半就是组内可比性出了问题。

把这三个隐含假设拿到桌面上看，样本增强的核心任务就变得很清晰：在采样端尽量覆盖答案空间，在奖励端尽量压低噪声，在组构建端尽量保证可比性。

1.3 样本增强的定位：它不是后处理方法，而是训练稳定性的前置条件

有些同学会把样本增强理解成“数据预处理”，觉得先把样本采出来，再做过滤、筛选、增强，然后送进训练循环就完事了。我在实践里的体会是：GRPO 的样本增强应该是贯穿整个训练循环的持续动作，它和策略更新是循环咬合的关系。

原因在于，GRPO 的采样分布来自当前策略。训练前期策略还很乱，采样出来的样本可能质量低、同质化严重，这时候你需要更强的多样性注入和更保守的奖励过滤。训练中后期策略开始收敛，采样分布变窄，组内样本区分度可能重新下降，这时候又得调整采样温度或者换一批更难、更多样的 prompt 来维持有效对比。如果只用一套固定的增强策略跑到训练结束，通常会在某个阶段突然失效。

我倾向于把样本增强看成训练稳定性的前置条件。每次更新之前，先确认这组样本能不能产生有效的 advantage 信号，再决定要不要更新策略。很多训练 crash 的根因其实在样本阶段就已经埋下了，只是等到 loss 震荡或者 reward 崩掉的时候才暴露出来。

2. 样本增强的四个抓手

2.1 采样多样性控制的四个档位

采样多样性是 GRPO 样本增强里最直接、最便宜的一环，但它不是“温度越高越好”这么简单。我常用的温度档位大致分四档，分别对应训练阶段和样本质量要求。

第一档是温度大约在 0.8 到 0.9，top_p 在 0.9 附近，适用于训练后期的收敛阶段。这时候策略已经比较稳定，组内样本开始趋于同质，需要保持一点温和的探索，但又不希望引入太多低质量噪声。

第二档是温度 1.0 到 1.1，top_p 0.95，这是我最常用的一档，适用于训练中期的常规采样。它能在保持样本基本合理性的前提下，提供足够的组内差异性，让 group 内出现明显的优劣对比。

第三档是温度 1.2 到 1.4，top_p 0.98 左右，适用于训练早期或者模型陷入局部最优、需要强行打破同质化的时候。这一档会采样出不少低质量响应，所以必须配合下面的奖励过滤机制，不然噪声太大。

第四档算是“混合采样”，不是单一温度，而是同一组样本里按概率混合几种采样配置。比如 60% 的样本用温度 1.0 采，40% 用温度 1.3 采。这个做法有点反直觉，但实测有效：它既能保证组内大多数样本质量可控，又保留了一部分高差异性样本作为对比锚点，相当于人工拉大了组内 reward 的 spread。

除了温度和 top_p 之外，重复惩罚也值得重点调。GRPO 组内采样经常出现几条响应只有句末标点或连接词不一样的情况，这种假多样性对 advantage 没有任何帮助。适当调高重复惩罚系数可以有效降低这种“同义反复”样本的出现概率。我一般把重复惩罚设在 1.1 到 1.3 之间，太大容易影响文本流畅度，太小则基本没效果。

2.2 组构建与 group size 的取舍

组是 GRPO 的基本比较单位，组怎么构建，直接决定了 advantage 的语义。最常见的做法当然是同一个 prompt 采样 N 个响应组成一组，但这里面的细节比看起来多得多。

第一个关键参数是 group size，也就是组内样本数。我用过的规模从 4 到 32 都有，最常用的是 8 和 16。group size 太小时，均值容易受单条极端样本影响，advantage 的方差大，训练振荡明显；太大时，采样开销和显存占用都会涨，而且同一个 prompt 的答案空间有限，采太多样本边际收益会快速递减。我的习惯是：训练早期用 16，保证 advantage 估计稳定；训练后期可以降到 8，省算力，同时避免过度冗余样本稀释梯度。

第二个容易被忽略的问题是“组内样本必须参与同一次归一化”。这句听起来像废话，但在分布式训练里特别容易出 bug。因为 GRPO 的 advantage 是在组内算的，同一组样本如果被分到不同的数据并行卡上做归一化，每个副本用的是不同的 batch 均值，结果就会不一致，梯度跟着错乱。我早期踩过这个坑，表现为 loss 曲线忽高忽低，怎么调学习率都压不下来。后来改成在组粒度上做数据切分，保证一个组完整落在一张卡或同一个 gradient accumulation step 里，问题才消失。

第三个问题是“要不要在组里混入历史策略的样本”。我见过一些实验会在组里加入之前训练阶段的旧样本，目的是缓解策略漂移。但 GRPO 跟 DQN 这类 off-policy 算法不一样，它的优势估计完全建立在组内可比性上。历史样本和当前样本在策略分布、reward 尺度上都有差异，混在一起会让“谁比谁好”这个问题变得不公平。我的建议是：要么把历史样本单独用作 KL 正则或额外对比信号，要么就干脆别混。真想用回放，必须给历史样本单独解码，不要让它们参与当前策略组的直接比较。

2.3 奖励信号预处理：先做减法，再做变换

GRPO 的 advantage 计算默认直接使用奖励值 $r_i$，但实际操作中，奖励模型打出来的分数往往带噪声，而且可能出现极端异常值。如果不做任何预处理，一个离群的巨大 reward 就能把整组归一化带偏，导致其他样本的 advantage 全部被压平。所以在奖励进入 advantage 公式之前，我会先做几层处理。

第一层是裁剪。对于明显超出正常区间的 reward，直接截断到上下界。裁剪阈值怎么定？我一般先跑一轮小规模的奖励分布统计，取百分位，比如 5% 分位和 95% 分位作为裁剪边界，然后在训练中动态更新统计量。固定写死一个边界容易出问题，因为随着策略变好，reward 的整体分布会上移，旧的边界很快就不适用了。

第二层是排序转换。reward 绝对值的大小在很多场景下没有太大意义，真正有意义的是组内的排序关系。所以我会在裁剪之后，把 reward 先转成组内 rank，再把 rank 归一到 [-1, 1] 区间，最后用这个转换后的值去算 advantage。这样做的优点是极端地稳，模型只关注相对好坏，不受奖励尺度漂移影响；缺点是会丢掉一些奖励强度的信息。所以这个方案更适合奖励模型偏弱、噪声较大的阶段，奖励模型很准的时候还是用原始 score 更好。

第三层是奖励过滤。组内如果出现明显质量极低的样本，比如空回复、纯重复文本、明显违反指令的回复，我会在算 advantage 之前直接删掉，或者给它们的 reward 设成很低的基础值。但这里有个特别重要的反直觉点：不要把所有低分样本都删掉。GRPO 需要组内有低分样本作为对比，如果把负样本剔除得干干净净，剩下样本的 advantage 会因为组内均值偏高而集体失真，等于所有样本都是“中等偏下”。所以过滤只针对“无效样本”，而不是“低质量样本”。无效样本是客观损坏的信号，低质量样本恰恰是相对比较所需要的对照。

2.4 prompt 层面的增强：难度分层与负样本注入

样本增强不只在生成的响应上做文章，prompt 本身也是可以操作的空间。这一层经常被忽视，但效果可能比调采样参数更明显。

难度分层的思路很简单：把 prompt 按当前策略的答题表现分成若干难度档，比如简单、中等、困难三档，然后按课程学习的顺序组织训练。训练初期多上中等难度，避免简单 prompt 组内样本全对、困难 prompt 组内样本全错的情况；中期逐渐引入困难 prompt，让策略在挑战中保持探索；后期再回到一部分简单 prompt，巩固已经学会的行为。这样做是因为 GRPO 对组内区分度极其敏感，如果一组样本全对或全错，所有 advantage 都趋近于零，模型基本得不到有效梯度。难度分层本质上是在控制“组内天花板和地板之间的距离”。

负样本注入是我从对比学习里借鉴来的做法。具体操作是：在原来的 prompt 库里混入一些带“错误参考答案”的样本，即 prompt 对应的真实正确答案只有一个，但在采样时故意让解码器生成与正确答案明显不同的扰动版本，并在组内作为低分参照物。这么做的效果是人为拉大了组内样本的 reward 差距，让优势估计信号更加清晰。不过需要注意控制比例，注入太多会扭曲真实任务分布，让模型学到“故意答错来衬托正确”这种奇怪的策略。我一般控制在总样本量的 5% 到 10% 之间。

还有一个容易被忽略的点：prompt 本身的表述多样性。同一个任务，如果 prompt 的写法高度模板化，模型训练后期容易把注意力集中到模板特征上，泛化能力变差。给 prompt 加一些无害的扰动，比如换换措辞、调整说明顺序，会让策略学到的行为更稳健。这种增强成本很低，但对最终防过拟合的收益不小。

3. 实操配置与关键实现

3.1 一组可直接落地的基线配置

说了这么多原则，给一套我自己常用的基线配置，方便直接开跑。这套配置适用于中小尺寸生成模型的 GRPO 微调，数据规模在几万条左右，单卡或双卡都能跑动。

这个配置的出发点很简单：让组内样本保持足够的区分度，同时把奖励噪声压到相对可控的范围。如果你用的是不同的模型或者不同的数据分布，不需要照抄数值，关键是把每一行背后的意图理解透。比如 KL 惩罚系数，如果任务本身是开放式生成，可以调小一点；如果是严格指令遵循任务，调大一点更稳。

3.2 采样与训练解耦时的资源分配

GRPO 训练里最典型的工程问题是采样和训练谁先谁后。如果串行来做，每更新一步都要等一组样本采完，GPU 利用率会非常难看。我习惯的做法是把采样和训练完全解耦：采样进程用独立的推理引擎跑，一边生成样本一边缓存到本地；训练进程从缓存里消费样本组，算完 advantage 之后更新策略。

解耦之后会带来一个新的问题：缓存里的样本对应的是旧策略，而训练更新使用的是新策略，两者之间存在分布偏移。不过 GRPO 的组内 advantage 计算本身只依赖同一组里样本的相对 reward，不一定需要所有样本都严格来自当前策略，只要一个组内部的样本是同一次采样产生的、彼此可比就行。所以我会在每个缓存条目里记录它对应的策略版本号和一个“策略距离”指标，组构建的时候优先匹配版本号接近的样本，减少跨版本混组。

在算力分配上，如果只有一张卡，我一般把训练 batch size 调小，留一部分显存给采样引擎，或者把采样任务放到 CPU 上跑慢一点，关键是不能因为采样阻塞让训练大规模空转。如果是双卡，一张跑训练，一张跑采样，是效率最高的组合。吞吐量方面，7B 级别的模型用 16 的 group size 生成一组样本，大概相当于一次训练 step 时间的 3 到 5 倍，所以采样缓存需要比训练消费速度快，至少维持 2 到 3 倍的余量。

还有一个细节：缓存样本时要同时保存 actor 的 logprob 和 reference 模型的 logprob，因为 GRPO 的 KL 惩罚项需要这两个值。等到训练时再重新算 logprob 也不是不行，但浪费算力，而且旧样本重新过当前模型时输入输出会不一致，所以务必在采样时把 logprob 一并算好缓存下来。

3.3 判断样本增强是否生效的监控指标

样本增强做得好不好，不能只看最终 reward 曲线，必须看几个过程指标。我每次训练都会盯一组自定义监控，这些指标能告诉你样本侧到底有没有在正常工作。

第一个是组内 reward 标准差。这个值直接反映组内样本的区分度。如果它持续走低趋近于零，说明你的样本增强失效了，模型可能正在崩向同质化。正常训练中，这个标准差应该维持在一个稳定范围内，随着策略收敛略有下降是正常的，但快速下降就要警惕。

第二个是组内 reward 均值与难度的关系。把每个 prompt 的历史平均 reward 都记录下来，你会看到不同难度档位之间的 reward 分界线。如果一条直线上几乎拉不开差距，意味着 prompt 难度分层失效，模型可能只在熟悉的任务分布上打转。

第三个是熵值曲线。策略熵代表模型输出的随机性。GRPO 训练初期熵会上升，因为模型在探索；中后期应该缓慢下降但保持在一个合理水平。如果熵值断崖式下跌，说明采样路径出了问题，模型已经被样本分布带偏了；如果熵值一直不降，说明策略根本没有从样本中学到东西。

第四个是 KL 惩罚项的变化。这个值太大说明策略偏离参考模型过远，容易产生不需要的随机行为；太小说明策略几乎没有更新。样本增强调整之后，KL 的变化趋势要和 reward 的变化趋势匹配。比如你提高了采样多样性，KL 上升是正常的，但要确保 reward 也在同步上升，否则说明增加的多是噪声，而不是有效探索。

这几个指标我放在训练过程的仪表盘上，每 50 步看一次。每次调整样本增强参数，我都以这组指标的反应为准，而不是只看最终分数。

4. 常见问题与排查实录

4.1 多样性崩塌：表现、原因与修复

多样性崩塌是我见过最频繁的 GRPO 训练事故。它的典型表现是：训练刚开始几百步很正常，reward 在涨，然后突然之间，组内样本变得高度相似，熵值暴跌，KL 惩罚项也快速下降，但 eval 指标不升反降。

我排查这个问题的顺序一般是这样的。先看采样参数。如果温度从一开始就设得太低，比如 0.7 以下，配合一个比较强的重复惩罚，那基本可以断定是采样多样性不足导致的崩塌。然后把温度拉回 1.0 以上，重复惩罚系数下调到 1.1 左右，重新采样看组内 reward 标准差是否回升。

如果采样参数正常，下一步检查 KL 惩罚系数。KL 惩罚太大的时候，策略被死死摁在 reference model 附近，探索空间非常小，同样会导致多样性的快速衰减。这种情况下即使你把温度调高，策略也不敢偏离参考模型太远，组内样本一样会变得同质。解决方法是把 KL 系数调小，或者给 KL 加一个自适应的衰减机制，随着训练步数逐步放松约束。

最后还有一个隐藏原因：梯度爆炸导致的隐层表征坍缩。这种时候从采样侧看一切正常，但模型内部已经坏了。排查方法很简单，把策略梯度的范数打印出来，如果比正常训练时的数值大了一个量级以上，那就是梯度爆炸。处理办法是调低学习率，加上梯度裁剪，一般 max grad norm 设在 1.0 左右就好。

4.2 优势信号消失：全对全错组的排查实录

第二个高频问题是 advantage 信号消失。表象是 reward 曲线还在动，但模型实际上没有在学东西：eval 指标停滞，训练 loss 一直在低位徘徊。这时候你去看组内 reward 分布，大概率会发现所有样本的得分都差不多，advantage 全部在零附近。

我在一个模拟项目里遇到过一次非常典型的情况：训练数据是从同一个模板批量生成的，prompt 难度几乎一样，模型采样出来的响应虽然文本差异不小，但奖励模型给出的分数非常接近。组内 reward 分母 $\sigma$ 很小，分子 $r_i - \mu$ 也都很小，整个优势估计信噪比低得可怜。模型学不到任何东西，就只能靠 KL 惩罚项里的那点微弱信号慢慢蹭。

那次排查下来问题出在两点：一是奖励模型的区分度不够，对细节差异不敏感；二是 prompt 难度分布太窄，没有给 reward 提供足够的动态范围。后来我把 prompt 库按难度重新分层，混入了一些高难度 prompt，同时把奖励模型的分数改成多维度加权，区分度一下就上来了。组内 reward 标准差从不到 0.1 拉到 0.4 左右，模型开始正常更新。

如果你也遇到优势信号消失的问题，可以做一个很简单的测试：人为构造一组样本，故意让其中一条答案明显优于其他几条，然后看这组样本算出来的 advantage 是否符合预期。如果符合，说明采样没问题，问题在真实数据本身的区分度上；如果不符合，说明奖励预处理或归一化过程有 bug。

4.3 奖励噪声放大：reward 黑客与过滤副作用

奖励模型不是完美的，它们经常会被模型钻空子。最常见的 reward 黑客行为是：模型学会了输出一段看起来符合格式要求、但内容毫无意义的回答，而奖励模型因为只看格式或关键词就给高分。这种样本进入 GRPO 的组内比较之后，会直接污染整个优势估计。

我处理 reward 黑客的思路是“多个奖励模型组合判定”。具体做法是同时跑两个结构不同的奖励模型，对每条样本分别打分，然后取平均值或者取两者都同意的高分才算数。这样做的代价是推理成本翻倍，但对防止 hack 的效果非常明显。另一个思路是注入过程奖励：把生成过程拆成多个中间步骤，对每一步单独打分，让模型无法通过一次输出直接骗过高分。

还需要警惕的是过滤副作用。很多人发现奖励噪声大，第一反应是提高过滤阈值，把低分样本全删掉。但前面说过，GRPO 依赖组内对比，你把负样本删光了，剩下正样本之间的相对差值就很小，训练信号一样会被削弱。我见过一个实验，把组内最低分的 20% 样本直接丢弃，结果 reward 标准差从 0.3 降到 0.05，整个训练几乎停滞。所以过滤规则一定要在“删掉无效样本”和“保留有效负样本”之间找到平衡点。

4.4 经验回放与离线样本的陷阱

最后聊聊经验回放。GRPO 本身是 on-policy 算法，原则上不需要经验回放，但我确实见过有团队为了提升采样效率，把之前策略采的样本缓存下来重复使用。这个方法听着省算力，实际操作起来容易踩坑。

最大的问题还是组内可比性。历史样本来自旧策略，生成分布和当前策略完全不同，reward 分布也可能会漂移。把它们和当前策略的样本混在同一组里算 advantage，相当于拿两套不同尺度的分数做归一化，结果一定是混乱的。我在自己的实验里试过一次把旧样本和当前样本按 1:1 混组，train loss 直接开始周期性震荡，组内 reward 方差忽大忽小。

如果非要用历史样本，我有两个经验。第一，历史样本只用于行为克隆或者 KL 正则，不参与组内 advantage 计算。第二，如果确实想让历史样本参与比较，就必须重新用当前策略给它们算 logprob，并且重新用最新的奖励模型打分，确保所有样本处在同一尺度和同一策略分布下。这样做的成本也不低，所以除非采样效率实在提不上去，否则我不建议轻易上回放。

5. 写在最后：样本增强的边界

5.1 样本增强不是越多越好

说了这么多增强手段，但我要特别强调一个边界：样本增强不是无脑加料。多样性加得太多，组内样本质量急剧下降，模型会花大量算力去对抗噪声样本的干扰；过滤做得太狠，又会把有效对比信号全部削平。每条增强策略都有自己的副作用，实际操作里必须做取舍。

我现在的习惯是“一次只动一个变量”。想调温度就先只调温度，把其他参数固定住，跑 200 步看指标变化。想加难度分层，就单独评估分层前后的组内 reward 标准差变化。同时改太多参数，出了问题根本定位不到源头。

另外一个边界是：样本增强解决的是“能不能学”的问题，不是“学得好不好”的问题。如果任务本身的奖励模型不准，或者数据本身质量太差，靠样本增强只能缓解症状，不能根治。所以我会在开始大样本训练之前，先做一个小规模实验，确认组内 advantage 分布是健康的，再全量放开。这个小步骤花不了多少时间，但能避免很多无效的大规模训练。

5.2 我踩过几次坑之后形成的操作习惯

最后分享几个我现在一直遵守的操作习惯，都是踩坑换来的。

第一，每次开新训练之前，先手动打印一组样本和对应的组内 reward、advantage 分布。肉眼确认这组样本“看起来合理”，再开始长时间训练。这个检查只要几分钟，但能拦住一大半配置错误。

第二，训练过程中固定保存采样端和训练端的日志。采样端的温度、top_p、组内数量，训练端的 KL、熵、reward 标准差，全部统一进一份 log。后续分析问题的时候，能快速关联到是哪个环节出的变化。

第三，所有样本侧的超参调整必须带版本号。每次调整了采样策略，我都会在缓存目录上标记一个版本号，方便回滚和对比。否则训练跑了一半想回溯到底用了哪组参数，会非常痛苦。

说到底，GRPO 的样本增强本质是在管理优势估计的信噪比。组内样本的差异是信号，奖励里的随机波动是噪声，所有策略最终都指向同一件事：让信号尽可能清晰，让噪声尽可能小。每次改样本侧策略，我仍然坚持先在小组规模上验证，再决定是否全量放开。听起来不刺激，但省下来的训练时间和计算资源是实打实的。