如果你正在做基于 RLVR（Reward Learning with Verifiable Rewards，即可验证奖励强化学习）的大模型后训练，最近北大相关研究提出的“验证器诱导的策略支持重塑造”值得认真看一遍。这条发现没有否定 RLVR 的效果，但它指出一个很少有人讨论的代价：RLVR 可能会破坏模型后续继续学习的能力。不是通过灾难性遗忘那种原因，而是因为验证器把策略分布“压”到了更窄的区间，模型在后续接入 SFT、其他任务微调或继续 RL 时，适应能力明显变弱。
今天这篇文章会把这个问题拆开讲：先解释 RLVR 为什么这么火，再说明“策略支持重塑造”到底是什么意思，然后给出实践中的判断标准、监测手段和训练建议。最后我会提供一个基于 TRL 库的最小监测流程，以及一套后续任务评估脚本，方便你直接在项目里验证自己的模型是否出现同类问题。
1. 这篇文章真正要解决的问题
先说结论性判断：RLVR 不是免费午餐，它对奖励信号的可计算性依赖很强，而验证器本身会改变模型策略分布的形状。研究指出的“策略支持重塑造”（Policy Support Repositioning）正是这个形状变化的关键描述：验证器通过二元或离散的奖励信号，把模型对答案空间的概率支持从宽分布推向窄分布。当前任务分数上去了，但是模型的“底噪”策略被压缩，后续你再想让它适应新任务，它往往表现得像是学不进去。
这个问题的实际影响比“数学变好了但写代码变差了”更隐蔽。因为 RLVR 结束后，模型在 benchmark 上可能是上升的，常规评估无法暴露策略分布的坍缩。只有当你拿着这个 checkpoint 继续做下一步训练，比如再 SFT 一个新领域、继续 RLHF 对齐，或者做多轮课程学习时，才会发现它比原始 base 模型更难收束到新任务上。
哪些读者最应该关注这篇文章？
- 正在用 RLVR 或 GRPO 调优数学、代码、推理模型的算法工程师。
- 负责从基座模型开始做“预训练—SFT—RLVR—后续对齐”完整流水线的训练团队。
- 想避免“训练一个任务毁掉全盘可塑性”的研究人员和学生。
读完这篇文章，你至少能回答三个问题：RLVR 改善的是什么；策略支持重塑造为什么会让模型“变笨”；如何在训练中尽早发现这个问题并做出干预。
2. RLVR 和验证器：为什么这个方案成为主流
了解策略支持重塑造，最好先回到 RLVR 的技术背景。
2.1 从 RLHF 到 RLVR 的转变
过去大模型对齐主要用 RLHF（基于人类反馈的强化学习），核心是训练一个奖励模型来模拟人类偏好，再用 PPO 做策略优化。奖励模型本身是学习得到的，存在奖励黑客、偏好标注不一致、分布偏移等常见问题。尤其到了数学推理和代码生成领域，人工判断答案质量非常昂贵，而且不同标注者的标准很难统一，奖励模型常常给出不够稳定的反馈。
RLVR 的出发点则是：在那些结果可以被自动检查的任务里，干脆不用训练奖励模型，直接用“结果正确/错误”作为奖励信号。比如数学题，最终答案跟参考答案一致就能得 1 分；代码题目，执行测试用例通过就能得 1 分；SQL 生成、JSON 格式校验、信息抽取字段比对，也都符合这个范式。奖励信号变成规则化、可验证的，不依赖额外模型，也没有“人类口味”的偏差，这让强化学习过程更可控。
2.2 验证器不只是 reward model
命名上容易混淆的是“验证器”。RLVR 里的验证器不是传统 RLHF 的奖励模型，它是一段确定性的判断逻辑，或者是一个用绝对规则封装的评分函数。它的核心性质是可以复现：同样的生成结果，在任何时刻验证它都返回同样的分数。这也让训练过程中不再需要为奖励模型做额外推理，能显著节省算力和复杂度。
不过，正因为验证器是硬的、规则化的，它传递给策略的反馈信息量比奖励模型少得多。奖励模型可以输出连续偏好，模型能知道“这个答案虽然没全对，但部分思路正确”；而 RLVR 的验证器经常只返回 0 或 1。哪怕你设计了一个部分得分函数，它也是针对固定规则设计的。从强化学习的角度看，这种反馈会引导策略去找到“让验证器满意”的模式，而模式之外的行为则不会被奖励，甚至被抑制。
2.3 主流 RLVR 实现：GRPO 和 PPO 风格
目前最常看到的 RLVR 实现包括 PPO 变体和 DeepSeek 开源工作中带火的 GRPO。GRPO 去掉了 critic 模型，对同一 prompt 采样多个候选响应，用组内相对奖励去计算优势。它特别适合 RLVR 场景，因为验证器能给出明确对错，组内比较降低了奖励噪声。TRL 的GRPOTrainer、OpenRLHF 以及最近很多框架都已经把这类流程封装好，大量团队在此基础上做数学推理和代码能力提升。
于是“RLVR + 数学/代码”变成了快速提升模型推理能力的一条标准路线。但接下来我们会看到，正是验证器这个看似高效的设计，带来了策略支持重塑造的风险。
3. 核心发现：验证器诱导的策略支持重塑造
3.1 怎么理解“策略支持”
为了说明问题，先引入一个概率视角。语言模型在给定 prompt 时，会为可能的 token 序列分配一个概率分布。我们把那些概率不为零（实际训练中可以用阈值忽略极低概率）的序列构成的集合称为策略支持。预训练和 SFT 阶段，由于数据覆盖很广，模型的策略支持通常比较大，也就是说面对一个 prompt，它“理论上能够生成”的回复类型很丰富，包含一定错误但也包含正确的各种表达方式。
强化学习的目标是提高某些奖励信号下的期望值。如果优化充分，模型会提高高奖励行为的概率，同时大幅降低低奖励行为的概率。在一个只有 0/1 验证器反馈的任务里，“低奖励行为”其实就是验证器判错的那些答案。于是模型会快速把验证器不认可的表达从高概率区推向极低概率区，策略支持在局部快速收缩。
3.2 重塑造的直觉
北大研究用“重塑造”来描述一种更深层的改变：不只是概率质量在流动，而是模型内部的策略分布在几何上发生了结构性变化。验证器会通过梯度压力改变模型参数，使得它“记住”的候选边界收窄。简单类比是：一个学生只做判断题和选择题，虽然判断题满分，但他逐渐失去了写论述题和组织自由回答的能力，因为他长期没有练习需要开放表达的输出空间。
语言模型也是一样。验证器奖励的往往是某种特定格式的最终答案，比如“答案是 X”。模型为了拿到高奖励，会尽量贴近这个格式，同时把替代性表达（即使也正确）压低。于是它的生成分布会更偏确认性、更简短，少了很多可探索的中间步骤。策略支持从相对多样的连续空间，被重塑造为验证器支持子空间附近的一个“尖峰”。
3.3 后续训练能力被破坏的链路
从训练角度看，后续能力的破坏链条大致是这样：
- 预训练模型具备足够的先验多样性，支持后训练继续塑形。
- RLVR 通过验证器给予集中奖励，模型优化策略支持，局部概率集中。
- 随着训练步数增加，由验证器带来的尖峰变高，同时周围策略空间被压低。
- 后续再做 SFT 或 RL，需要把某些原本较低概率的行为重新抬高。但因为这些行为已经进入低概率区域，梯度很弱，模型需要更多数据或更高学习率才能拉回来，表现为“学得很慢”。
- 极端情况下，新任务所对应的策略支持完全处于被压平的区域，模型再怎么训练都很难跨出旧策略的惯性。
这个链路和经典灾难性遗忘有区别。经典遗忘是旧数据覆盖不足导致旧知识被新知识覆盖；而策略支持重塑造更像是“某一轮强化学习把可塑性本身消耗掉了”。模型不是忘掉了具体事实，而是丧失了对新分布的探索倾向。
4. 机制拆解：为什么验证器会造成这种破坏
为了不至于停留在概念层面，我们再深挖一层：RLVR 的梯度结构、生成分布和验证器设计到底怎么相互作用。
4.1 二元奖励导致策略方差迅速降低
强化学习中，策略梯度的方差和奖励空间有关。当你对一个固定 prompt 采样多个答案，验证器给出的奖励只有 0 和 1 两种取值，那么组内优势通常表现出强烈的二极化：对了的和错的区别很大，但同样是对的，两个答案之间没有区分度。这使优化器把大量概率集中在更少量“正确+被验证器认可”的 token 路径上。
如果用生成熵来观察模型，你会看到熵下降速度比连续的 reward model 反馈更快。因为连续偏好还能给“部分正确”提供梯度缓冲，让模型保留更多中间表达；而二元验证器没有这种缓冲，只要不在验证器认可范围内，就都是等价的低奖励。于是模型倾向于搜出更容易触发验证器的模式，而不是探索多种同样正确的模式。
4.2 验证器的设计偏差会放大坍缩
即使最终答案正确，验证器的规则也可能只接受一种字面格式。比如数学答案要求写成小数不要分数，代码要求输出不带注释说明。这样模型就可能学到的是“服从格式”而不是“学会推理”。如果验证器由一个更弱的模型担任，或者规则覆盖不完整，它还可能出现伪正确：答案对但推理是编的，或者碰巧结果匹配。RLVR 会进一步强化这些“钻空子”的策略，把真正通用的解题策略推向更低的概率空间。
所以这里真正容易踩坑的地方是：你观察到的 benchmark 提升并不代表模型学到了你希望的能力，只代表模型学到了“通过这个验证器”的能力。验证器一旦在后续任务中变化，之前学到的东西很可能大量失效。
4.3 策略支持重塑造与 RLHF 的对比
我们不妨和经典 RLHF（奖励模型）做一个对比：
| 维度 | RLHF（奖励模型） | RLVR（验证器） |
|---|---|---|
| 奖励来源 | 学习得到的偏好模型 | 确定性规则 / 验证器 |
| 反馈粒度 | 连续，能表达部分正确 | 通常 0/1 或离散 |
| 方差特性 | 中等，奖励噪声与模型判断相关 | 低方差，但奖励本身高度集中 |
| 策略支持变化 | 相对温和，保留更多中间行为 | 更容易快速坍缩到验证器认可子空间 |
| 可塑性风险 | 有，但通常不如验证器严重 | 高，尤其只做单轮 RLVR 后不做多样化数据补偿 |
这个对比想说明的是：策略支持重塑造不是 RL 本身的固有问题，而是“二元验证器 + 强强化步数 + 单调奖励”三个条件同时出现时，容易显著放大。如果你在设计中加入更多奖励维度、部分得分和格式多样性约束，风险会明显下降。
5. 实践中如何判断模型是否被“重塑造”
不用等模型训练完才发现可塑性损失。你可以在 RLVR 训练过程中和结束后做一些简单监测。
5.1 记录生成熵和多样性指标
训练时对验证集 prompt 定期采样，计算：
- 生成序列的 token 级别熵。
- distinct-1、distinct-2 指标（即不重复 unigram/bigram 的比例）。
- 候选答案之间的编辑距离或 n-gram 重叠度。
- 答案中是否出现异常短的输出。
如果这些指标在训练早期快速下降，并且后期持续处于低值，说明策略支持正在收窄。不一定代表最终可塑性一定被破坏，但这是一个需要警惕的信号。
5.2 做一个“可塑性探测”实验
更直接的判断方法是：取一个 RLVR 训练后的 checkpoint 和一个同尺寸的基础 SFT 模型，在同一个新任务的小型 SFT 数据集上各训练少量步数，观察两者 loss 下降速度。如果 RLVR 后的模型 loss 下降明显更慢，或者需要更高学习率才能达到相近结果，就有理由认为策略支持重塑造造成了后续学习阻力。
这种探测实验不需要很大的数据集，一个小领域、几百到一千条样本足够看出趋势。关键在于控制变量：同样的数据、同样的超参数、同样的训练步数，只改变初始 checkpoint。
5.3 观察验证器过拟合信号
如果模型在 RLVR 训练集对应的验证器上分数很高，但在一个留出的、分布略有偏移的验证器上分数大幅下跌，也要小心。比如训练时用的是代码单测用例，留出时换成同样题目但换一些边界条件测试，模型正确率如果暴跌，说明它学到的是“针对验证器模式”的表层策略。
这些实践比单看最终 benchmark 更能帮助判断模型是否已经牺牲了可塑性。
6. 一个可运行的 RLVR 策略支持监测示例
接下来进入实操。我们用一个偏教学性质的示例，展示三部分内容：
- 使用
trl的GRPOTrainer配置一个简单的 RLVR 训练。 - 在训练过程中记录生成多样性指标。
- 训练结束后，用一个脚本评估“后续 SFT 可塑性”。
注意：本文示例重点关注结构，而不是严格复现某个实验。具体版本请以实际项目为准，核心思路是给你一个可以扩展的模板。
6.1 RLVR 训练脚本（基础版）
先安装依赖：
pip install trl transformers datasets accelerate下面是一个基于 TRL 的 GRPO 训练脚本，验证器假设是一个检查最终答案是否为42的简单函数。实际项目中你应该替换成真正的测试用例或规则。
# 文件路径：rlvr_training.py from datasets import load_dataset from trl import GRPOTrainer, GRPOConfig from transformers import AutoModelForCausalLM, AutoTokenizer # 一个极简验证器：生成内容里包含 "42" 即为正确 def simple_verifier(prompts, completions, **kwargs): rewards = [] for completion in completions: text = completion[0]["text"] rewards.append(1.0 if "42" in text else 0.0) return rewards config = GRPOConfig( output_dir="./rlvr_checkpoints", learning_rate=5e-6, max_completion_length=128, num_generations_for_completion=4, per_device_train_batch_size=4, gradient_accumulation_steps=1, max_steps=200, logging_steps=10, save_steps=50, ) model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct") tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct") # 假设数据集包含两个字段：prompt 和 reference dataset = load_dataset("json", data_files="train.jsonl", split="train") trainer = GRPOTrainer( model=model, args=config, train_dataset=dataset, reward_funcs=[simple_verifier], processing_class=tokenizer, ) trainer.train()代码说明：
simple_verifier接受一个批次中的 prompts 和 completions，返回每个回答的奖励值。实际项目中建议改为调用函数评估器，而不是字符串包含判断。GRPOConfig里的num_generations_for_completion表示每个 prompt 生成几个候选回答并组内比较。max_completion_length控制了生成的答案长度，太短可能限制了模型表达。- 训练数据需要
prompt字段，最好也保留reference供验证器使用。
6.2 记录生成多样性的回调
我们希望在训练过程中定期评估策略支持的变化。TRL 支持通过回调或自定义评估循环实现。最简单的办法是在GRPOTrainer的评估 hook 里，对固定验证集执行生成并计算多样指标。
下面是一个轻量回调示例：
# 文件路径：diversity_callback.py import numpy as np from collections import Counter class DiversityCallback: def __init__(self, eval_prompts, tokenizer, max_new_tokens=64, sample_times=8): self.eval_prompts = eval_prompts self.tokenizer = tokenizer self.max_new_tokens = max_new_tokens self.sample_times = sample_times def compute(self, model): model.eval() all_texts = [] for prompt in self.eval_prompts: inputs = self.tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate( **inputs, max_new_tokens=self.max_new_tokens, do_sample=True, top_p=0.9, temperature=0.8, num_return_sequences=self.sample_times, ) for out in outputs: text = self.tokenizer.decode(out[inputs.input_ids.shape[1]:], skip_special_tokens=True) all_texts.append(text) tokens = [text.strip().split() for text in all_texts] all_token_flat = [t for seq in tokens for t in seq] if len(all_token_flat) == 0: return {"sent_entropy": 0.0, "distinct_1": 0.0, "distinct_2": 0.0} sent_entropy = self._entropy(Counter(all_token_flat)) distinct_1 = len(set(all_token_flat)) / max(1, len(all_token_flat)) unique_bigrams = set() for seq in tokens: for i in range(len(seq) - 1): unique_bigrams.add(seq[i] + "_" + seq[i + 1]) distinct_2 = len(unique_bigrams) / max(1, sum(max(0, len(seq)-1) for seq in tokens)) return { "sent_entropy": sent_entropy, "distinct_1": distinct_1, "distinct_2": distinct_2, } def _entropy(self, counter): total = sum(counter.values()) import math return -sum((cnt / total) * math.log(cnt / total) for cnt in counter.values()) # 你可以把这个回调通过 trainer.add_callback 的方式接入， # 或者在每个 logging step 手动调用 compute 并打印指标。使用说明：
eval_prompts是固定的评测 prompt 列表，建议从开发集抽取 20 到 50 条。sample_times表示每个 prompt 采样的候选次数，建议至少 8 次，计算 diversity 指标才有意义。- 当
distinct_1和distinct_2随训练步数快速下降并稳步停在低位时，就是在提示“策略支持正在变窄”。
6.3 后续 SFT 可塑性评估脚本
训练结束之后，我们用一个小规模 SFT 数据来探测模型的后续学习能力。脚本会输出两种 loss：基础模型（RLVR 前）和 RLVR 后模型在同样新任务上的收敛差异。
# 文件路径：plasticity_check.py from datasets import load_dataset from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments MODEL_PATHS = { "before_rlvr": "Qwen/Qwen2.5-1.5B-Instruct", # 或者你保存的 SFT checkpoint "after_rlvr": "./rlvr_checkpoints/checkpoint-200", # RLVR 后的模型 } # 一个用于“新任务”的小型指令数据，比如让模型学习用指定格式输出摘要 dataset = load_dataset("json", data_files="new_task_train.jsonl", split="train") dataset = dataset.map(lambda x: { "text": f"用户指令：{x['instruction']}\n模型回答：{x['output']}" }) def tokenize(examples, tokenizer): return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512) results = {} for name, model_path in MODEL_PATHS.items(): tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path) tokenized_dataset = dataset.map(lambda e: tokenize(e, tokenizer), batched=True) args = TrainingArguments( output_dir=f"./probe_{name}", per_device_train_batch_size=4, max_steps=100, learning_rate=1e-5, logging_steps=10, save_strategy="no", report_to="none", ) trainer = Trainer( model=model, args=args, train_dataset=tokenized_dataset, tokenizer=tokenizer, ) train_result = trainer.train() results[name] = train_result.training_loss print("Plasticity probe results:") for k, v in results.items(): print(f"{k}: {v:.4f}")脚本输出示例（假设值）：
Plasticity probe results: before_rlvr: 1.4523 after_rlvr: 2.1018如果after_rlvr的 loss 明显高于before_rlvr，说明 RLVR 后的模型在新任务上学习得更困难，策略支持重塑造的影响是真实存在的。
需要说明的是，这些脚本并不完整复现北大研究，它们是为了帮你把“策略支持重塑造”这个抽象概念变成一个可观测、可比较的工程指标。
7. 常见问题与排查思路
| 问题现象 | 可能原因 | 排查方式 | 解决方案 |
|---|---|---|---|
| RLVR 训练结束后，模型回答变短、模板化明显 | 验证器对格式的依赖过强，策略坍缩到短答案 | 采样生成文本，统计平均长度和 distinct n-gram | 在奖励中加入长度惩罚或格式多样性正则；降低验证器格式敏感性 |
| 后续 SFT 时 loss 一直不下降 | RLVR 把新任务对应的策略支持压到接近零 | 对新任务做了小规模探测实验，对比 RLVR 前后模型 | 使用混合数据集（旧 RLVR 数据 + 新任务数据）重新训练；提高新任务数据的采样权重 |
| RLVR 过程中熵下降极快 | 组内对比过于激烈，或 KL 系数过小 | 观察 training 日志中生成熵与奖励变化曲线 | 调大 KL 惩罚系数，降低学习率，或增加采样的 temperature |
| 模型在训练验证器上高分，但在更难的测试集上暴跌 | 模型过拟合验证器表面规则 | 设计分布外验证集，用新的测试用例重新评估 | 增加验证器规则多样性；不要只用一个固定验证器训练，轮换测试套件 |
| 重新做 RLHF 时奖励模型给分不稳定 | 之前 RLVR 压缩了模型的策略空间，生成样本多样性不足 | 计算 RLHF 训练样本的响应多样性 | 在 RLHF 前用大量 SFT 混合数据恢复策略多样性，或直接不回滚、重新训练一个 base 模型 |
查看这些问题时，第一步永远不是改参数，而是先定位现象是否来自“验证器导致的分布坍缩”。你可以把训练中保存的 checkpoint 拿出来，各自做一次生成多样性和可塑性探测，让数据替你判断。
8. 最佳实践与工程建议
既然 RLVR 有这种副作用，实际工程中我们应该怎么用？不能因为它有风险就不用，而是要考虑如何在项目里限定它的边界。
8.1 验证器设计要追求多样性，而不是单一规则
不要让一个验证器成为唯一的“神”。可以同时设计多个验证视角：结果正确性、推理链完整性、格式多样性、文本长度可控性。哪怕你只做最终答案判断，也可以在采样阶段保留多个正确答案的表达，不要只取第一个。这样策略支持不会过早收敛到单一回答模式。
8.2 把 RLVR 放在流程的中段，而不是末端
如果你的最终目标是一个开放域对话助手或一个通用 Agent，不要把 RLVR 当作最后一步训练。更合理的路径是：Base 模型 → 通用 SFT → RLVR 针对特定能力（数学/代码）→ 通用 SFT 恢复可塑性 → 完整 RLHF 对齐。中间插入的通用 SFT 可以部分恢复被压缩的策略支持，让模型重新见到多样的表达空间。
8.3 用 KL 系数和熵项做“护栏”
RLVR 训练必须保留参考模型的 KL 约束，不要把它设成 0。KL 系数越大，模型越难偏离当前策略，这看似限制了任务上限，但同时也限制了策略坍缩。建议实践中保持一个中等 KL 系数，比如参考当前模型和初始模型在验证集上的 KL 不超过 2-3 nats 这样一个经验范围。具体数值需要以你能接受的可塑性损失为准。
8.4 混合训练优于纯 RLVR
不要让训练数据全是“可验证的题”。即使在做 RLVR，也可以按一定比例混入通用的、不需要验证器奖励的数据。这些样本的奖励设为 0，或者使用普通的 SFT loss。这样模型在每个 batch 中都有机会保留通用策略支持，降低坍缩速度。混合比例可以从 10% 到 30% 起步，根据不同任务调整。
8.5 建立可塑性回归测试
像单元测试一样，为模型训练流程建一个“可塑性回归测试”。这个测试不需要在每次训练后都跑完整的下游任务，可以在每次 checkpoint 保存时自动运行一个小采样脚本：在新任务的小数据集上训练 50-100 步，比较 loss 下降曲线。如果 RLVR 持续多轮后这个指标慢慢恶化，你就能及时停止，而不是等模型废了才回头看。
8.6 团队协作时，把可塑性指标纳入实验报告
团队内部做模型迭代，不能只看 benchmark 和 checkpoints 数量。建议在实验记录里固定记录：生成熵、distinct-n、新任务 mini-train loss、分布外验证器准确率。这样后续判断“要不要回滚、要不要重新做 SFT、怎么分配预算”都有据可依。
9. 总结与后续学习方向
北大研究提出的“验证器诱导的策略支持重塑造”，本质上是指出了一种 RLVR 时代容易被忽略的代价模型：当前任务分数高，不代表模型变强了，它可能只是把策略分布压窄了。压窄后的模型在后续继续学习时表现出明显的惰性，这才是大模型后训练真正需要警惕的地方。
从工程角度来看，本文想强调一个可操作的经验：如果你要在生产环境里用 RLVR，需要给验证器设计、训练阶段顺序、KL 项、数据混合和可塑性探测留出明确位置。把 RLVR 当作一个强大的局部优化工具，而不是训练的终点，是对后续学习能力最好的保护。
接下来你可以做三件事：
- 拿你的现有 RLVR checkpoint 跑一次上面 6.3 节的可塑性探测，确认是否已经出现后续 SFT 的学习阻力。
- 在下次训练中加入 diversity 回调，把生成熵和 distinct-n 指标纳入常规日志。
- 如果策略支持坍缩已经很严重，尝试用 20% 通用 SFT 数据和原 RLVR 数据混合，重新恢复策略空间。
更深入的研究方向包括：理解验证器诱导的“重塑造”到底发生在模型的哪一层参数空间，是否可以通过 LoRA 或低秩更新来隔离不同任务之间的干扰；以及设计更平滑的“部分可验证”奖励函数，让策略支持既能向正确方向移动，又不会失去探索新的候选空间的能力。这些方向比单纯调大 RLVR 训练步数更有价值，也值得持续关注。
