过程奖励模型（PRM）vs 结果奖励模型（ORM）深度解析：从 Monte Carlo 标注到推理验证的 LLM 推理能力训练新范式

过程奖励模型（PRM）vs 结果奖励模型（ORM）深度解析：从 Monte Carlo 标注到推理验证的 LLM 推理能力训练新范式

• 核心痛点：大模型推理能力训练中，仅靠结果奖励信号稀疏且易导致奖励劫持，过程级奖励建模成为突破推理瓶颈的关键
• 适配人群：AI 研究工程师、大模型训练工程师、推理系统架构师、强化学习研究者
• 收获能力：深入理解 PRM/ORM 的数学原理与训练方法论，掌握 Monte Carlo 标注、MCTS 搜索、Best-of-N 采样等核心机制，具备在生产环境中选择和部署奖励模型的实战能力

• 技术背景与演进逻辑

  • 推理能力训练的三大范式演进
    • 第一阶段：监督微调（SFT）-> 通过标注推理链数据直接训练 -> 依赖人工标注成本高且泛化性有限
    • 第二阶段：结果奖励模型（ORM）-> 仅对最终答案给出奖励信号 -> 信号稀疏、难以定位推理错误
    • 第三阶段：过程奖励模型（PRM）-> 对每个推理步骤给出奖励信号 -> 信号密集、可精确定位错误步骤
  • 核心驱动力
    • 复杂数学推理任务中，ORM 无法区分"过程正确但计算错误"与"过程错误但碰巧得到正确答案"
    • 推理时计算扩展（Test-Time Compute Scaling）需要可靠的步骤级验证器来指导搜索
    • OpenAI 的 “Let’s Verify Step by Step” (2023) 首次系统证明 PRM 在数学推理上显著优于 ORM
  • 演进时间线

    时间线 ├── 2022 -> Uesato et al.: 提出过程监督 vs 结果监督的概念框架 ├── 2023 -> OpenAI PRM800K: 首个大规模人工标注 PRM 数据集 ├── 2024 -> Math-Shepherd: Monte Carlo 自动标注 PRM 训练 ├── 2024 -> DeepSeek-R1: 结合 ORM 与强化学习的推理模型 ├── 2025 -> OmegaPRM / GenPRM: 自动化 PRM 训练方法成熟 └── 2026 -> CRM / SP-PRM: 过程-结果联合建模新范式

• 核心原理深度解析

  • 结果奖励模型（ORM）核心原理

    • 数学定义

      • 给定问题q qq和推理步骤序列s = ( s 1 , s 2 , l d o t s , s n ) s = (s_1, s_2, ldots, s_n)s=(s1​,s2​,ldots,sn​)，ORM 仅对最终答案a = s n a = s_na=sn​给出奖励
      • 公式：R m a t h r m O R M ( q , s ) = m a t h b b 1 [ m a t h r m v e r i f y ( a , a ∗ ) ] R_{mathrm{ORM}}(q, s) = mathbb{1}[mathrm{verify}(a, a^*)]RmathrmORM​(q,s)=mathbb1[mathrmverify(a,a∗)]
      • 其中a ∗ a^*a∗为标准答案，m a t h b b 1 mathbb{1}mathbb1为指示函数

    • 训练方法

      • 正负样本构建

        ORM 训练数据构建 ├── 正样本：推理链最终答案正确 -> 标签 = 1 ├── 负样本：推理链最终答案错误 -> 标签 = 0 └── 训练目标：二分类交叉熵损失

      • 训练流程

        ORM 训练流程 ├── 收集推理轨迹 -> 判断最终答案对错 ├── 对错标注 -> 训练二分类器 └── 二分类器 -> 奖励模型 R(q,s)

    • 核心局限

      • 信号稀疏：只在推理链末端给出反馈，无法指导中间步骤的优化
      • 奖励劫持：模型可能学会"碰巧得到正确答案"的捷径路径
      • 信用分配困难：无法确定哪个步骤导致了最终的正确或错误
  • 过程奖励模型（PRM）核心原理

    • 数学定义

      • PRM 对推理链中的每个步骤s i s_isi​给出奖励信号
      • 公式：R m a t h r m P R M ( q , s , i ) = P ( s i m a