每天一个大模型相关知识点系列--GRPO

GRPO（Group Relative Policy Optimization）是一种用于大语言模型第三阶段训练的强化学习方法，最早由 DeepSeek-Math 提出。

在 GRPO 中，模型被视为一个策略 π，直接对其输出分布进行优化。在强化学习建模中，prompt 对应状态 s，模型生成的完整响应对应动作 a，奖励函数或奖励模型给出的评分对应回报 r。

在训练过程中，对于每一个输入 prompt，模型从当前策略分布中采样多个候选响应，这些响应是同一策略下的不同行动样本。随后，reward model 对这些候选输出进行打分，并在 group 内计算相对优势（group-relative advantage），通常通过减去 group 内平均奖励作为 baseline，以降低策略梯度估计的方差。

基于该相对优势，GRPO 采用策略梯度方法对模型参数进行更新，使得获得较高相对奖励的响应在策略分布中的概率增加，而相对奖励较低的响应概率降低。与此同时，为防止策略更新过大、导致模型偏离原始分布，GRPO 通过引入相对于 reference policy 的 KL 散度正则项对策略更新进行约束，从而在探索与稳定性之间取得平衡。