📖标题：Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
🌐来源：arXiv, 2610.08077v2
🛎️文章简介
🔸研究问题：当智能体在强化学习中所有尝试都得到相同奖励（如全错或全对）时，传统方法无法提取有效学习信号，如何利用这些被浪费的轨迹经验来提升模型能力？
🔸主要贡献：论文提出自回顾蒸馏（SRD）方法，将交互后的“事后经验”转化为交互前的“事前预见”，显著提升了智能体在复杂推理和长程任务中的表现，尤其在缺乏奖励差异的场景下效果惊人。
📝重点思路
🔸提出前瞻性学习范式：传统方法用事后结果指导行为，SRD则利用完成轨迹中包含的丰富信息（如错误原因或成功关键），去监督模型在交互前对任务需求和潜在陷阱的预测分布。
🔸构建自回顾蒸馏机制：对于每个轨迹，模型先生成不包含交互信息的“预见”（Foresight），再利用包含完整轨迹信息的“ hindsight”教师模型生成更准确的分布，通过最小化两者差异来训练学生模型。
🔸双通道监督策略：根据轨迹结果区分监督类型。成功轨迹提炼“知识”（Knowledge），告诉模型需要哪些通用规则；失败轨迹提炼“陷阱”（Pitfall），告诉模型应避免哪些具体错误。实验发现仅使用“陷阱”通道性价比最高。
🔸兼容现有训练框架：SRD作为一个轻量级辅助目标，可以无缝添加到RLVR（如GRPO）或自蒸馏（OPSD）等现有算法中，无需改变基础架构，仅在训练阶段引入，推理时无需额外生成预见内容。
🔎分析总结
🔸全面超越基线：在数学、代码、搜索及Agent任务等10个基准测试中，SRD均带来显著提升，平均提升幅度达数个百分点至二十几个百分点，且在不同模型规模（4B/9B）下均有效。
🔸解决奖励稀疏难题：在98%的轨迹组奖励均匀（即全失败）的极端情况下，传统RLVR训练成功率仅为0%，而加入SRD后成功率跃升至60.6%，证明其能从无奖励对比的轨迹中提取密集监督信号。
🔸稳定自蒸馏训练：纯自蒸馏方法在某些任务上会出现性能倒退或不稳定，SRD通过提供额外的前瞻性约束，恢复了模型随规模扩大的性能单调增长趋势，增强了训练稳定性。
🔸优化策略分布：SRD并未简单增加输出长度，而是重新分配了模型的注意力，减少了内联计算和变量名的随意使用，增加了规划性语言和结构化关键词的使用，使推理过程更清晰。
💡个人观点
论文引入了一个辅助训练任务，关注“如果重来一次，事先应该想到什么”，来塑造策略的内部表征。
