📖标题：Beam Search as Test-Time Self-Distillation via Counterfactual Contexts
🌐来源：arXiv, 2609.37041v1
🛎️文章简介
🔸研究问题：如何在不需要更新模型参数、没有外部奖励模型和专家示范的情况下，在推理阶段利用自蒸馏原理提升大模型的生成质量？
🔸主要贡献：论文提出了一种名为“测试时自蒸馏”的方法，通过反事实上下文构建对比奖励信号，并结合束搜索算法在解码阶段引导模型生成更高质量的回答。
📝重点思路
🔸用反事实上下文替代专家示范：由于推理时没有真实的专家示范，作者设计了两个固定的文本模板作为“反事实上下文”。一个是正面上下文（如“这是一个具有优秀推理能力的回答示例”），另一个是负面上下文（如“这是一个推理错误的回答示例”）。
🔸构建对比互信息奖励：计算候选答案在正面上下文和负面上下文下的对数概率之差。如果某个答案在正面上下文中出现的概率远高于负面上下文，则给予高奖励。这构成了一个隐式的奖励信号，反映了模型自身对高质量推理的偏好。
🔸推导全局重加权策略：理论上，基于该奖励的最优策略是对基础分布进行吉布斯重加权。但这种重加权是全局的，不能简单分解为每个token的独立操作，因为忽略未来轨迹的质量会导致偏差。
🔸采用对比束搜索近似采样：为了高效地从目标分布中采样，作者提出了对比束搜索算法。该算法以块为单位生成文本，并在每一步根据累积的对比奖励分数对候选轨迹进行剪枝和扩展，从而近似全局最优解，避免了逐token采样的短视问题。
🔎分析总结
🔸性能全面超越基线：在数学推理（MATH500）、代码生成（HumanEval）和研究生科学问答（GPQA）三个基准测试中，该方法在四种不同规模的模型上均优于标准采样、低温采样、传统束搜索和幂采样等基线方法。
🔸语义对比是关键驱动力：消融实验表明，性能提升主要源于正负上下文之间的语义对立（如“优秀推理”vs“错误推理”），而非仅仅增加了上下文长度。使用中性的对照组上下文无法带来类似的提升。
🔸推理成本可控：虽然对比束搜索比标准束搜索慢约1.5倍，但其生成的token数量更少，且不需要额外的训练或验证器，整体效率在可接受范围内。
🔸块大小影响显著：束搜索中的块大小存在最佳值（如32个token），过大会减少纠正机会，过小则评分不稳定，适中大小能平衡探索与利用。
💡个人观点
论文不依赖外部数据或复杂的奖励模型，而是挖掘模型内部已有的知识，通过简单的提示词对比（好vs坏）来激发模型的自我纠错能力。
