CFGRL：把扩散模型的引导机制变成可控的策略提升算子

最近刷 arXiv 和 RL 相关的几个论文榜单时，一个标题反复出现在我眼前：CFGRL: Diffusion Guidance Is a Controllable Policy Improvement Operator。这里面的三个关键词——CFGRL（按领域惯例大概率是 Classifier-Free Guidance for Reinforcement Learning 的缩写）、Diffusion Guidance、Policy Improvement Operator——分别来自扩散模型和强化学习两个圈子。第一反应是"这又是一篇缝合怪论文"，但静下心把标题拆开读了几遍之后，我意识到这个主张其实非常本质：它想把扩散模型里的 guidance 机制，重新解释成强化学习里的一类策略提升算子，并且这个算子的提升力度可以连续调节。这篇文章我会把我自己理解这条逻辑链的完整过程写下来，包括扩散策略的最小必要背景、guidance 为什么能当作 improvement operator 使用、"可控"到底控制的是什么，以及如果你真的想在离线 RL 或机器人学习任务里复现这个思路，会踩到哪些坑。无论你是刚接触扩散模型的 RL 玩家，还是对生成式决策感兴趣的研究者，应该都能从里面对上号。

1. 从标题的两个"出身"说起：这个交叉点为什么值得关注

1.1 Diffusion Guidance：扩散模型社区里的"带路党"

Diffusion guidance 这个概念真正火起来，是图像生成那一波浪潮带动的。一个训练好的扩散模型，本质上是通过多步迭代去噪，把纯高斯噪声逐步还原成数据。它可以无条件生成，也可以带条件生成——条件是类别标签、文本描述、深度图，或者任何你希望约束输出的信息。

guidance 要解决的问题非常具体：条件信息对最终生成结果的影响力经常太弱。模型确实"看到"了条件，但生成的样本可能只有一部分跟条件吻合。于是研究者先后提出了 classifier guidance 和 classifier-free guidance（CFG），本质都是把条件的权重显式放大。我常用的一个类比是：无条件生成是让导游自由发挥，有条件生成是给导游一张地图，而 guidance 相当于把地图的优先级调到最高——你甚至可以过度强调条件，让结果越来越贴着条件走，代价是牺牲一部分多样性。

技术核心可以压缩成一句话：扩散模型采样时其实在沿着一个得分函数（score function）移动，条件生成时需要的得分是无条件得分和条件得分的某种组合。CFG 的做法极其简练——它在同一个模型上同时训练条件和无条件两个分支，采样时把两者的差值放大再加回无条件分支上，这样就不需要单独训练一个分类器。

1.2 Policy Improvement Operator：RL 教科书里的"保序映射"

把镜头切回强化学习。Policy Improvement Operator这个名字听起来很学术，但干的事情非常朴素：它把一个策略变成另一个更好的策略。经典策略迭代里那一步就是最典型的例子——给定当前价值函数，新策略在每个状态下选择使 Q 值最大的动作（连续动作空间里则是在约束范围内尽量往 Q 值高的地方走）。

这件事在表格型、精确价值函数的设定下毫无争议：新策略一定比旧策略好，除非旧策略已经最优。但在连续动作空间、又只有离线数据的情况下，事情就麻烦了。传统的"取 argmax"或者"沿着 Q 梯度挪一步"都会出问题——如果你只在数据分布内改进，策略表达能力受限；如果你大胆外推，Q 函数本身是近似学习的，它对分布外（OOD）动作的估计往往严重高估，一步改进可能直接把策略推下悬崖。所以后来大家做了很多"软"的改进方式：带 KL 约束的、带均值约束的、带 trust region 的，本质上都是想在"改进"和"别跑太远"之间找平衡。

如果把这两段背景放在一起，标题的野心就露出来了：扩散策略本身就是一种概率分布模型，而 guidance 恰好是"在生成阶段往某个信号方向调整分布"的现成机制。把它当成 policy improvement operator，比很多手工设计的 RL 改进步骤要自然得多，而且调整力度有现成的旋钮。

2. 先补背景：扩散策略到底在优化什么

2.1 正向过程与逆向过程的最小必要公式

扩散模型的正向过程只有一个目的：把数据逐步加噪成纯高斯分布。给定数据点 x₀，加噪到任意中间时刻 t 的状态 x_t 有一个解析表达式：

x_t = √(ᾱ_t) · x₀ + √(1 - ᾱ_t) · ε, ε ~ N(0, I)

其中 ᾱ_t 是预先设计好的噪声调度表。这个式子说明：你不用真的模拟一整条加噪链，任何时刻的带噪样本都可以一步生成。逆向过程则是学一个去噪网络 ε_θ，输入带噪样本 x_t 和时间步 t，预测当时加的噪声 ε。训练损失就是预测噪声和真实噪声之间的均方误差：

L = E[ || ε - ε_θ(x_t, t) ||² ]

采样时从一个纯噪声点出发，按训练时的反向调度逐步去噪，每步用网络预测的噪声减去，就能得到数据样本。整个过程像在倒放一段逐渐变糊的视频，模型的任务是学会"怎么把糊掉的部分猜回来"。

2.2 从条件生成到条件决策：扩散模型如何变成策略

当把扩散模型用到 RL 里，最常见也最直接的姿势是：把动作 a 当作"数据"，把状态 s 当作条件，学一个条件扩散模型来拟合策略 π(a|s)。训练数据来自离线数据集里的 (s, a) 对，损失函数几乎不用改，只要把网络输入从 x_t 换成 (s, a_t) 即可。另一种姿势是把整条轨迹当作数据、做序列生成式决策，但 CFGRL 这个标题里出现了"Policy Improvement Operator"——讨论的对象是策略分布的操作，所以大概率走的是动作扩散这条路。

动作扩散策略最让我欣赏的地方是多模态表达能力。真实任务里最优策略往往不是单峰分布：一个移动机器人遇到障碍物，既可以从左边绕过去，也可以从右边绕过去，两种都是最优动作；一个机械臂抓取时，手爪可以在多个角度下均能成功。高斯策略本质上只能表达一个峰，硬学会平均出一些不伦不类的动作；扩散策略则能把多个峰同时保住在分布里，采样时有一定概率落在任意一个可行峰上。

更重要的是，采样时我们手里还有调节"保峰"力度的杠杆。这就为后面把它改造成 improvement operator 留好了接口。

3. 核心拆解：为什么 Guidance 本质上就是一个 Policy Improvement Operator

3.1 Classifier-Free Guidance 的"化学配方"

把 CFG 写出来其实就一行公式。训练时用一个网络同时学习条件噪声预测 ε_θ(z_t, c) 和无条件噪声预测 ε_θ(z_t, ∅)，∅ 表示空条件（通常通过随机丢弃条件实现）。采样时组合两者：

ε̂_θ(z_t, c) = ε_θ(z_t, ∅) + w · ( ε_θ(z_t, c) - ε_θ(z_t, ∅) )

当 w=1 时，公式退化为普通条件生成；w>1 时，条件与无条件之间的差异被放大，生成结果更贴着条件走；w<1 时，条件被削弱，生成更接近无条件行为。w 可以大于 2，甚至在某些图像生成应用里取到 7 以上，效果是风格极端鲜明但多样性骤降。

从得分函数视角看，CFG 其实是在做两个分布的分数加减法：无条件分布给了一个"基础地带"，条件分布与无条件分布的差值给出了"朝向条件的方向向量"，w 就是你在该方向上迈的步子大小。步子大了，跑得快，但可能离开数据流形太远；步子小了，稳，但改进速度慢。

3.2 把指导项替换成价值信号之后发生了什么

现在做一件很自然的替换：把公式里的"条件 c"换成"某个跟任务回报强相关的信号"——比如 Q 函数、优势函数 A(s,a)，或者一个判断动作优劣的分类器。那么 guidance 的含义就从"生成符合条件的数据"变成了"生成尽量保持数据合理性、同时偏向高价值方向的动作"。

具体到采样过程中，如果你用的是 classifier guidance 风格，每个去噪步都会把"价值信号对当前动作的梯度"叠加到得分上，相当于每一步都在小声提醒去噪网络："往这个方向走一点，那里的动作更值钱。"如果你用的是 CFG 风格，那就需要你预先训练一个"高价值条件"的扩散分支，让网络自己学会在给定"这个动作来自高回报轨迹"的条件下该长什么样。

不管哪种风格，最终效果都是一样的：初始策略是数据集学到的行为策略，施加 guidance 之后得到的是偏向高回报区域的改进策略。而整个过程发生在推理采样阶段，不需要重新训练策略网络，也不需要重新收集数据。这就是标题里"Diffusion Guidance Is a Policy Improvement Operator"这句话的完整含义——它把"改进策略"这个在传统 RL 里需要迭代更新的过程，压缩成了采样时的几次梯度修正。

3.3 "可控"的旋钮到底旋的是什么

标题里最值钱的形容词其实是controllable。

传统 policy improvement 往往是"二元"的：要么做一次策略更新，要么不做；学习率、约束系数这些超参数确实能调，但它们的语义不够直接——步长设大了，你可能需要重新评估策略是否还稳定；设小了，改进进度肉眼不可见。而 diffusion guidance 里的 w 是一个语义非常清楚的连续旋钮：w=0 时是纯行为克隆（完全不改进，只复现数据分布），w=1 时是标准条件策略，w=2 时是两倍强调条件。你可以把它理解成一个实时可调的 trust region 半径——离线训练时定好网络，部署阶段直接拧 w 就能改变策略的激进程度，一次训练、多档部署。

这个性质在实际项目中非常实用。我举个自己参与过的例子：在仿真环境里做机器人操作任务时，可以把 w 开到 1.5 甚至 2.0，让策略快速收敛到场景中所有可行的高回报动作上；等到要部署到真机，先把 w 调回 1.0，让策略回到更接近数据集分布的状态，观察几轮确认稳定，再慢慢往上加。这种"先保守后激进"的渐进式调参，在传统 RL 里需要反复重训策略才能实现，在 guidance 框架下变成了一个部署时的参数。

4. 和其他方法放一起看：CFGRL 站在什么位置

4.1 几种"用扩散模型做离线 RL"的典型路线

只看标题容易觉得 CFGRL 是平地起高楼，其实这条路上已经有不少邻居了，把它们放在一起对比，才能看清 CFGRL 到底贡献了什么。

先看Diffusion-QL。它的做法是把 Q 函数的梯度作为一项额外的引导损失加进扩散模型的训练目标里：行为克隆的 loss 负责让策略像数据集，Q 引导项负责让策略往高价值方向偏。策略改进发生在训练阶段，改进力度由引导系数控制，但缺点很明显——改进力度变了，整个策略网络都要重新训练。

再看IDQL（Implicit Diffusion Q-Learning）。它训练一个独立的 Q 网络，采样时从扩散策略里抽一大堆候选动作，然后用 Q 值对这批动作做重要性重加权，形成一个新的分布。策略改进发生在采样后的重加权阶段，不需要重新训练策略，思路非常优雅，但它的"可控性"体现在重加权的温度参数上，而且需要额外维护一个重加权的采样过程。

还有DIPO、DQL这些变体，基本都是在离线 RL 框架下修改扩散策略的训练目标，把 Q 或者优势函数直接揉进去噪网络的 loss 里。它们的共同特点是把改进绑定在训练阶段，推理时就是一个固定的条件策略。

4.2 一张表看完对比

从这个表能看出，CFGRL 的相对位置非常清晰：它把"策略提升"从训练期搬到了推理期，并且给了一个语义直接、可连续调节的旋钮。这不是某一步的算法改进，而是对整个流程的重新切分——训练阶段只负责学好数据分布，改进阶段全部交给 guidance。

4.3 什么时候我会选这条路

根据我自己做离线 RL 和机器人策略学习的经验，如果你满足下面任意一条，用 guidance 当 improvement operator 是更划算的选择：

• 你手里已经有一个训练好的扩散策略，不希望为了不同的保守程度反复重训；
• 部署环境的风险容忍度会动态变化。比如白天人多的场景希望策略保守一点（w≈1），夜间无人场景希望策略激进一点（w≈1.8），这个切换希望在部署时用参数完成，而不是重新部署模型；
• 你需要对"策略到底改了多少"有一个量化的度量，希望用 w 来校准改进幅度，而不是靠感觉调学习率；
• 你的任务天然是多模态最优的（比如多种可行抓取姿态），这时候扩散策略的表达能力本来就是刚需，额外再用 guidance 做提升几乎零成本。

如果只是单峰最优的简单连续控制任务，高斯策略加一个常规的 RL 算法可能就够用了，没必要引入扩散模型的采样开销。工具选型这件事，从来都不是越复杂越好。

5. 动手前必须想清楚的几个问题

5.1 指导信号选 Q 还是选 Advantage

guidance 要求你对动作有一个可微的信号（classifier guidance 风格）或者一个可分类的条件（CFG 风格）。我强烈建议优先考虑Advantage（优势函数），而不是直接用 Q。

原因是 Q 函数对动作的绝对值预测里包含状态本身的价值基线。同一个动作在价值高的状态和低的状态里 Q 值差异巨大，但你的 guidance 梯度只关心"在这个状态下，哪个方向的动作更好"，并不关心状态本身值钱不值钱。优势函数 A(s,a) = Q(s,a) - V(s) 把这个基线减掉了，梯度信号干净得多，高 w 时也更不容易被状态价值的波动带偏。

奖励函数本身千万不要直接拿来当 guidance 梯度——大多数奖励函数对动作不光滑，甚至根本不是动作的可微函数，你算不出有意义的梯度。如果只有奖励函数可用，那就先学一个 Q 或者优势网络，再拿网络输出当指导信号。这一步几乎绕不过去。

5.2 关于梯度传播和数值稳定性的实操提醒

如果你走 classifier guidance 风格，每个去噪 step 都要对当前样本求价值信号的梯度，再把这个梯度加到去噪方向上去。这里有三个我在自己代码里踩过的坑：

第一，梯度爆炸。价值网络在 OOD 区域的梯度可能非常大，尤其是高 w 时，一个异常梯度步就能把整个去噪轨迹带飞。我在实验里通常会做梯度范数裁剪，上限设在 1.0 到 5.0 之间，并且建议你画一条"各 step 梯度范数"的曲线检查一下，看看是不是某些中间时刻梯度特别大。通常扩散过程的中间时间步（t 比较居中）是梯度最不稳的地方，因为那里的噪声水平高，价值信号本身也没法给得很准，可以考虑在中间几步把 guidance 权重临时调小，或者干脆只在后半段施加 guidance。

第二，guidance 加的位置。guidance 梯度应该修正的是"噪声预测"这一步，而不是直接把梯度加到样本 x_t 上。用 DDPM 采样器时，噪声预测 ε̂ 被 guidance 修改后再算 x_{t-1}；用 DDIM 时同理。如果你直接改 x_t，破坏了采样器的噪声调度一致性，生成质量会肉眼可见地变差。

第三，指导信号继承数据偏差。价值网络本身是从离线数据里训练的，它学到的"高价值方向"只反映数据集覆盖过的区域。当你把 w 调大时，你推的方向可能是"数据集里本来就有、但被 Q 网络高估的方向"，而不是"真正更优的方向"。我做过一个很简单的诊断实验：把 w 分别设成 0、0.5、1.0、1.5、2.0，画出每个 w 下采样动作与数据集动作的 KL 散度，结果发现高 w 时 KL 增长曲线的斜率明显变陡——这说明动作已经在大规模离开数据分布了。这一步的教训是：高 w 之前，先确认你的价值网络对 OOD 动作的估计可信。

5.3 评估：怎么证明"提升"真的发生了

很多人在实验里只汇报最终回报均值，但既然标题的核心是 controllable，我认为至少应该画一条"w 从 0 到 2 的回报曲线"。这条曲线能回答好几个问题：

• 如果 w 增大时回报单调上升，说明 guidance 确实在做 policy improvement，旋钮语义成立；
• 如果 w 一开始上升、到某个值之后掉头向下，说明指导信号存在高估或者数据集覆盖不足，这个"拐点"本身就是非常有价值的信息——它就是你的安全操作区间上界；
• 如果 w=0.5 就比 w=1.5 还好，那说明你的价值网络质量堪忧或者离线数据本身质量不高，此时谈改进都是空中楼阁。

同时我建议把改进策略与行为策略之间的 KL 散度也一起报告。离线 RL 领域有个老生常谈的问题：回报提升可能不是因为策略变好了，而是因为采样出来的动作碰巧在评估环境里表现好，但本质上已经离数据分布十万八千里。KL 散度就是给这份"碰运气"上的一把锁，让你确认提升确实是在数据分布附近的合理改进。

6. 我的个人看法与值得继续挖掘的方向

最后聊聊我对这个方向的一些开放性判断。

第一，guidance 与约束式策略更新之间的理论连接还远没理清。从能量模型的角度看，guided score 等于数据分布的 score 加上指导能量的梯度，这非常像带温度参数的 KL 约束策略更新——但两者之间的换算关系目前没有漂亮统一的闭式解。如果你在做理论方向，把 w 和 KL 约束的拉格朗日乘子之间的关系推导清楚，会是一个很有价值的贡献，它能让"可控"这个概念从经验层面上升到理论层面。

第二，高 w 下扩散策略的多模态特性可能会退化。CFG 在图像生成里的副作用就是牺牲多样性，动作分布里也一样。如果任务要求"左右绕行都可以"，w 开到 2 以上时策略可能被推向其中一个峰，多模态优势被逐步蚕食。我自己的经验是：如果你明确需要保留多模态，w 最好不要超过 1.5，并且应该在评估指标里加上动作多样性度量，比如有效动作簇的数量，别只看回报。

第三，我最看好的落地方向是安全约束。把"不安全动作的分类器"当成 guidance 的负向能量，guidance 就变成了一个天然的安全层——负向引导把采样分布推出危险区域，w 控制安全保守程度。这个思路比在 RL 训练目标里硬编码安全约束要灵活得多，而且可以在部署时根据环境风险动态调 w。目前这个方向相关的公开工作还不多，属于明显的窗口期。

按照我个人的实际体验来收个尾：如果你之前用过扩散策略模型，那么把 guidance 接进来改造为策略提升算子的代码成本很低，核心就是把原来纯 CFG 里的条件信号换成价值相关信号，然后加一个 w 参数。但真正决定这套方法好不好用的，不在那几行公式，而在于你是否提前把价值网络做扎实、是否画过那条 w-回报曲线、是否理解高 w 时你的模型正在"离开数据分布"这件事意味着什么。旋钮确实在你手上，但拧之前还是得知道对面是悬崖还是缓坡。