强化学习中的事后经验回放（HER）：稀疏奖励下目标条件强化学习的优雅解法

hindsight这个词，要是去搜索引擎里走一圈，大概率会被某个独立游戏占去前排。但我今天想聊的，是另一个意思——强化学习里的Hindsight Experience Replay，中文一般叫“事后经验回放”，圈内习惯简称HER。我做机器人控制方向的强化学习也有几年了，这个算法是我心里少有的、谈得上“优雅”的改进思路：它没有改动网络结构，没有增加算力负担，只是换了一种看待失败的方式，却实实在在解决了一类让人头疼的问题——稀疏奖励下的目标条件强化学习。

如果你正卡在机械臂抓取、导航避障这类“智能体怎么训都学不会”的环节，或者读过一些RL论文但没真正理解HER为什么能work，这篇文章应该对你有用。我会从问题动机、算法原理、参数设计、代码实现、调参经验五个维度，把这个算法彻底讲透，里面的经验全部来自我真实跑过的实验。

1. 为什么需要“事后视角”：稀疏奖励到底难在哪

1.1 强化学习的反馈困境

先回到最基础的问题。强化学习的训练本质上是“试错＋奖惩”，智能体通过不断尝试动作，拿到环境的奖励信号，再用奖励信号去更新策略。这里隐含了一个前提：奖励信号得足够频繁、足够有效，智能体才能把“动作”和“结果”关联起来。

但在很多真实任务里，这个前提不成立。想象一个机械臂抓取任务——它需要把手臂移到目标附近、调整姿态、抓住物体、然后移回目标位置，每一步都要做对才能拿到最终奖励。如果你只在“物体被成功放到目标位置”时给1分，其他情况给0分，那这个智能体在随机探索阶段几乎拿不到任何正反馈。一个长度为50步的轨迹，所有transition的reward都是0，Q值全等于0，策略梯度也学不到有效信号。说直白点，它就像学生做了几十套卷子，但没有任何一道题有标准答案，它连自己错在哪都不知道。

1.2 “事后复盘”的实验设计逻辑

HER的思路非常反直觉：既然智能体没达成原本的目标，那我们就换个目标——把它实际到达的状态，当作它本来的目标，重新计算奖励。这样一来，原本奖励全为0的“失败轨迹”，有一部分transition就变成了“成功轨迹”，奖励变成了1。

用打篮球来类比就特别清楚：你练习投篮100次，没一次命中。如果只盯着“能不能投中篮筐”这件事，这100次练习毫无价值。但HER的视角是——虽然你没投中篮筐，但这次出手的轨迹是确定的，这个轨迹离篮筐偏左10厘米，那“偏左10厘米”就可以被当成一个训练目标，让策略学会怎么把球送到这个位置附近。下次再遇到要投偏左位置的情况，这条经验就能用上了。换句话说，不是要改变你丢球的物理轨迹，而是改变你对这次出手“成功与否”的评判标准。

1.3 适用场景与前提条件

需要强调，HER不是万金油，它专门解决“目标条件强化学习”（goal-conditioned RL）下的稀疏奖励问题。最典型的场景是：

• 机械臂操作：抓取、放置、推物体
• 移动机器人导航：到达某个坐标点
• 多指灵巧手操作：转动阀门、拿起特定物品
• 2D/3D网格世界寻路

这些任务的共同特点是：状态空间中存在明确的“目标描述”，且智能体的行为以“是否达成目标”为唯一成功判据。如果你的任务不属于这类，比如是Atari游戏那种单一得分最大化，那HER就不太适用。实话说，我曾经试图把HER用在一个连续控制但没有明确goal设定的任务上，结果发现没太大意义，白白浪费了一周时间。HER的核心就是“换目标”，没有目标可换，它的魔法就施展不开。

2. HER算法原理拆解：从失败轨迹到有效样本

2.1 目录式目标条件框架

要理解HER，先把目标条件强化学习的数学框架理清楚。这里用一个很朴素的表示方法：

• 状态：s，例如机械臂的关节角度、末端位置
• 目标：g，例如期望的末端位置坐标
• 动作：a，例如各关节的力矩
• 策略：π(a|s, g)，给定当前状态和目标，输出动作分布

在目标条件框架下，环境会给一条episode设定一个目标g，智能体从初始状态s0开始，采取一系列动作，直到终止条件触发（比如步数用尽，或达到目标）。每一条轨迹里存了若干transition，每条transition形如(s_t, a_t, r_t, s_{t+1}, done_t)。奖励r_t通常由“当前状态是否等于目标”来决定：

r_t = 0 如果 s_{t+1} 满足目标条件，否则 r_t = -1（或者干脆为0）

这也就是HER论文里常说的“sparse reward”设定。

2.2 事后目标重标注的具体操作流程

HER对轨迹的处理非常直接，需要两步。第一步，在轨迹采集完成后，额外确定一个“事后目标”g'，这个目标通常直接取“轨迹最终状态”或者“轨迹中某个未来时刻的状态”。第二步，把原始transition里的g全部替换成g'，然后用新的目标计算对应的新奖励r'_t。

举个例子，假设目标是“把物体放到坐标(1, 1)”，智能体从(0, 0)出发一通乱按，走到第10步时物体在(0.3, 0.2)。原始轨迹里所有transition的reward都是-1。HER的做法是把目标改成(0.3, 0.2)，那么这条轨迹里最后几步的reward就变成了0（因为s_{t+1}里末端位置在(0.3, 0.2)附近），其他步骤的reward也变成“离(0.3, 0.2)还差多少”的稀疏判据。这条“成功轨迹”被放回经验池，和原始目标为(1, 1)的轨迹混合在一起供网络学习。

这样做的好处是：即便原始目标是极其困难甚至不可达的，经验池里依然能持续补充“具备正奖励信号”的样本，训练梯度不会断流。

2.3 选择“事后目标”的四种策略

HER论文里详细比较过四种事后目标的采集方式，这四种方式我都在实验里复现过，直接给结论和适用场景。

• final：将一条轨迹的最终状态作为事后目标。这是最直观、最常用的方式，代码里通常作为默认选项。优点是单条轨迹只需要额外生成1个目标，开销最小。缺点是如果轨迹很长，中间很多transition距离最终状态都很远，奖励信号依然偏稀疏。
• future：在轨迹过程中，从当前时刻t之后的某个随机时刻t'取出状态作为目标。这个方式会让轨迹中早前时刻的transition“看起来像”正在接近目标，后续时刻的transition又维持“已经到达”的密集成功信号。实验效果通常最好，论文里也推荐使用。
• episode：在整条轨迹中随机抽取一个状态作为目标。它比final随机性更强，但样本质量参差不齐。
• random：从经验池里随机抽取任意时刻状态作为目标。实现最灵活，但引入的噪声很大，常常是最后的选择。

我自己的实验感受是：final实现最快，但收敛速度略慢；future通常能带来更稳定的训练曲线。在FetchPickAndPlace这类高维任务上，future比final高出约15%到20%的最终成功率，这个差距在训练后期尤其明显。

2.4 多目标视角下的“免费午餐”

为什么换个目标就能让学习发生质变？这里有一个更深层的理解：HER实际上把“单目标强化学习”转化成了“多目标强化学习”。原始任务只有一个目标g，智能体必须达成它；HER引入了一堆额外目标g'，这些目标来自真实环境状态，天然是可达的。

于是，策略网络不再只学习“如何到达g”，而是学习“如何到达任意指定目标”。这个泛化能力让它在面对原始那个困难目标时，至少知道怎么靠近它、怎么把动作序列组织起来了。打个比方，你学开车时如果只练“从家到公司”这一条路线，万一要改道去机场就抓瞎；但如果平时练过“去任意地址”的导航能力，再去公司就是小菜一碟。HER就是给智能体开设了一门“驾考全科目训练”，它把每一次失败路线都当成一条新的导航任务。

3. 工程实现前的参数与设计要点

3.1 奖励函数的设计选择

HER通常搭配稀疏奖励，但“稀疏”也有不同定义。最常见的做法是给一个阈值，判断当前状态和目标之间的差距是否小于阈值，小于就给0奖励，大于就给-1。这个阈值不能设置得太宽松，否则智能体会学个“大概差不多”而不是真正精确地到达目标；也不能太严格，否则HER生成的“成功样本”数量会急剧减少，起不到补充正样本的作用。

以机械臂抓取为例，末端目标坐标是三维的，我通常把阈值设为0.05米左右。试过0.1米和0.02米，前者训练速度看起来更快，但最终成功率和位置精度都不理想；后者会让HER轨迹中本来就稀少的“成功判定”更加稀缺，收敛迟缓。0.05是个不错的平衡点，大家可以根据实际任务调节。还有一些实现选择用距离函数作为稠密奖励——比如r_t = -‖s_{t+1} - g‖——但经验上HER与纯稀疏配合最稳，加了距离奖励反而可能引入策略偏差，让智能体偏向“靠近但不到达”的局部最优。

3.2 目标空间与状态空间的关系

设计HER的第一件事就是确认“目标”在状态里的表示方式。最简单的情况是goal等于state里的一部分，比如导航任务里，状态是(x, y, vx, vy)，目标就是(x, y)，奖励只看位置。这种情况实现最简单，直接把状态切片出来作为目标即可。

复杂一点的情况，比如机械臂任务中，状态包含机械臂各关节角度、线速度、物体位置、物体速度等，目标可能只关心“物体最终位置”。这时你需要在构造transition时明确写出“从完整状态中提取目标子集”的方法。这个映射如果写错了，HER会悄悄把错误的数据喂进经验池，训练出来的策略会有各种莫名其妙的bug。我的建议是单独写一个函数，比如def extract_goal(obs)，在代码里集中管理，并在训练前用几个简单状态做单元测试，确保目标维度和实际状态维度一一对应。千万别把目标向量长度设错，这个bug非常隐蔽，loss曲线看起来一切正常，但策略就是学不会。

3.3 事后采样比例k的确定

HER在工程实现上还有一个关键超参数：每个原始transition，额外补充几个事后目标transition？通常用k表示。原始轨迹长度为T，那么经过HER后，经验池里会增加k*T条新transition，总量变为(1+k)*T。

k的典型取值是4或8。我来给一个具体的开销感知：假设episode长度T=50，k=4，那么一条轨迹从50条transition变成250条。训练时每次从经验池中采样一个batch，其中约4/5的样本是事后目标样本，只有1/5是原始目标样本。这个比例决定了网络的学习重心。k太小，事后样本不足，稀疏奖励问题依然存在；k太大，经验池里几乎全是事后样本，智能体会过度拟合“任意可达目标”而忽略了原始的指定目标，最终可能导致策略漂移。

我在实验里惯用的策略是先用k=4启动训练，观察前几千个episode的成功率曲线，如果原始目标样本带来的梯度太弱、曲线没有出现任何上升趋势，再尝试把k升到8。需要说明的是，k并不是越大越好，k=16时训练速度反而会下降，因为经验池里原始目标样本被严重稀释，策略渐渐丧失了精确完成指定目标的能力。

3.4 网络结构设计与状态-目标融合

把状态和目标一起输入网络，这是目标条件RL的基础操作。常见的有两种方式：一种是把状态和目标做concatenate，直接拼成一个向量输入MLP；另一种是分别编码，让网络内部融合。在HER场景里，通常直接用concat就足够了，没必要增加复杂度。

但有一个容易被忽略的细节：critic网络输入的是(s, g, a)，actor输入的是(s, g)。如果你的状态向量是20维，目标向量是3维，那输入是23维；action如果是4维，那critic输入就是27维。写代码时务必保证拼接顺序一致——我在一个项目里犯过把s和g顺序颠倒但没同步修改target网络的错误，结果Q值一直在震荡，排查了整整两天。另外，HER经常搭配DDPG或TD3这类确定性策略算法，这类算法对Q值的过估计比较敏感，建议直接使用double-Q结构，两个critic取小值作为目标值。我在实验中发现，HER+double-Q的组合比HER+单critic的最终成功率高出将近10个百分点，训练稳定性也好得多。

4. 实操过程：以机械臂抓取任务为例

4.1 实验环境与核心超参数

这块我用OpenAI Gym里的FetchReach做个完整示范，它属于基础级任务，目标是用机械臂末端触碰一个随机位置。环境自带稀疏奖励，成功判定是末端与目标距离小于0.05米。环境状态是25维（包括机械臂关节角、末端位置、目标位置等），动作是4维连续空间。

我的基础配置列表可以照着抄：

• 算法：DDPG + HER（也可以替换为TD3 + HER，效果更稳）
• 网络结构：两层MLP，每层256个神经元，激活函数ReLU
• 学习率：actor和critic均为1e-3
• 折扣因子γ：0.98
• 目标网络更新系数τ：0.05
• 经验池容量：2e6
• 每次采样batch大小：1024（这里建议大一点，HER生成样本多）
• 探索噪声：OU噪声或高斯噪声σ=0.2
• 事后采样比例k：4
• 事后目标生成方式：future

这些参数不是拍脑袋拍出来的，都是多次实验后相对稳定的组合。特别提醒一下batch size，很多入门示例里batch size都是128或256，但配上HER和k=4之后，经验池里样本的分布高度多样化，batch太小会导致梯度方向不稳定，我实际拿到比较平稳的训练曲线是在1024以上。

4.2 训练循环与HER核心模块实现

这里给出一个简化但可直接参考的伪代码结构，重点是把HER的重标注逻辑写清楚：

# HER重标注模块 def hindsight_relabel(episode_transitions): """ episode_transitions: list of (s, g, a, r, s_next, done) 返回原始transitions + 新生成的事后transitions """ all_transitions = [] horizon = len(episode_transitions) for t, (s, g, a, r, sn, done) in enumerate(episode_transitions): # 原始目标样本必须保留 all_transitions.append((s, g, a, r, sn, done)) # 用future策略生成k个事后目标 for _ in range(k): future_t = np.random.randint(t, horizon) # 从当前时刻之后取目标 new_g = episode_transitions[future_t][3] # 用后续状态作为新目标 new_r = compute_reward(sn, new_g) # 基于新目标重新算奖励 all_transitions.append((s, new_g, a, new_r, sn, done)) return all_transitions

这个模块会在每条episode结束后立即执行，清理后统一塞进经验池。核心逻辑只有三行：取未来状态、替换目标、算新奖励。但就是这三行，直接决定了整个训练过程能不能学到东西。compute_reward函数是精髓，它必须和真实环境的奖励函数严格一致，否则网络学的目标条件和真实评判标准之间会产生偏差，训练出来的策略会在评估时暴露问题。

4.3 关键训练指标观察

我习惯同时盯三个指标：episode成功率（当前episode是否达成原始目标）、平均Q值、以及经验池里正奖励样本占比。

HER训练中经常出现一个反直觉的现象：平均Q值缓慢上升，episode成功率却纹丝不动。这不是模型坏了，而是Q值在拟合“任意目标条件下的价值”，而原始目标成功率需要策略网络在actor层面学会“精确动作序列”才能体现。我见过不少同学看到成功率一直是0就急着关程序，其实再给它几千个episode热身，一旦策略跨过临界点，成功率会飙升。这个“临界点延迟”在HER里非常常见。

fetchreach任务上，我这边正常的曲线大概是这样：前2万个episode成功率接近0（偶有低于5%的波动），2万到4万个episode之间成功率爬升到60%左右，再往后逐渐接近80%以上。如果没有HER，同样的超参下，5万个episode结束后成功率依然是0。这个对比足够说明HER在这类任务上的价值。

4.4 训练日志与经验池管理的坑

像HER这类算法，经验池管理比普通RL要麻烦。因为每条轨迹扩充了5倍，经验池很容易被大量“事后目标”的轨迹填满，而早期的原始轨迹反而被挤掉了。我在实验里做过对比：经验池容量设为1e5时，训练后期成功率波动明显变大，原因是正确的原始目标样本被挤出了缓冲池；把容量放大到2e6后，这个现象基本消失。

还有一个值得记录的经验：为了让HER起作用，经验池中必须保留足够比例的原始目标样本。所以我建议不要给重标注后的所有样本无差别设置相同的采样权重，可以在采样器里稍微提高原始目标样本的权重，比如设一个原始样本权重为1.2，事后样本权重为1.0，这样可以在不显著改变算法本质的前提下，稳定策略对原始目标的关注度。

5. 常见问题与排查技巧实录

5.1 训练长时间成功率为零

这种情况最常见，尤其是刚在自己环境里实现HER的时候。排查顺序我建议按下面这张表来：

我踩过最典型的坑是“目标维度拼接错误”。当时的状态是25维，我取后3维做目标，但转置时不小心把顺序写反了，结果HER所有的事后目标都是倒置的三维向量，训练出来的策略疯狂在空间中画圈。这个问题loss曲线完全看不出异常，必须通过打印一组真实transition样本观察目标值才是最容易发现的。

5.2 grad norm爆炸或消失

HER常配合DDPG使用，而DDPG对梯度尺度比较敏感。我建议在训练循环里每隔100个episode打印一次actor和critic的梯度范数。如果critic梯度范数超过10，大概率是Q值在某个状态上出现了尖峰，原因通常是对目标样本的奖励计算出现了“意外成功”——比如阈值过宽或者目标维度误设。

解决方法是先检查batch中是否有奖励和其他样本差异过大的异常值，必要时给target Q值加上一个上限裁剪。另一种做法是换用TD3而不是DDPG，TD3的target策略平滑机制对HER的稀疏样本天然更友好。从我大量的实验经验看，TD3+HER组合在大多数连续控制任务上都优于DDPG+HER，训练的最终成功率和稳定性都更省心。

5.3 是否需要奖励塑形加持

这是被问得最多的问题：既然HER能造出正样本，我还需不需要额外设计距离奖励来加速收敛？我的答案是：不用。HER的意义就在于拆掉奖励塑形这根拐杖，让策略直接从稀疏奖励中学习。如果你加了距离奖励，智能体会学到“靠近目标比远离目标好”，但它也可能满足于“靠近而不真正到达”——这在很多环境中会演化成黑洞式局部最优，一旦陷入，HER也帮不上太大忙，因为事后目标生成的都是“靠近但没到达”的状态。

换句话说，稀疏奖励才是HER发挥威力的舞台。一旦引入多余奖励信号，HER的行为就有些画蛇添足了。我在实现中始终坚持纯稀疏奖励，只在最后的评估阶段用距离指标做额外参考。

5.4 从简单环境到复杂环境的迁移经验

将HER从仿真环境迁移到真实机器人时，最常被忽视的是“状态观测噪声”。仿真环境里目标坐标读取是精确的，但真实机械臂使用视觉定位时会有几毫米到几厘米的噪声。HER在仿真里能学会精细操作，但换到真实环境就失灵了。

一个效果不错的缓解方法是“目标扰动训练”：在构造事后目标时，给新目标加一个很小的噪声，比如±1cm的偏移量。这样策略网络能学到“目标有个不确定性”时的鲁棒策略。虽然这个技巧听起来简单，但它在真实机械臂抓取实验中，能有效减少抓取失败率。我自己在推动这类项目时，也习惯先用模拟器（比如Mujoco）跑通思路，再做sim-to-real迁移，这比直接在真机上调试高效得多。

6. 我对HER的长期使用感受

我个人在实际操作中的体会是，HER属于那种“懂了原理会觉得很简单，但不明白原理时再怎么调参都白搭”的算法。它最核心的价值不是某个数学公式或者网络结构，而是一种看待经验数据的态度——失败不是没有价值，只是价值藏在另一个目标下。这套思想不仅适用于抓取任务，在很多需要从失败中学习的场景中都有变体，比如分层强化学习里为低层策略构造子目标、离线RL里重用既有数据集，甚至多智能体协作中从队友的失误轨迹里提炼策略。

最后再分享一个我实测很顺手的小技巧：在HER训练进入收敛区之后，可以逐步降低k值，比如从4降到1，让网络逐渐把注意力从“任意可达目标”转移回“原始目标任务”上，这个操作能小幅提升最终测试成功率。我自己用这个技巧在FetchPickAndPlace任务上把最终成功率从62%拉到了68%左右，代价不过是多一个超参数的变化而已，性价比很划算。

如果你正在写自己的HER实现，别急着上复杂环境，先用一个2D导航或简单的Reach任务验证全套代码逻辑正确，再换到机械臂抓取这类硬核场景。代码一定要相信单元测试，别相信直觉。祝大家训练顺利。