hindsight experience replay，我是在复现机械臂抓取任务时第一次认真啃下来的。这个名字起得很有意思，hindsight 直译是“后见之明”，翻译成大白话就是“回头看，才知道当时该怎么改”。当时我的智能体跑在稀疏奖励环境里，几十万步下来成功率始终是零，训练曲线和心电图里的直线没什么区别，我已经开始怀疑是环境写错了还是算法选错了。后来把目标重标注接进去，曲线才真正被拉起来。这篇不打算把论文公式原封不动抄一遍，而是按我自己调试验证时的顺序，把设计思路、四种目标采样方式、复现代码和踩过的坑都讲清楚。想直接跑实验的，重点看第三节；想判断你的任务适不适合上 HER，先看第一节和第四节。
1. 先看懂“Hindsight”在强化学习里到底指什么
1.1 稀疏奖励环境里，智能体到底会遇到什么
要理解 hindsight，必须先理解“目标条件强化学习”里的一个典型困局。比如机械臂抓取、机械手推开物体、机器人导航到指定点，这类任务都有一个明确目标：最终状态要落在某个目标范围内。奖励往往是一刀切的——达到了给 1，没达到给 0，中间没有任何渐进信号。这就叫稀疏奖励。
问题在于离策略学习依赖样本里的正反馈，可在一个空旷且任务难度高的状态空间里，随机策略“瞎猫碰上死耗子”的概率非常低。拿 FetchReach 这种相对简单的环境来说，目标点若是随机撒在一个较大的工作空间里，机械臂手指末端离目标 5 厘米以内才算成功，随机探索的成功率可能只有百分之几。放到 FetchPickAndPlace 这种需要抓取、搬运、释放连续动作的任务里，随机探索几乎不可能撞到一个完整成功样本。没有正样本，神经网络从“全部失败”里只能学到“什么都不对”，梯度更新方向是混乱的，损失可能降了，成功率却纹丝不动。
这里可以用一个生活类比。你去一片没有手机信号的沙漠找一口特定的井，你每次出发都失败，回来后不知道是方向错、距离错还是阻力错。如果你只知道“没找到”这个结果，那么下一次寻找和瞎走没有本质区别。你真正需要的，是某些足够接近井口的位置信息，才能修正之前的路线。HER 的核心，就是主动制造这种“接近成功状态”的样本，而不是站着等自然成功出现。
1.2 目标重标注的直觉：把“未达成的目标”当成“已经达成的目标”
HER 的处理方式非常反直觉。既然某条轨迹里智能体没有到达预设目标，那么我们就“事后”修改这条轨迹的目标，改成它实际到达过的某个位置，然后重新计算奖励，把这条轨迹当作一次成功示范喂给网络。
举个例子。机械臂原本想抓取 A 点，结果手指落在了 A 点附近的 B 点。按原始目标，这是一个失败样本，奖励是 0，网络无法从中学到有价值的东西。但如果我们把目标临时改成 B 点，那么“从当前状态出发，最终停在 B 点”这件事就变成一个成功样本，奖励变成 1。网络从中可以学到：原来在这个初始状态、这一组动作序列之下，是能够抵达 B 点的。下次面对“去 B 点”这个目标时，它就有了可参考的经验。
这听起来像是“自欺欺人”，但强化学习并不在乎数据如何产生，只在乎从数据里学到什么。HER 的本质是把失败的探索轨迹重新解释为成功轨迹，从而把原本稀疏的正样本密度瞬间提高。你不需要永远不犯错的采样过程，只需要记录每个状态下的实际结果，然后把“实际结果”伪装成“期望目标”，就能让每个失败片段都贡献出有监督信号。
从理论角度说，这种重标注有一个很重要的前提假设：在目标条件任务中，很多行为模式的底层结构是共享的。学会“去 B 点”和学会“去 A 点”的行为路径存在大量共性，所以用 B 点重标失败轨迹训练出来的策略，会网罗地提升真实目标 A 上的表现。HER 论文里把这个思想概括为“如果没达到目标，那至少学会了达到某个别的状态”。这个逻辑听着简单，放到策略梯度和 Q 学习的框架里，效果却立竿见影。
2. 核心细节解析：四种目标采样策略与算法配合逻辑
2.1 final、future、episode、random 四种策略怎么选
HER 论文并不是简单地把目标改成“最后实际到达的位置”就完事，它提出了四种从已采集轨迹里选取替代目标的方式。这四种策略的选择直接决定重标样本的质量，很多人按论文公式敲完代码后效果不稳，往往就是在这里设错了。
| 采样策略 | 替代目标来源 | 特点 | 适用场景 |
|---|---|---|---|
| final | 轨迹最后一个状态的 achieved_goal | 最简单、稳定，但可能离其实状态太远，语义偏差大 | 轨迹较短，智能体逐步接近目标的任务 |
| random | 从整条轨迹里随机挑一个 achieved_goal | 采样多样，但可能挑中与动作关联弱的状态，学习信号噪声大 | 作为 baseline 对照 |
| episode | 从同一回合里随机挑一个状态作为目标 | 比 random 稍好，利用了时序上的连续性 | 简单环境备用方案 |
| future | 从当前时刻之后的状态里挑一个 achieved_goal | 兼顾时序关系与样本多样性，是实践中最常用的一种 | 大多数连续控制任务 |
实际使用中，我默认先试 future 策略。原因很直接：它对“向前看”这段子轨迹来说，目标一定落在未来某个真实到达过的状态上，这意味着网络学到的动作序列和最终状态之间存在真实的因果关系，更新信号可靠度最高。相比之下，final 策略把整个轨迹后半段的实际结果统一压缩成最后一个状态，如果轨迹很长，后半段的动作可能和最终状态没有明显关联，容易学出误导性的 Q 值。
paper 里的超参数也支持这个选择。future 策略会额外带一个采样轮数，比如每个失败轨迹额外采样 4 次，也就是从该轨迹的未来状态中分别挑出 4 个目标，生成 4 条重标样本。这个倍率太小，正样本不够；倍率太大，会把同一批真实过渡反复重放，导致网络过拟合到少数几条轨迹上。我实测下来，采样轮数 4 是一个性价比比较高的甜点值。
2.2 为什么必须配合 off-policy 算法，以及更新公式怎么变
很多刚开始接触 HER 的人会问：这件事听起来很通用，能不能接到 PPO 或 A2C 这类 on-policy 算法上？我在实验里试过，结果是方案能跑，但收益非常有限。原因在于，目标重标注本质上是在重新解释旧数据，它要求算法天生具备多次重复利用历史样本的能力。on-policy 算法默认数据只能被用一次，重标后会继续用在当前策略更新上，但策略早就变了，样本分布严重错位。
HER 的正确搭档是 DDPG、TD3、SAC 一类的 off-policy 算法。这类算法会把所有轨迹样本存进 replay buffer，训练时反复从 buffer 里抽样更新。Hindsight 的自制兴奋剂就是通过这种“反复回放”发挥作用的。
配合 off-policy 算法以后，目标重标下的 Q 更新公式大体如下：
new_target = r(s, a, g') + gamma * max_a Q_target(s', a', g')
这里 g' 是重标注后的新目标。注意，动作 a 不需要重新生成，因为它已经在环境中真实执行过了。我们只是把“目标”从原目标替换成某个 achieved_goal，同时用稀疏奖励函数重新计算 r。网络输入里多一路目标特征，actor 和 critic 都必须把 g' 拼进去。
还有一点容易被忽略：重标后的“成功奖励”数值设计要谨慎。如果用 shaped reward，原样本和新目标之间的奖励尺度可能不一致，训练波动会非常大。我推荐统一使用二值稀疏奖励，比如“距离小于阈值给 1，否则给 0”。这样既能维持 HER 的本意，又不会引入额外的奖励噪声。即便后续要做奖励塑形，也应该以稀疏二值奖励为基准，再叠加距离惩罚项，而不是完全依赖密集奖励。
3. 实操环节：复现 HER 的完整流程与关键实现
3.1 环境选择、基线算法与参数配置
我自己完整跑通的第一组实验选择的是 Gym 系里的 FetchReach 和 FetchPush 环境，一个是为了验证 pipeline 是否通顺，另一个是为了验证 HER 在稍复杂任务里的效果。FetchReach 的目标是让机械臂末端到达目标位置，非常适合作为 first baseline；FetchPush 需要把物体推到指定位置，已经能体现“物体交互”带来的额外难度。
算法基线上，我犹豫过 DDPG 还是 TD3。最后选了 TD3，因为 TD3 对动作噪声更稳，Q 值过估计更小。即便和 DDPG 使用同一套重标逻辑，TD3 在 Fetch 系列环境里通常更不容易发散。SAC 也可以，但要额外调温度系数，前期复杂度更高。以下是我实测比较稳的一套起始参数：
| 参数项 | 参考值 | 备注 |
|---|---|---|
| actor 学习率 | 5e-4 | 过高会导致目标更换不稳定 |
| critic 学习率 | 5e-4 | 与 actor 持平，也可略低 |
| batch size | 2048 | 大一点对 HER 重标样本友好 |
| replay buffer 容量 | 1e6 | Fetch 系列必须给大 |
| HER 采样轮数 | 4 | future 策略默认值 |
| 动作噪声 | 高斯噪声，标准差 0.2 | 训练阶段加，评估阶段清零 |
| 回合时长 | 50 步（FetchReach） | 采样存储依赖回合边界 |
| 训练步数 | 100k ~ 300k 步 | FetchReach 快，PickAndPlace 需要更多 |
经验是先把 FetchReach 跑到成功率接近 100%，再切 FetchPush。FetchPickAndPlace 我一度太乐观，直接上手，结果第一周全在调参循环里，效率很低。先易后难不是偷懒，而是为了尽早暴露代码里的低级 bug。
3.2 目标重标注的实现细节与代码骨架
HER 的代码并不复杂，复杂的是数据结构的组织方式。每条经验不仅要存状态、动作、奖励、下一状态，还要存两个关键字段：desired_goal 和 achieved_goal。前者是智能体被要求达成的目标，后者是智能体实际到达的状态。目标重标注做的事情，就是把 desired_goal 替换成某个 achieved_goal，再重新计算奖励。下面是我复现 HER 时使用的核心重标函数骨架，按可运行逻辑精简过。
import numpy as np def sparse_reward(achieved_goal, goal, threshold=0.05): # 目标是二值稀疏奖励：距离小于阈值则成功 distance = np.linalg.norm(achieved_goal - goal, axis=-1) return (distance <= threshold).astype(np.float32) def replay_episode_with_her(episode, her_ratio, threshold=0.05): # episode 是当前回合每条 transition 的列表 # 1. 先把原始经验正常存入 buffer replayed = [] for t, trans in enumerate(episode): replayed.append(trans) # 2. 对每一条没有成功的 transition 做重标 for t, trans in enumerate(episode): if trans["is_success"]: continue for _ in range(her_ratio): # future 策略：从当前时刻之后的 state 里随机选一个 achieved future_t = np.random.randint(t + 1, len(episode)) new_goal = episode[future_t]["achieved_goal"].copy() # 生成新 transition：原动作与状态不变，只换目标 new_trans = dict(trans) new_trans["desired_goal"] = new_goal new_trans["reward"] = sparse_reward( trans["next_achieved_goal"], new_goal, threshold ) new_trans["is_success"] = new_trans["reward"] > 0 replayed.append(new_trans) return replayed这套代码里有三个容易出错的地方。第一个，future_t 必须大于 t，不能从整条轨迹随便挑，否则目标和当前时刻的 action 没有因果联系，学出来基本等于随机目标。第二个，重标样本里的 reward 必须重新用新目标计算，不能沿用原始 reward。第三个，原始经验也要正常保留，不要让重标样本把原样本完全替换掉，否则智能体对真实目标的感知会被冲淡。
我自己在实际复现中踩过比较深的一次坑，是把 achieved_goal 直接从 observation 里取了，但没注意 observation 里不同维度的拼接顺序。Gym Fetch 环境的 observation 里既有机械臂状态，也有物体位置、目标位置，不同版本拼接方式不一样。如果你把目标那一维度错当做物体位置，重标出来的“成功目标”本身就是错的，训练曲线看起来在涨，实际 eval 成功率纹丝不动。遇到这种情况，先单独打印几个 sample 的 obs、achieved_goal、desired_goal，人工核对数值，再继续调参。
3.3 训练节奏、调参与指标观察
HER 引入之后，还有一个常常被忽略的问题是训练节奏。正确做法是：先用某个探索策略采样一整轮 episode，写入 buffer；然后从 buffer 里抽 batch 做若干次梯度更新；隔一定步数跑一次固定的评估，记录 eval 成功率。
训练和评估的比例也很关键。我踩过连轴转的坑：为了节省时间，让 agent 边采样边更新，结果 HER 重标样本刚写进 buffer 就被同一轮更新抽出去训练，样本分布高度相关，训练曲线震荡得厉害。后来改成“先采样 8 个 episode，再更新 20 次梯度”的节奏，稳定性明显变好。评判标准除了最终成功率，还要盯住两个指标：重标样本占 buffer 的比例，以及难以区分原始目标成功率和整体成功率。如果原始目标几乎从不成功，说明探索策略还需要再多样化，光靠 HER 重标无法弥补探索不足。
对于 FetchReach，我跑通流程大约用了 10 万步；FetchPush 大约 20 万步到 30 万步能稳定到 90% 以上。FetchPickAndPlace 的情况更挑探索策略，不确定性大，有人能 60 万步解决，有人要 100 万步。但不管哪种环境，都有一个共性规律：成功率不是一路平滑上涨的，前几万个步数内会先有一段“沉睡期”，因为 HER 里重标样本还没来得及积累足够多，过了一个临界点后，成功率才会加速拉升。看到前期平线不要急着放弃，先确认 buffer 里失败轨迹的重标正样本数量是否在增长。
4. 常见问题与排查技巧实录
4.1 收敛慢、震荡、失效的排查思路
我把复现 HER 过程中遇到的高频问题整理成一张排查表，逐个对应处理过，有些问题表面上像是参数不对，实际原因是数据流里就埋了雷。
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| 训练 loss 在降，eval 成功率一直为 0 | 重标目标没有进入 critic 更新，或 achieved_goal 取错 | 打印重标样本的目标与奖励，人工核对 distance 阈值 |
| 成功率前期一直横盘 | 探索噪声太小，智能体每个 episode 都走相似轨迹 | 加大动作噪声或提高 epsilon，观察 trajectory 多样性 |
| 成功率涨到某个值后突然崩掉 | replay buffer 里早期坏样本被反复重标，或学习率过高 | 增大 buffer 容量，降低学习率，限制 HER 采样轮数 |
| 同一个目标反复执行同一动作 | 策略输入里目标特征丢失，网络忽略目标分支 | 检查 actor 输入是否包含 desired_goal，而非只拼状态 |
| 换一个 seed 后结果差异巨大 | HER 对采样随机性敏感，重标 future_t 选择不稳定 | 做多 seed 实验，避免只看单次结果，并固定随机种子对照 |
这里我要特别提一个问题：很多人以为 HER 是银弹，加上就能稳定收敛，但实际它的效果高度依赖探索质量。HER 只是把已有失败轨迹重新解释出正信号，如果失败轨迹本身千篇一律，重标出来的目标也是千篇一律。所以探索噪声、动作噪声、episode 起始随机化这些基础设置比想象中更重要。我甚至在测试时发现，把机械臂初始位置从固定改为随机采样，对最终成功率的影响比调 HER 采样轮数还大。
4.2 HER 与奖励塑形、课程学习的边界
HER 的一个隐性适用边界，是它对“目标条件型”任务有效，但对非目标条件任务基本无用。比如某个任务只有一个固定终点，无论初始状态如何，都要求回到同一个位置，那 achieved_goal 本身就是固定的，重标毫无意义。反之，像机械臂操作、自动驾驶变道、机器人抓取这类“不同状态下有不同可达终点”的任务，HER 才真正发挥优势。
另外，很多人会陷入一种误区：既然 HER 能让稀疏奖励任务学会，那我叠加一段密集奖励脚本是不是学得更快？我试过不止一次，结论是：HER 与强烈 shaping 的奖励会打架。HER 重标的本质是二值化地解释“是否到达某点”，如果原任务奖励里已经给了密集距离惩罚，重标后的 reward 和原始 reward 尺度不一致，Q 值目标忽大忽小，训练更容易震荡。奖励设计上，我更推荐先用纯二值稀疏奖励配合 HER 跑通，再考虑最小限度的人为引导，比如“未成功时给一个小负惩罚”也可以，但幅度要小，别盖过二值信号。
课程学习可以和 HER 搭配，但不能混为一谈。课程学习通过把初始目标分布由易到难逐步推进，把探索空间一步步缩小；HER 则是在固定探索空间内把失败样本重新解释。两者结合在一起效果更好：先用课程学习把目标和环境分布收敛到可解区间，再用 HER 把区间内的失败样本变成有效学习数据。我在 FetchPickAndPlace 上的成功方案就是这两者结合的结果。
4.3 复现 HER 时容易踩的坑清单
最后整理一个避坑清单，每一条背后都是一段真实调试记录。第一个坑是混淆 desired_goal 和 achieved_goal，这是最基础但出现频率最高的错误。网络输入要同时包含两个目标信息，一个是给智能体下达命令的目标，一个是智能体当前实际位置；如果只输入 desired_goal，网络根本不知道“当前状态和目标”的相对关系，HER 重标的威力就发挥不出来。
第二个坑是忘掉对重标样本做目标归一化。Fetch 系列环境里物体位置和目标位置都是三维坐标，但 observation 里目标被缩放到一定范围附近，如果原实现已经做了归一化，重标时也要做同样的归一化，两边不做对齐，距离计算就失真。
第三个坑是 evel 时忘了把噪声关闭，导致在线监控成功率永远低于真实水平。这个坑很隐蔽，因为训练曲线看着不错，一评估就不动，容易让人白调半天参。我的办法是在代码里给评估函数强制传零噪声，甚至写一个断言，确保评估阶段动作方差为 0。
第四个坑是 buffer 容量不够。HER 重标本质上是把一条轨迹复制成多条样本，如果 buffer 很小，重标样本很快就会把原始真实成功样本挤出去，最后网络只会在“事后解释”的数据上反复打转。我在小型实验里用 5e5 buffer 的效果明显差于 1e6。第五个坑，也是大家最容易忽视的：不要一次性把所有失败轨迹全部重标。保留一部分原始 failure 轨迹非常重要，它们能让网络知道“这个目标没有达到其实是失败的”，从而建立目标成功与否的判别边界。如果 buffer 里几乎全是重标成功，episode 反而变成“永远成功”的独角戏，收敛效果会下跌。
根据我个人的实验体会，HER 是一个“轻实现、重调试”的技术。代码量不大，但它对数据结构、目标维度、奖励函数和探索策略的组合极其敏感。复现它最好的方式是先把 FetchReach 跑通，然后逐步替换环境、替换目标采样策略，观察每一步的变化，而不是一上来就堆复杂环境。当你真正理解“失败的轨迹可以被重新解释为成功”这一点后，回头再看更复杂的目标条件任务，思路会清晰很多。
