做机器人抓取的同学，大概率都有过这种崩溃时刻：模型训了几十万步，训练曲线趴在地板上一条直线，机械臂从头到尾就没碰中过目标物体。你检查网络结构、调学习率、调动作噪声，折腾一圈下来还是老样子。后来我真正看懂hindsight（事后经验回放）之后才明白，问题通常不在这些细节，而是经验池里存的全是拿同一个目标去衡量的失败轨迹，正面信号几乎为零，代理根本无法学到任何有效梯度。Hindsight Experience Replay，简称HER，正是冲着这个痛点来的。
这篇内容既讲原理也讲落地：先拆解为什么稀疏奖励会让强化学习卡死，再深入HER的四种目标重标记策略，然后给出FetchPush上的可复现代码与超参数，最后整理我反复踩过的坑。适合刚接触机器人强化学习、或者已经用DQN/DDPG跑过基准任务但换到稀疏奖励场景就训不动的同学。
1. 稀疏奖励为什么是强化学习的"死穴"
1.1 随机探索撞上概率墙
强化学习里，奖励信号是agent学习的唯一"老师"。稀疏奖励意味着绝大多数状态下agent得到的奖励都是同一个值：没有达成目标，返回-1；达成目标的瞬间，返回0。问题时目标状态在整个状态空间中往往占据的体积极小，随机探索碰上它的概率低得惊人。
你可以把随机探索想象成在一个超大展厅里找一盏熄灭的灯：目标区域可能只占状态空间极小一块，每一步还带着环境随机性和动作噪声，多个维度误差一叠加，成功率低到可以忽略。HER论文里经典的Bit Flipping任务足以说明问题：10位二进制序列，随机翻转的成功概率还有1/1024，勉强能靠运气试出来；把序列长度提高到28位，随机尝试的成功概率就跌破百万分之一。这种情况下，agent在初始阶段接受到的正样本数量趋近于零，价值函数学到的全是"所有动作都一样坏"，策略自然无法起步。
这也是为什么很多人从连续控制benchmark换到机器人操作任务后会当场懵掉：Mujoco里的HalfCheetah、Walker这类任务奖励密集，每一步都有反馈，DDPG或者SAC跑起来有模有样；但一上FetchReach、FetchPush这类带稀疏奖励的机械臂任务，同样的网络结构、同样的超参数，成功率直接归零。不是你的代码错了，而是奖励结构把学习方法卡死了。
1.2 目标条件框架：奖励需要看"目标"
要理解HER，得先把问题装进goal-conditioned框架。简单说，每个transition不再只是(s, a, r, s')，而是(s, a, r, s', g)。这里的g是desired goal，也就是我们希望agent达到的目标；同时从状态s'里可以提取出achieved goal，也就是当前实际实现了什么。
以FetchPush为例，机械臂的目标是把桌面上的球推到指定位置，那么g就是球的目标3D坐标，achieved goal就是当前球的3D坐标。稀疏奖励函数写出来是这样：
def sparse_reward(achieved_goal, desired_goal): return 0.0 if achieved_goal == desired_goal else -1.0实际实现里不会要求严格相等，而是用欧氏距离小于某个阈值就算成功。但不管阈值怎么写，核心问题没变：失败轨迹上每一个transition的奖励都是-1，价值网络很难从这一堆等价的负样本中分辨出"哪个状态离目标更近"。
这就引出一个重要认知：稀疏奖励问题里，agent缺少的不是状态信息，而是可学习的梯度。观测里明明包含了球的位置、机械臂的关节角，网络也知道球在哪、目标在哪，但二元奖励把所有信息都压成同一个负数，梯度信号自然非常弱。
1.3 事后反思为什么有效
HER的核心思路可以用一个篮球教练的复盘来解释。队员练习投篮，要求是投进篮筐，结果球砸在了篮板边上。教练不会把这次练习完全否定，而是说："既然你这次没进，但球落到了篮板左下方，那我们就当刚才的练习目标是'把球打到篮板左下角'，你成功了。"下次练习时，队员再瞄准"篮板左下角"这一目标，比直接瞄准篮筐更容易复现。
HER做的事情完全一致：一个episode没能实现期望目标g，但这个过程中实际实现了另一个目标g'，那就把这个轨迹上的transition按g'重新标记，存成一条"真实发生过的成功样本"。注意，这不是伪造数据，因为g'确实被实现了，从这一刻的状态出发，继续做与之前相同的动作，确实能达到g'。因此重标记后的样本是自洽的，奖励信号也是正确的。
这个思想的价值在于，它把强化学习中结果导向的采样逻辑改造成过程导向：不再祈祷随机探索直接撞上任务目标，而是让自己经历过的每个中间状态都变成目标，给学习器不断提供"成功"样本。HER的名字也因此而来——hindsight，事后回头看的视角，把已经发生的事重新解读成有用的经验。
2. HER核心机制拆解
2.1 一条经验如何被"重标记"
理解了思想再落到数据层面就简单了。设agent在时刻t处于状态s_t，执行动作a_t，到达状态s_{t+1}。原始transition是(s_t, a_t, r, s_{t+1}, g)，其中r是相对原目标g的稀疏奖励，绝大多数情况下是-1。
重标记过程要做两步：从s_{t+1}中提取achieved goal，记为g'；然后用g'替换原来的g，并重新计算奖励。由于g'是从s_{t+1}里提取的真实状态，新奖励r'通常是0或成功标志。这样做出来的transition，语义就变了：原本是"朝目标g走了一步但没成功"，现在是"朝目标g'走了一步并成功到达"。
这里有一个细节容易被忽略：g'必须取自s_{t+1}，而不是s_t。原因是奖励描述的是"执行动作之后的结果"，只有用行动后状态里的achieved goal做新目标，才能保证这个transition确实达成了目标。如果拿s_t里的achieved goal做目标，得到的奖励会和实际结果对不上，数据就是错的。
我在实际项目中写的重标记逻辑大致如下：
def relabel_trajectory(trajectory, k=4, goal_strategy="future"): """ trajectory: 一个episode的所有transition， 每个元素为 (obs_t, action_t, reward_t, obs_t1, achieved_goal_t1, original_goal) k: 每个原始transition额外生成的重标记样本数量 """ new_transitions = [] for t, (obs_t, action_t, reward_t, obs_t1, ag_t1, original_goal) in enumerate(trajectory): # 原始transition保留一份，不能让真实目标被完全淹没 new_transitions.append((obs_t, action_t, reward_t, obs_t1, original_goal)) for _ in range(k): if goal_strategy == "future": # 从本episode未来步数中随机挑一个索引 future_idx = np.random.randint(t, len(trajectory)) new_goal = trajectory[future_idx][4] # achieved_goal_t1 elif goal_strategy == "final": new_goal = trajectory[-1][4] elif goal_strategy == "episode": random_idx = np.random.randint(0, len(trajectory)) new_goal = trajectory[random_idx][4] else: # random new_goal = sample_goal_from_other_episodes() new_reward = sparse_reward(ag_t1, new_goal) new_transitions.append((obs_t, action_t, new_reward, obs_t1, new_goal)) return new_transitions这条函数基本就是HER的引擎。只要把这批重标记后的transition塞进replay buffer，后面的DDPG、TD3、PPO照常去采样训练即可。
2.2 四种目标选择策略对比
重标记时怎么选新目标g'，直接影响最终效果。原论文给出了四种策略：
| 策略 | 选取方式 | 特点 |
|---|---|---|
| final | 取本episode最后一步的achieved goal | 目标信息单一，长轨迹里前段样本的奖励失真较大 |
| episode | 从本episode内随机选一个achieved goal | 多样性比final好，但可能选到过去已错过的状态 |
| random | 从replay buffer任意episode中随机选一个achieved goal | 目标分布宽泛，跨episode混合容易引入不一致性 |
| future | 从本episode当前步之后随机选一个achieved goal | 目标在物理上可达，推荐首选 |
我最开始图省事只用final策略，结果发现FetchPush能学到一点进展但成功率上不去，原因很简单：一条轨迹几十步，越靠前的时间步离最终状态越远，把"最终状态"写成这些早期transition的目标，等于逼agent在第一步就得具备跳到终点的能力，目标难度畸高。
换成episode策略后，目标多样性上来了，但偶尔选出来的目标是轨迹中已经出现过的旧位置。从后面时间步的状态往前回溯，本身就不符合动作执行的先后顺序，等于让agent学习"回到过去"，这种重标记样本的可学性会打折扣。所以我最后还是固定用future策略，未来步出现的目标，意味着agent当前离它并不远，完全可以从当前状态走过去。
2.3 "future"为什么是最稳的策略
future策略胜出的根本原因，是它保住了目标的因果正确性。从时间角度，未来状态发生在当前状态之后，agent确实有足够的时间步去到达；从空间角度，后续状态下提取的目标通常和当前状态差异不大，目标难度由时间距离自然控制，不会出现"第一步就要瞬移到轨迹终点"的荒谬设定。
另外，future策略生成的目标分布会随着策略改进而动态变化。训练初期，agent轨迹混乱，未来状态五花八门，等于变相做了大规模的数据增强；训练后期，agent轨迹趋于稳定，未来状态逐渐靠近真实目标，重标记样本也跟着聚焦到高价值区域。这种自适应性是final和random策略不具备的。
原论文的消融实验也验证了这一点：同样的DDPG骨干网络，在FetchPush上，future策略能达到接近0.8的成功率，final策略会掉一截，random和episode居中。这个结论我复现过多次，基本稳定。后面所有实验里，我都把goal_strategy直接写成"future"，不再纠结。
3. 实操复现：以FetchPush机械臂推球为例
3.1 环境与网络结构选择
落地验证我用的是gym的FetchPush环境，任务设定为机械臂把桌面上一个球推到随机目标位置，观测维度25、动作维度4，其中前三维控制末端执行器的目标位置增量，第四维控制夹爪开合。这个环境是标准的多目标稀疏奖励benchmark，非常适合检验HER的效果。
算法骨干选DDPG而不是PPO，原因有两个：第一，DDPG是off-policy方法，天然依赖replay buffer，而HER本身就是一种"对replay buffer内容做文章"的机制，配合度极高；第二，机器人连续控制任务中，DDPG+HER是原论文验证过的经典组合，超参数可参考的样本多，踩坑概率低。如果你更习惯TD3或SAC，改起来也很容易，HER不依赖特定算法，它改的是数据采集方式。
网络结构按照原论文配置即可：Actor和Critic都是两层256单元的全连接网络，激活函数用ReLU，Critic输出Q值。这里不建议把网络加太深，机器人操控任务的数据复杂度有限，过深的网络反而容易过拟合到重标记样本上。
3.2 Replay Buffer与重标记代码
Replay Buffer的设计要额外存一份achieved_goal。我习惯把transition组织成一个字典，每个字段对应一个numpy数组，方便批量采样：
class HERBuffer: def __init__(self, capacity): self.capacity = capacity self.buffer = {key: [] for key in ["obs", "action", "reward", "next_obs", "achieved_goal", "desired_goal"]} def add(self, obs, action, reward, next_obs, ag, dg): self.buffer["obs"].append(obs) self.buffer["action"].append(action) self.buffer["reward"].append(reward) self.buffer["next_obs"].append(next_obs) self.buffer["achieved_goal"].append(ag) self.buffer["desired_goal"].append(dg) # 超出容量时按时间顺序丢弃最旧数据 if len(self.buffer["obs"]) > self.capacity: for key in self.buffer: self.buffer[key].pop(0) def sample(self, batch_size): idx = np.random.randint(0, len(self.buffer["obs"]), batch_size) batch = {key: np.array(self.buffer[key])[idx] for key in self.buffer} return batch采集完一个episode后，先用原目标把原始transition存入buffer，再用前面写的relabel_trajectory函数生成额外样本。注意原始样本一定要保留，因为重标记样本提供的是"学习线索"，原始样本才是衡量任务真实目标的"校准线"。如果把真实目标全部替换掉，网络看到的goal分布会和实际任务目标分布错位，测试时照样跑不顺。
3.3 训练主循环与超参数
训练主循环分三块：采样、重标记入库、策略更新。采样用带噪声的动作增加探索；入库前做relabel；更新时从buffer里随机采mini-batch，跑DDPG的标准流程。简化后的核心循环如下：
for episode in range(total_episodes): obs = env.reset() episode_transitions = [] done = False while not done: action = actor.get_action(obs) + np.random.normal(0, 0.2) obs, reward, done, info = env.step(action) ag = info["achieved_goal"] episode_transitions.append((prev_obs, action, reward, obs, ag, env.goal)) prev_obs = obs # 原始样本 + 重标记样本一起入buffer for transition in episode_transitions: buffer.add(*transition) for transition in relabel_trajectory(episode_transitions, k=4): buffer.add(*transition) # 更新actor-critic for _ in range(40): batch = buffer.sample(256) critic_loss, actor_loss = ddpg_update(batch)我长期使用的超参数组合如下：
| 参数 | 取值 |
|---|---|
| K（重标记比例） | 4 |
| 目标选择策略 | future |
| batch size | 256 |
| buffer大小 | 1e6 |
| actor学习率 | 1e-3 |
| critic学习率 | 1e-3 |
| 动作探索噪声 | 0.2高斯噪声 |
| 目标网络软更新系数 | 0.05 |
| 每episode训练次数 | 40 |
按这套配置，FetchPush在大概几十万步内就能看到成功率起飞，再往后能稳定在0.7到0.8左右。如果换成FetchPickAndPlace这类抓取任务，难度会明显上升，成功率天花板也低一些，但HER带来的提升依然是数量级的——没有HER时基本学不动，成功率贴近0。
4. 训练中的坑与排查实录
4.1 Q值膨胀与训练崩溃
HER带来的大量正样本会让策略更快摆脱僵局，但也带来一个副作用：critic看到太多"成功"信号，Q值容易膨胀。表现出来就是loss一直正常下降，累计reward曲线也在涨，但rollout里的真实成功率不涨，甚至走着走着突然崩溃，策略变成一个只会乱撞的噪声发生器。
原因很好理解，重标记样本的奖励是0，原始样本多数是-1，两者混在一起，容易把"达成任意目标"高估成"达成任务目标"。我的解决方案有三层：先把actor和critic的学习率降到5e-4量级，让网络更新慢一点，别被乐观估计带跑；再考虑把DDPG替换成TD3，利用双Q取最小值的机制压低高估；最后给网络加一点L2正则，约束参数的剧烈变化。实战中前两步基本够用。
4.2 不要迷信Priority Replay
HER论文里有一个反直觉的结论：把优先经验回放（PER）和HER结合，效果比单独用HER好不了多少，甚至在一些任务里更差。我之前不太信，觉得"更高信息量的样本优先学"总该有增益，结果在FetchPush上试了一次，训练初期还行，后面成功率一直卡在0.5附近，怎么调alpha都上不去。
回头分析，问题出在目标上。PER按TD误差给样本排序，而HER重标记产生的样本TD误差天然偏低——因为它们是"已经成功"的样本，误差小，优先级就低，结果把这些最有价值的线索样本全部压在buffer底部，白白浪费。如果一定要用PER，建议只对原始样本做优先级排序，对重标记样本统一用均匀采样，并且把alpha调低到0.2左右，别让它主导采样分布。
4.3 目标分布漂移问题
这是HER工程化之后最隐蔽的坑。训练过程中，重标记样本的goal来自轨迹中的achieved_goal，而随着策略不断变强，这些achieved_goal的分布也在变化。网络看到的goal分布会慢慢偏向"近期可达到的状态"，和测试时来自任务定义的goal分布产生偏移。
后果是：训练曲线上看成功率很高，但换一批测试目标、或者把agent部署到真实环境时，表现明显缩水。我在真实机械臂上遇到过类似情况，后来排查出来的原因就是训练时为了追求正样本数量把K调到了8，原始目标样本只占九分之一，真实目标都快被"稀释"没了。解决办法是控制重标记比例，K不要盲目加大，4是一个相对稳妥的中间值；同时在buffer里保证原始目标样本占比不低于15%；另外如果状态观测里的achieved_goal带传感器噪声，一定要先滤波再提取，否则重标记的奖励极性会出错，明明没到达却给了成功信号。
4.4 排查清单速查
把训练中容易遇到的怪问题整理成一张速查表，方便逐个排查：
| 现象 | 可能原因 | 处理办法 |
|---|---|---|
| 训练全程成功率接近0 | 未启用relabel，或reward函数写成了密集奖励 | 检查buffer里样本的goal字段，确认有重标记样本 |
| loss下降但rollout成功率不涨 | Q值膨胀，critic学到乐观偏差 | 降低学习率，换TD3，或加L2正则 |
| 性能中期停滞 | 重标记样本比例过高，原始目标被稀释 | 减小K到2-4，检查原始样本占比 |
| 测试时表现比训练差很多 | 目标分布漂移，或achieved_goal含噪声 | 保留真实目标样本，对achieved_goal滤波 |
| 换随机种子后结果方差大 | 探索噪声过小，或未来策略目标选择区间过窄 | 增大高斯噪声，放宽future采样窗口 |
第五条值得单独说一句。用future策略时，如果每次只从当前步之后紧邻的几个时间步里选goal，目标多样性会非常差，不同随机种子产生的轨迹差异被进一步放大，训练结果方差自然很大。我的做法是放宽采样范围到整个未来区间，让重标记目标覆盖从近距离到轨迹末端的全部状态，方差明显改善。
5. HER的影响范围：从机械臂到更广的决策任务
5.1 机器人操控：最经典的试验田
HER最早、也最成熟的应用场景就是机器人操控。Fetch系列、Franka机械臂、真实抓取平台的pick-and-place任务，几乎成了验证多目标强化学习算法的标配。这类任务的共同点是：观测连续、动作连续、目标定义清晰（可以是位置、姿态、速度甚至接触力），但随机探索很难直接碰到目标状态。
HER在这里的价值不只是"让训练能跑通"，而是让整个学习范式变了。过去做机器人操控，要么手工设计密集奖励，费时费力还容易把agent教成投机取巧的样子；要么用逆动力学等模型辅助，工程复杂度很高。HER把"事后重标记"变成了一种通用数据变换，不需要额外建模，不需要改网络结构，直接嵌在经验回放里就行，工程介入成本非常低。
5.2 向其他决策任务的移植
除了机械臂，HER的适用面比很多人想象中宽。导航任务中，把"曾经到达过的某个坐标"重标记为目标，可以摆脱起点随机、终点固定带来的探索困境；自动驾驶决策中，把"安全通过某个路口"作为可重标记的子目标，能够有效利用大量不完美的驾驶轨迹；游戏AI中，只要状态里能提取出可比较的度量信息，HER都能发挥作用。
我自己的经验是，判断一个问题是否适合HER，只需要回答两个问题：状态里能否明确提取achieved goal；动作执行后，这个achieved goal是否确定性地朝着某个方向变化。如果两个答案都是肯定的，HER基本可以直接尝试。
5.3 与后续技术方向的交叉
HER提出的"目标重标记"思想，后续衍生出了很多更深的方向。一类是自动目标生成，不再依赖轨迹中真实出现过的状态，而是学习一个目标生成器，在状态空间里主动构造有学习价值的目标；另一类是层次化方法，把HER重标记出的中间目标当作子任务的监督信号，配合分层强化学习去解决长程任务；第三类是把目标表征学习化，用对比学习等方式把原始状态映射成更利于规划的目标空间。
这些方向本质上都在做同一件事：让agent从"结果是否成功"转向"过程里学到了什么"，把每次探索的价值都尽量榨干。HER作为这个思路的开山之作，几乎成了一个值得单独拉出来研究的模块，而不再只是一个算法技巧。
我自己这段时间使用HER的体会是，它看起来像个trick，实际上改变的是对强化学习数据价值的基本认知。遇到稀疏奖励问题时，别急着加复杂的前沿方法，先把HER吃透，把重标记、目标策略、采样比例这套基本功调顺，往往就能解决大半问题。最后再分享一个小习惯：每次跑HER实验，我都会把buffer里重标记前和重标记后的样本比例单独打印出来看一眼，一旦发现真实目标样本占比掉到10%以下，就该停下来想想是不是K开太大了。这个习惯帮我避免了很多次"训练曲线好看、测试一动不动"的尴尬时刻。
