做强化学习这几年，我最大的感受是：环境给出的奖励，大多数时候是沉默的。你训练一个七自由度机械臂去抓取桌上的红色方块，跑完整个下午的仿真，奖励曲线纹丝不动——因为“成功抓取”这个事件在随机探索下发生的概率几乎为零。这就是稀疏奖励问题。而 hindsight 这个词，本意是“后见之明”“事后复盘”，在强化学习社区里最经典的化身是 Hindsight Experience Replay（后见经验回放，简称 HER），一篇来自 2017 年的方法，至今仍是处理稀疏奖励任务绕不开的基线。这篇文章我以 HER 为主线，讲清楚它到底解决了什么问题、核心思路如何落地、复现时有哪些坑，以及我跑过几个实验之后对“目标设定”这件事的体会。适合正在做机器人控制、仿真操作，或者任何稀疏奖励强化学习任务的工程师。
1. 稀疏奖励问题：为什么策略一开始就“卡死”
1.1 一个下午的仿真，奖励一动不动
我第一次在 Fetch 环境里训练机械臂时，把 DDPG 跑起来，日志里总奖励一直显示 0。loss 倒是在下降，但策略没有任何实质改观。这个现象原理很直白：机械臂的状态空间是关节角度的连续空间，终端目标只是其中极小的一小片区域，随机策略下末端碰巧完成任务的概率低到可以忽略。奖励为 0 的轨迹无论收集多少条，对策略优化的梯度贡献都趋近于零。这是数学结构决定的，不是多烧几张显卡能解决的。
类比到生活里：让一个从来没玩过音游的人直接挑战最高难度，屏幕上“Perfect”出现的概率趋近于零，玩家得不到任何正向反馈，连“按对几个键”的微小进步都无法确认，最后只能放弃。稀疏奖励下的强化学习就是这个状态，只不过它不会“放弃”，只会在原地空转。你看到训练步数蹭蹭涨，但 agent 的行为没有任何变化，因为它从数据里提取不到任何“什么动作导致了好结果”的证据。
1.2 常见思路：奖励塑造和课程学习，各有各的痛
奖励塑造（reward shaping）是工程上最常用来补救的手段：给中间过程设计引导奖励，比如“离目标近一点就给分，离得远就扣分”。听起来很美好，实际做起来有个大坑——先验知识从哪来？如果距离度量本身和任务实现方式不一致，很容易诱导智能体走捷径。我见过一个仓库里的机械臂，学会“把手悬在物体上方反复抖动”来刷距离奖励，真正的抓取动作完全没学出来。这种钻漏洞行为在奖励塑造里非常常见，因为你给的不是任务本身的语义，而是“距离下降就给奖励”这种机械规则。
课程学习（curriculum learning）思路也很流行：从简单场景学起，再逐步上难度。但怎么衡量难度、怎么排版课程，仍然高度依赖人工设计，大部分时候调整课程比调整奖励还慢。更重要的是，这些方法都在改“环境侧”的东西，而经验本身——那些被判定为失败的轨迹——却被白白丢弃了。每条失败轨迹里其实都藏着信息，问题在于没人告诉算法怎么解读它。
1.3 换个角度：失败轨迹真的是垃圾数据吗
我后来意识到，那些被记为 0 奖励的 episode 并不是没有价值。机械臂这次虽然没抓住红色方块，但它碰到蓝色方块了；它虽然没追到远处那个目标点，但它确实越过了一个中间点。这些“意外事件”单独来看，对原定目标毫无用处，但如果把轨迹的目标字段替换成“那些意外事件本身”，这条轨迹就从废数据变成了珍贵的正样本。
这正是 HER 的基本直觉，也是 hindsight 作为方法论最迷人的地方：与其执着于“没做到的事”，不如先把“已做到的事”内化成学习经验。普通强化学习把一条轨迹固定到唯一一个 goal 上，奖励函数决定了成败；HER 则允许算法在事后重新审视这条轨迹，给它换一个更“诚实”的目标，然后重新计算奖励。这个思路听起来简单，但它绕过了稀疏奖励的底层困境，因为在重标记的视角下，几乎没有哪条轨迹是完全没有信息量的。
2. HER 的核心思想：把“失败”重标记成“另一种成功”
2.1 心理学里的后见之明偏差，被反向利用
后见之明偏差（hindsight bias）是个心理学术语，指的是人倾向于在事情发生之后，认为自己早就预料到了结果。通常这是一种认知缺陷，会让人高估自己的预判能力。但做强化学习的人却从里面琢磨出了另一种用法：既然事后我们总能从结果里看出“发生了什么、这有什么意义”，那为什么不让算法也这样做？
在标准设定下，一条 transition 记录的是“(状态 s, 目标 g, 动作 a, 奖励 r, 新状态 s')”，其中 r 由 R(s', g) 决定。如果智能体没有达成 g，r 就是 0 或者负值。HER 的关键改动在于：episode 结束后，额外生成若干个虚拟目标 g'，这些 g' 不是规划出来的，而是从这条轨迹真实到达过的状态里采样出来的。然后用 g' 重新计算奖励、重新存储 transition。这样一来，一条原本只携带“0”的轨迹，经过重标记后的一部分副本会携带“1”，也就是成功信号。
2.2 一个具体的抓取例子
推演一遍最朴素的场景。原目标 g：抓住红色方块。一个 episode 里，机械臂全程没有碰到红块，但在第 40 步碰到了蓝色方块，随后弹开，最终仍无抓取。如果按原目标存储，这一整条 episode 的奖励全是 0，网络学不到任何东西。
HER 在 episode 结束后做重标记。它发现第 40 步的状态 s_40 确实碰过蓝块，于是把“抓住蓝块”设为虚拟目标 g'。那么从时间 0 到 40 这条子序列在 g' 下，最后一步达成了“抓住蓝块”，奖励为 1。于是缓冲区内新增了几条“目标=蓝块、最终成功”的转移样本。这些样本对原始任务可能不完全相关，但它们真实地告诉网络：给定某些初始状态、某些动作序列、目标为蓝块，结果是成功的。这正是 Q 网络最需要的监督信号。
2.3 重标记目标为什么必须来自“真实访问过的状态”
这里有第一个容易忽略的约束：虚拟目标不能凭空设计。如果你拍脑袋说“我给它一个目标：抓住绿色方块”，但轨迹里根本没出现过绿色方块，然后把这条经验标成正奖励，那就是纯粹的造假。网络会把“从未产生抓取动作的状态”误认为“能产生抓取动作的状态”，策略会变得非常怪异，训练也可能发散。
所以 HER 的虚拟目标必须从本 episode 实际访问过的状态集合里采样。这是一个“事后一致性”约束——你复盘时总结出的教训，必须真的是这次经历中发生过的事情，否则复盘就变成妄想了。
2.4 不算作弊的原因：学的是条件策略，不是固定策略
很多人第一次听到 HER 会问：把失败当成功来学，策略不会变傻吗？答案是不会，前提是你明白 HER 在学什么。HER 训练的从来不是一个单一任务的策略，而是一个目标条件策略 π(s, g)。在数据里，它看到“目标=蓝块，状态=某姿态，动作=某序列，结果=成功”，于是学着在 g=蓝块 时输出相应的动作；当 g=红块 时，它借助目标在表示空间上的连续性，把蓝块上学到的抓取语义迁移到红块上。
换个说法，目标重标记本质上是一种数据增强：它扩充的是“目标空间 × 状态空间”上的正样本覆盖范围，并没有动环境本身的动力学。这些经验既真实又合法，只是在目标维度上做了扩展。
3. 算法流程拆解与核心实现细节
3.1 伪代码：HER 到底在做什么
把 HER 接到一个标准的 off-policy 算法里（DQN、DDPG、SAC 都可以），主要改动集中在 episode 结束后的存储阶段。核心流程用伪代码表示就是这样：
for each training_episode: episode_buffer = [] state = env.reset() goal = sample_initial_goal() for t in range(max_steps): action = policy.select_action(state, goal) next_state, reward, done = env.step(action) # 稀疏奖励：多数为 0 episode_buffer.append(((state, goal), action, reward, next_state, done)) state = next_state # HER 核心：目标重标记 for t, transition in enumerate(episode_buffer): # 保留原始目标版本，存入主回放 buffer replay_buffer.add(transition) # 额外生成 K 个虚拟目标，默认 K=4 future_states = [trans[3] for trans in episode_buffer[t:]] for _ in range(K): virtual_goal = random.choice(future_states) new_reward = reward_function(next_state, virtual_goal) new_transition = ((state, virtual_goal), action, new_reward, next_state, done) replay_buffer.add(new_transition)这里有三个关键点必须注意。第一，action 和 state 本身没有变化，变的只有 goal 和 reward；第二，future 策略要求虚拟目标从“当前时间步之后的状态”里采样，以保证时间因果；第三，K 通常取 4，也就是每条真实 transition 额外存 4 条重标 transition，这个数值在论文中被证明是个性价比很高的默认值。
3.2 为什么要用 future 策略取虚拟目标
原论文对比了几种取目标的方式，最简单的有 random（从整条轨迹任意位置采样）、final（只取最终状态）、episode（从当前 episode 任意状态）、future（仅当前时间步之后的状态）。实验结果都指向同一个结论：future 效果最好，原因是时间因果性。
想一下：如果在第 5 步给一个虚拟目标，而这个目标其实是第 3 步就已经访问过的状态，那么这条经验在时间线上就变成了“先有目标结果、后有移动”，网络学到的关联是混乱的。而 future 策略保证虚拟目标出现在当前动作之后的某个状态，逻辑上就是“动作导致了目标的接近或达成”，这才有因果意义。这也是为什么我在实现时，严格把 done 状态过滤掉，避免把已经终止的 transition 重标成还要继续走的样本。
3.3 回放缓冲区里原始样本和重标样本的比例
这是实践中直接影响效果的点。我的习惯是把训练 buffer 里的样本分成两部分：一部分存原目标版本，一部分存重标版本。早期阶段，original 与 relabeled 的比例建议在 1:4 左右，让重标样本尽快把 Q 值撑起来；训练中期如果 Q 值波动大，把比例调到 1:2；后期再慢慢让原始版本的占比回到主导，确保最终策略在真实任务上的表现扎实。
为什么要动态调整？重标样本过多，目标分布会偏移，最终策略在原目标上的表现可能不稳定；重标样本过少，稀疏奖励的困境又得不到缓解。这个比例决定了你在“缓解稀疏”和“贴近真实目标”之间取的平衡点。好在这个参数不像学习率那么敏感，只要幅度不过分，训练曲线基本都能稳住。
3.4 Bit-Flipping 小实验：普通 DQN 与 DQN+HER 的差距
Bit-Flipping 是一个能说明很多问题的玩具环境。目标是一个长度为 n 的 0/1 向量，状态是另一个向量，动作是翻转其中一位，任务是让当前向量和目标向量完全相等。这个任务看起来特别简单，但 n 越大，随机探索碰到目标的概率越低，奖励就越稀疏。
我用 n=8 做过对比实验。普通 DQN 跑了几万个 episode，成功率一直趴在接近 0 的位置，原因就是“没有正样本”这个死结解不开，网络根本无从学起。DQN+HER 在几千个 episode 内就能接近 100% 成功率，关键在于每一条“没翻转成目标”的轨迹，重标后都会变成“翻转成了某个虚拟目标”的成功轨迹。Q 值很快被正样本撑起来，策略才真正开始理解翻转逻辑。这个小实验是我给新人讲 HER 时最常用的开场，直观又省时间。
3.5 在连续控制任务上的接入方式
连续控制里最常见的搭配是 DDPG/SAC + HER，做法没有本质区别：state 和 goal 在输入端直接 concat 成一个向量，网络输出动作；训练时从 buffer 里取出的 transition，包含的是“当前状态 concat 虚拟目标”的形式。有一个细节值得注意：目标维度的数值量级要尽量和状态维度一致，否则网络容易偏向数值偏大的那一侧。
我在做 FetchPickAndPlace 类任务时，会把目标坐标先除以范围，归一化到 [0,1] 区间，收敛速度有明显提升。这个预处理看起来简单，但很多第一次上手 HER 的同事都吃过这个亏：不归一化就开跑，前期 loss 一路飙升，还以为是算法写错了。
4. 为什么 HER 有效：理论直觉与边界
4.1 从数据分布看：它把稀疏信号变稠密
HER 没有改变环境返回的奖励函数，它改变的是训练时缓冲区里的样本分布。一个稀疏奖励任务里，原本 Buffer 中成功的 transition 可能只占 0.1%，重标记之后，Buffer 中会出现大量“以虚拟目标为条件”的正样本，占比可以拉到 50% 以上。对 Q 学习来说，有了足够的正负样本，动作价值函数的边界才能被准确描出来。
这就好比教小孩认识颜色，如果整个学期只在最后期末考试里告诉他“你答对了”一次，他根本学不会；但如果每次他指错颜色后，你都顺便告诉他“虽然这个不是红色，但你指的是蓝色，而蓝色是这样的”，他对颜色的概念会迅速建立起来。HER 做的就是这件事：在每次失败之后，顺便告诉他一个“你其实做到了什么”。
4.2 隐式的课程学习机制
人类学习复杂技能时很少一步到位。HER 在这方面有一个有趣的隐式效果：它天然倾向于从容易“事后达成”的目标开始学。越靠近起始点的目标，越容易被随机探索意外访问到，因此会被重标记成大量正样本。模型先学会“离得很近时该怎么走”，然后随着策略进步，探索到的状态范围逐步扩大，重标记的目标也自然变远，任务难度看起来就在自动上升。
这就是所谓的“隐式课程”。它不依赖任何人工设计的难度评估器，纯粹通过后验重标记自动实现。理解这一点之后，你就会明白为什么 HER 在目标空间连续的任务上表现格外好：越是平滑的目标空间，这种由近及远的课程迁移就越顺畅。
4.3 目标表示决定了 HER 的上限
HER 能不能泛化，很大程度取决于目标怎么表示。理想的目标表示应该满足三个条件：平滑（相近的目标有相近的语义）、低维（不需要像原始图像那样动辄上万的维度）、可计算距离（便于设计奖励函数）。
如果目标空间本身是离散且无结构的，比如“拿杯子”和“拿书”是两个完全独立的 ID，重标记之后的泛化就会很差，因为“拿杯子”的经验对“拿书”没有任何迁移价值。这种情况下，一个有用的改造是先把离散目标映射到连续语义向量空间里，比如用预训练的物体 embedding，然后再跑 HER。实测下来，目标表示改好了，比调三个月网络结构都管用。
4.4 HER 解决不了什么的诚实边界
HER 不是万灵丹。它解决的是“目标达成型”任务的稀疏奖励问题，但如果你遇到一个根本没有目标条件结构的任务，比如纯粹的累积回报最大化（收益管理、库存控制），HER 就很难直接套用，因为没有 goal 可以重标记。
此外，如果探索完全走不出起始区域——比如动作空间巨大且动力学极其复杂——HER 重标记出来的虚拟目标也只会在很小的邻域里打转，学习照样停滞。遇到这种情况，建议在 HER 之上叠加额外的探索机制，比如状态计数奖励或者随机网络蒸馏（RND）。我自己的经验是，HER 解决“有反馈但反馈太少”的问题，不解决“完全没有反馈且探索不动”的问题。
5. 复现 HER 踩过的坑与调参心得
5.1 最隐蔽的坑：虚拟目标误采样到“不可达状态”
我早期实现的时候，虚拟目标的候选集合直接取了 episode 里的所有状态，结果把终止状态也混进去了。带 done=True 的 transition 被重标成“还没有结束、还需要继续走”的样本，训练直接乱套，策略在某个阶段疯狂输出无意义的动作。
排查了半天才定位到问题：重标记的目标必须是“在时间因果上可达”的状态，并且已经终止的 transition 不应该被重标成未终止。后来我严格按 future 策略取目标，同时过滤掉 done 状态，这个问题就再也没出现过。
5.2 奖励函数边界：指示函数优先于连续距离
用 HER 时，我强烈推荐使用指示函数奖励：命中目标给 1，未命中给 0；或者用阈值化距离奖励：dist < threshold 给 1，否则给 0。如果奖励本身是连续距离且没有阈值，重标记出来的新奖励可能仍是一个很小的小数，正负样本之间的区分度不够，Q 值收敛会很吃力。
我在实际项目里遇到过这类问题：奖励函数用的是“负欧氏距离”，HER 跑了一天后成功率缓慢上升但一直不稳。改成阈值化距离后，第二天就看到了明显改观。核心原因在于，二值化奖励让重标记样本的信号变得干净明确，不是“差一点点”，而是“成与不成”。
5.3 不要让重标样本把 Q 值撑爆
DDPG/SAC 这类算法用 Q 值做策略梯度，如果 Buffer 中重标正样本过多，Q 值会逐渐产生“任何动作都能成功”的幻觉。我的处理办法有三个：第一，限制重标样本在 Buffer 中的总量占比，最多不超过 60%；第二，把目标网络软更新系数 τ 调小，从 0.005 降到 0.001，稳定性会好很多；第三，actor 的更新频率适当降低，比如每更新 2 次 critic 才更新 1 次 actor。
我遇到过加完 HER 后总奖励上蹿下跳的情况，最后就是靠 τ 调小加上原:重标比例调到 1:2 才稳住。这类问题不像代码 bug 那样报错，只能从训练曲线里一点点排查，经验越足，定位越快。
5.4 网络大小和输入归一化
很多人一上来就堆大网络，但 HER 场景下大网络往往更容易过拟合到重标样本。我在 Fetch 任务里用两层 256 的 MLP 已经足够，重点是输入归一化：state 和 goal 都建议归一到 [0,1] 或 [-1,1]。至于 BatchNorm，我在 RL 里一般不用，因为小 batch 下 BN 的统计量不稳定，反而容易引入震荡。
另外，连续控制任务里 actor 和 critic 的输入要严格对齐。我有一个同事在拼接 state 和 goal 时把维度搞反了，导致 critic 一直在看错位置的输入，训练毫无进展，排查了整整一天。这类低级错误在复现论文时最容易出现，建议打印一下网络输入的 shape 和实际 buffer 里的维度，确认无误再开跑。
5.5 和其他探索机制的配合
HER 解决的是“奖励稀疏”，但它不解决“探索不到新状态”。如果动作空间很大、随机探索长期停留在小区域，HER 的重标目标也会一直局限在那个小区域里，效果大打折扣。我自己在某个码垛任务里就是 HER + 自动目标生成 + 状态计数探索一起用，训练曲线才真正起来。
具体做法是：用 HER 负责把已探索区域的失败经验转成学习信号，用状态计数奖励鼓励 agent 去没有去过的区域，再用自动目标生成不断扩大任务难度范围。三者配合后，探索覆盖明显增大，最终任务成功率也比单用 HER 高出一截。
最后说点个人体会。我在实际项目里有过一次很反直觉的经历：最初给抓取任务设计了非常细腻的中间奖励，又在每个阶段加各种 bonus，训练了两个星期效果还是不好；后来改成稀疏二值奖励 + HER，收敛时间和最终成功率反而都更好。这让我明白了一件事——我们太习惯给任务“加引导”，却忘了经验本身的价值，尤其是那些失败的经验。hindsight 这套思路最大的意义不在于那一个具体算法，而在于告诉我们：复盘失败、重新定义目标，本身就是一种非常强大的学习机制。如果你正在稀疏奖励任务上折腾，我真心建议先把 HER 跑通，它对目标条件型任务几乎通用，而且不需要什么魔鬼参数。这大概是我在强化学习里最想分享的一条经验了。
