看到 human hindsight大多数人第一反应是“事后聪明”——事情结束后觉得自己早就知道。但在强化学习这个圈子里hindsight 这个名字早就不是心理学概念了它对应的是一套非常经典的算法家族最出名的就是 Hindsight Experience ReplayHER。如果你正在训练机器人抓取、导航或者任何带有“稀疏奖励”的任务很可能已经体会过那种训练跑了一整夜、奖励曲线纹丝不动的绝望。HER 就是专门为这种场景设计的解药。这篇内容我会从 HER 的核心直觉讲起再拆解目标重标注的原理最后直接贴出可以复用的代码结构、超参数坑点和训练实战经验。无论你是刚入门强化学习想跑通第一个机器人任务还是已经在用 DDPG/SAC 想解决奖励稀疏问题这篇文章都能帮你省下不少瞎折腾的时间。1. 为什么稀疏奖励是强化学习里最头疼的问题1.1 一个机械臂任务看清稀疏奖励的本质拿机械臂抓取来说常见设定是这样机械臂要从初始位置出发移动末端执行器去抓住一个目标物体。环境只给你一个二元奖励——如果末端执行器最终到达目标位置奖励为 1如果没有到达奖励恒为 0。这种情况就是经典的稀疏奖励问题。稀疏奖励的残酷之处在于智能体从头到尾接收不到任何“差一点点成功”的信号。它往左偏一点和往右偏十米在奖励函数眼里完全一样都是 0。强化学习算法依赖奖励信号来改进策略当奖励几乎全是 0 时策略梯度没有方向探索行为基本靠随机。你可以把这件事理解成一个学生考试试卷上只有满分和零分两种结果没有任何步骤分。学生完全不知道自己哪一步做对了、哪一步偏了只能瞎猜。更具体的数量感受是这样的如果目标空间是三维坐标机械臂每次随机移动单步碰巧命中目标的概率可能只有千分之一甚至万分之一。而一个 episode 往往包含几十上百步整条轨迹从头到尾每一步都恰好走对的概率基本可以忽略。也就是说纯随机探索下智能体可能永远也吃不到第一个 1 奖励。这不是理论上的悲観我在实际跑 FetchReach 这类环境时不用 HER 的话训练几百万步成功率仍然是 0%。1.2 常见救法为什么不够面对稀疏奖励社区里最常见的几个思路分别是奖励塑形Reward Shaping把稀疏奖励改成稠密奖励比如“离目标越近奖励越大”。这个方法看着直观但实际上需要精心设计距离函数、权重参数而且很容易引入局部最优解。典型例子是智能体发现靠近目标反而会碰撞、绕路于是干脆停在某个局部区域不动因为那里距离奖励函数最优解最近。课程学习Curriculum Learning把任务难度从易到难排列比如先让机械臂抓近处的物体再逐步增加距离。这个思路有效但需要人工设计课程进度而且课程切换时机不好把握切太早学不会切太慢浪费时间。内在好奇心驱动Curiosity给智能体额外加一个“预测误差奖励”让它在探索中获取新信息。这个方案在很多环境里有效但好奇心奖励和真正的任务目标之间常常存在冲突需要额外调权重。这些方法不是不能用但本质上都在“修改环境”或者“增加额外信号”需要大量工程经验和人工调参。HER 采取了完全不同的思路环境不动奖励函数不变甚至不让智能体多做任何额外探索——它只是改变了智能体“看待经验数据”的方式。一句话概括就是把失败的轨迹硬掰成可以学习的成功教材。2. HER 核心原理用“事后目标”把所有轨迹变成教材2.1 关键洞察一条轨迹对不同目标有不同的含义HER 的名字已经剧透了它的核心操作Hindsight Experience Replay重点是 Hindsight——事后。我们先看一个标准强化学习轨迹片段长什么样一条轨迹由若干个 transition 组成每个 transition 是(s, a, r, s, g)其中g是当前 episode 希望达成的目标。假设机械臂想要把物体推到目标点 A结果轨迹结束在点 B。在标准经验回放中这条轨迹是“失败轨迹”每条 transition 的奖励都是 0价值函数训不动于是整段经验几乎作废。但 HER 的想法是如果换个角度看这条轨迹并不是“朝着 A 失败的轨迹”而是一段“成功到达 B 的轨迹”。虽然 B 不是我们最初想要的 A但这段轨迹里的每一步动作都是从某个状态走向 B 的正确动作。既然强化学习希望学到“在状态下采取动作能到达某种结果”那么把目标改成 B这些 transition 就全部变成了正样本。这个想法在数学上的支撑点是我们关注的不是单目标 MDP而是多目标 MDPMulti-Goal MDP。在多目标设定下状态空间、动作空间不变但目标从单个变成了一组可能的目标集合。一条轨迹(s_0, a_0, s_1, a_1, ..., s_T)对目标 A 可能是失败的但对目标s_T即轨迹终点自身状态是完美成功的。这就是 HER 最核心的“事后聪明”——我们在一段轨迹结束之后才给它重新指定一个“事后目标”这个目标能保证轨迹是成功的。2.2 目标重标注的几种策略实际操作中“事后目标”不能随便取常见的重新标注策略有三种它们直接决定了训练效果策略名称重标注目标 g 的取法特点final当前 episode 最后一步的状态s_T最简单保证轨迹对 g 成功但最后一步附近样本较少future当前 transition 之后某个随机时刻的状态s_{tk}更常用每个 transition 都能找到较近的成功目标样本利用效率高random从同一个 episode 的其他时刻状态中随机取简单但可能选取距离过远的目标效果一般如果只追求简单final 策略最容易理解但它有一个隐蔽的问题如果 episode 很长轨迹前期的状态与最后的终点状态差距太大那么把终点设为目标后前期的 transition 照样会得到“距离目标极远”的假象反馈信号依然会很弱。future 策略则聪明在这里——对于时间步 t 的 transition它从后面“未来”的状态里挑一个作为目标。因为目标就在不远处目标重标注之后这个 transition 的成功率更高指导意义更强。我实测下来大多数场景直接用 future 策略就够了不需要纠结。采样 future 时刻时一般从t1到T之间随机选一个效果稳定且实现简单。2.3 一条失败轨迹如何变成多条成功轨迹HER 的另一个关键工程细节是一条轨迹不止重标注一次而是同时存多份。原始轨迹用真实目标 g 存一份再额外采样 k 个事后目标g_1, ..., g_k各存一份。这样一来一条原本只能提供T条无效样本的失败轨迹变成了(k1) × T条有效样本其中绝大多数样本因为目标是可达的能直接给价值函数提供正确引导。举个例子你就明白为什么这个操作这么强。设一条机械臂轨迹有 50 步全部奖励为 0。没有 HER50 步全是垃圾数据。用了 HER选 k4这条轨迹就变成 250 条样本其中 200 条的目标来自“轨迹中实际到达的位置”这 200 条里至少有一半会获得非零奖励或者高质量的价值引导。这就是 HER 能在稀疏奖励环境中把成功率从 0 拉起来的直接原因。当然重标注后的 transition 需要重新计算奖励。假设原始奖励函数判断成功的方法是检查状态与目标的距离是否小于阈值那么重标注后的奖励必须用新目标重新算一遍不能沿用原来那个 0。这个细节坑了很多人后面实操部分我会特别强调。3. 实操把 HER 接到 DDPG 上跑起来3.1 实验环境与平台选择要跑 HER 实验最省事的方法是直接用 OpenAI Gym 提供的多目标机器人环境比如FetchReach-v1、FetchPush-v1、FetchPickAndPlace-v1。这些环境天然就是为 HER 设计的它们的观测空间是字典类型包含三部分observation机械臂当前关节状态和物体位置等信息achieved_goal当前实际达到的状态比如末端执行器当前位置desired_goal当前希望达到的目标训练时给的真实目标HER 实现的最关键点就在这里重标注时我们改的是desired_goal同时要拿achieved_goal去作为新目标再结合距离函数重算奖励。Gym 环境里自带了compute_reward函数你可以直接调用来算新奖励省得自己写距离判断。选算法方面HER 本身不是策略网络它是一种经验回放机制必须配合 off-policy 算法使用。我以 DDPG 为例因为这是 OpenAI Baselines 里 HER 默认搭配的算法代码成熟、复现容易。SAC 也可以配 HER但需要处理熵项和经验回放之间的兼容细节新手先从 DDPG 入手更稳。3.2 核心代码HER Replay Buffer 的完整实现HER 的代码难点不在神经网络而在 Replay Buffer 的“重放前处理”逻辑。我写一个精简版实现核心结构是收集一个完整 episode 的 transitions然后在加入 buffer 前为每个 transition 生成若干虚拟目标并重新计算奖励。import numpy as np from collections import deque class HERReplayBuffer: def __init__(self, capacity, k4, strategyfuture, reward_funcNone): self.capacity capacity self.k k # 每条轨迹额外重放的虚拟目标数量 self.strategy strategy self.reward_func reward_func self.buffer deque(maxlencapacity) # 注意这里存的是完整轨迹不是一个 transition def push_episode(self, episode_transitions, desired_goal): # episode_transitions 是 [(s, a, r, s, achieved_goal), ...] # desired_goal 是这条 episode 的真实目标 # 第一份用真实目标不重标注 for s, a, r, s_, ag in episode_transitions: self.buffer.append((s, a, r, s_, desired_goal)) # 额外 k 份采样虚拟目标 for _ in range(self.k): virtual_goal self._sample_goal(episode_transitions) for s, a, r, s_, ag in episode_transitions: # 用虚拟目标重新算奖励 new_reward self.reward_func(ag, virtual_goal, None) self.buffer.append((s, a, new_reward, s_, virtual_goal)) def _sample_goal(self, episode_transitions): if self.strategy final: return episode_transitions[-1][4] # 最后一个 achieved_goal elif self.strategy future: # 从所有状态的 achieved_goal 里随机挑一个也可以限制在未来时刻 random_transition np.random.choice(episode_transitions) return random_transition[4] # 取它的 achieved_goal return None def sample(self, batch_size): batch np.random.choice(len(self.buffer), batch_size, replaceFalse) return [self.buffer[i] for i in batch]这段代码你要注意三个地方。第一reward_func的签名要和环境保持一致。OpenAI Gym 的compute_reward(achieved_goal, desired_goal, info)接收的是 achieved 和 desired 两项目标参数如果你自己写环境也要统一成这种设计否则重标注时代码会很难统一。第二_sample_goal里我把 future 策略简化成了从整条轨迹中随机挑一个状态更严格的做法是只从当前 transition 之后的时刻里挑这样目标更近、指导更强。第三buffer 里每个 transition 都带上了自己的目标g训练时 critic 的输入是(s, a, g)千万别把目标喂漏了。3.3 配套的 DDPG 和超参数选择HER 的 Replay Buffer 只是前半部分训练时还要把多出来的虚拟目标样本同步交给 actor-critic 更新。DDPG 的标准做法是Critic 输入拼接(state, goal, action)输出 Q 值。Actor 输入拼接(state, goal)输出动作。每次采样 batch 后用标准 TD 误差更新 Critic再用确定性策略梯度更新 Actor。在超参数方面最重要的就是 k 值。OpenAI Baselines 里默认k4也就是每条真实轨迹额外生成 4 组虚拟目标轨迹。我自己的经验是k 值训练效果适用场景1训练较慢但显存和内存压力小场景简单、轨迹短4默认值权衡较好大部分机器人任务8收敛更快但容易过拟合于虚拟目标目标空间复杂、轨迹长16仅在小规模调参实验中使用探索极端稀疏需要大量命中样本我的建议是先用 4 跑通如果前 10 万步成功率完全为 0 再考虑加大。不要一上来就 k8因为虚拟目标会产生大量“虚假成功样本”critic 在早期拟合不充分时很容易被这些样本带偏导致 Q 值过估计训练不稳定。其余超参数可以参考 OpenAI Baselines 的配置buffer 大小 1e5 到 1e6actor 学习率 1e-3critic 学习率 1e-3batch size 128 到 256每训练一步都更新一次策略和 critic。探索方面用高斯噪声叠加在动作上噪声方差从 0.2 衰减到 0.05 附近这个衰减速度要配合训练进度如果成功率比较低就保持大一点噪声。3.4 训练曲线到底应该长什么样很多人问加了 HER 之后训练曲线应该立刻上扬吗答案没那么乐观。我跑 FetchReach 的实际观察是前 5 万步左右成功率仍然接近 0因为 replay buffer 里刚存进去的虚拟目标样本还没能让 critic 完全收敛。到了 5 万到 10 万步之间会有一次“突然起飞”——成功率从 5% 跳到 70% 甚至 90%。这种突然性很容易让人误以为代码出 bug 了但其实这是 HER 的典型特征当价值函数逐渐学到“目标可达性”之后策略改进会踩中一个正向循环越学越正。这里我给你一个判断基准如果跑 FetchReach 这种相对简单的环境20 万步以内成功率应该能达到 80% 以上。如果跑了 50 万步还是 0那大概率不是运气问题而是实现里有 bug重点关注下一节要说的几个坑。4. 训练实战中容易踩的坑4.1 重标注时机不对边采集边重标注最隐蔽的 bug 是把 HER 的重标注写进了“采集 transition 的循环里”。看起来很奇怪吧但真的有人会这么做——每一个 transition 产生后立刻用当前状态做目标把这份新样本塞进 buffer。后果是什么呢要理解这个问题得回到 HER 的核心动机它的灵感来自“事后看整段轨迹”目标重标注应该在一个完整 episode 结束之后才能进行因为你需要知道终点、需要知道未来时刻的状态。如果边采边重标目标本身会不断移动critic 会被迫学习“永远追不上当前状态”的价值训练直接崩掉。而且更致命的问题是HER 的目标是轨迹终点或未来状态如果在采集阶段就重标注你实际上是在用已经观察到的未来信息来生成当前样本这引入了信息泄漏。虽然离线强化学习领域后来真的有算法这么做比如某些反向传播的变体但标准 HER 绝不支持这种操作。我建议你在代码上做一个硬隔离一个函数只负责收集轨迹另一个函数只负责 episode 结束后重标注并写入 buffer千万不要把两者混在同一个代码路径里。4.2 k 值过大导致的过拟合问题有次我为了追求快速收敛把 k 值从 4 调到 16结果在 FetchPush 上反而出现了成功率震荡模型一会儿能推到目标一会儿又完全找不到方向。分析下来问题就出在虚拟目标占比太高——batch 里 16 份虚拟样本对 1 份真实样本critic 看到的几乎全是“事后成功”样本对真实目标的预测能力反而削弱了。这其实是个非常实际的工程教训虚拟目标是为了让“有价值信号”占主导但如果主导过头模型会忘记真实任务的难度。出现这种情况的时候不要急着加网络容量先把 k 调回 4然后把虚拟目标的采样范围从“整条轨迹”限制成“当前 transition 之后 10 步以内”。少了那些过于遥远的目标价值函数拟合会更稳定。另外要注意如果你用的是future策略k 值太大还意味着同一个原始 transition 会被重复加入多个目标后面会拖慢训练速度、增加内存占用。如果实验环境比较吃内存可以限制每条轨迹最多生成 8 个虚拟目标再多边际收益已经很小。4.3 与 on-policy 算法天生不合选算法这一步就能筛掉很多失败的尝试。HER 里的“Replay”决定它必须配合 off-policy 算法比如 DDPG、TD3、SAC 这类带经验回放的。如果你非要用 PPO强行把 HER 重标注后的样本丢进 PPO 的 rollout buffer你会发现策略更新之后那些样本全都失效了——因为 on-policy 算法要求数据服从当前策略的分布而 HER 会反复重放旧数据两者根本不在同一个频道上。如果你确实想用策略梯度类算法解决稀疏奖励问题那更应该关注的是 PPO 结合课程学习和 reward shaping。HER 的目标重标注思路也有很多后续变体比如把重标注和目标条件化策略结合起来但那些属于研究前沿工程上还没完全稳定下来。新手不要在这里强行跨界。4.4 reward 计算和目标格式不一致这个坑排查起来最费时间。Gym 的 Fetch 系列环境里achieved_goal和desired_goal都是三维坐标向量。但真实项目的自定义环境里目标可能是 one-hot 向量、离散索引、或者带惯导信息的联合状态。如果重标注时直接用achieved_goal替换desired_goal而 reward 函数内部用的是np.linalg.norm(desired_goal - achieved_goal)那可能没问题但如果 reward 是基于 one-hot 的“是否相等”判断那么把连续坐标当成目标就会直接报错或者返回的奖励全部是 0。我之前有一次自定义环境里目标用了分类特征物体颜色而状态特征里同时包含位置和颜色向量。重标注后新的“目标”变成了整段状态向量而 reward 函数只取状态向量的最后一部分做距离判断结果训练曲线完全不动。排查花了整整两天。现在我会在自己的代码里加一条防火墙重标注前后分别打印desired_goal.shape和 reward 的分布如果发现重标注后 reward 全部变成同一个值立刻检查目标格式是否对齐。你可以把这个检查固化成一个单元测试每次修改环境定义后跑一遍能省下大量重复排错的时间。5. HER 的边界、变体与上手建议5.1 什么时候慎用 HERHER 不是万能的它有几个前置条件一是环境必须有清晰可定义的目标而且“目标”本身作为状态的一部分可以被状态转移函数体现二是环境必须是多目标的或者至少能构造出多样化的目标集合三是奖励函数必须能通过目标计算出来。如果你手头的任务属于下面这些情况HER 的效果会大打折扣目标是抽象语义目标比如“把杯子放到桌子上”。这类目标很难用一个状态向量直接表达重标注后无法计算奖励。轨迹中包含大量随机不可逆的动态噪声。比如机器人在风场中作业末端位置受随机风影响很大那么把轨迹终点当成虚拟目标这个目标本身就不稳定价值函数容易混乱。环境自带稠密奖励。比如每一步都有连续的距离奖励那 HER 的收益就很有限因为价值信号已经不缺了你的瓶颈可能在探索效率而不是奖励稀疏问题。5.2 后续相关方向目标条件化策略与更多重标注变体HER 的“重标注”思想直接带动了 goal-conditioned reinforcement learning 的许多后续工作。比如后来的 TSCTemporal Spatial Consistency、DDPGHER 的层级扩展都在试图让“目标”和“状态”的耦合更紧密。还有一个很实用的变体叫 Gradient-Based HERGHER通过引入差异对比来选择虚拟目标训练效果在某些高维任务上比原始 HER 更强。不过我要提醒你研究论文里的变体多数是针对特定 benchmark 调出来的直接搬到自己的任务上不一定更好。工程落地的首选仍然是标准 HER跑通之后再按照你的环境特性决定要不要尝试更复杂的重标注策略。我个人的习惯是把 HER 当基线然后记录它的失败样本再去针对性调整目标采样策略。5.3 给新手的上手路径如果你想最快感受到 HER 的威力我建议按这三步走先跑通现成环境用FetchReach-v1加DDPG HER不管参数完整跑 10 万步观察成功率曲线。这一步目的是建立“HER 确实有效”的直观印象。改掉 k 值和目标采样策略分别在 k1、4、8 和 final、future 策略下各跑一轮对比最终成功率和训练曲线形状。这一步能帮你理解超参数对训练动态的影响。迁移到自己的任务把自定义环境改造成多目标形式确保观测里包含achieved_goal和desired_goal字段。迁移后第一件事不是看收敛而是打印重标注后的 reward 分布确认 reward 函数真的能根据新目标算出非零值。这套路径我自己带过好几个人走通基本上一天之内就能从零跑到第一个高成功率机器人任务。最后分享一个我自己的实操习惯。每次开始新的 HER 训练我都会在日志里同时记录两个数值一个是通常的“当前 episode 成功率”另一个是“replay buffer 中虚拟目标样本的非零奖励占比”。前者反映真实任务进展后者反映价值函数从虚拟样本中获取信号的活跃度。如果后者持续很低说明重标注生成的目标离当前状态太远该调采样策略了如果前者迟迟不涨而后者很高说明价值函数被虚拟样本带偏了该降 k 了。这两个数字配合着看能帮你更快定位问题出在数据端还是算法端。希望你跑通 HER 之后也能体会到那种“失败轨迹原来都是宝藏”的通透感。