如果你在强化学习里待过一段时间大概率听过Hindsight这个词。这里说的不是日常聊天的“事后诸葛亮”而是Hindsight Experience ReplayHER一个直接改变了稀疏奖励任务训练方式的经典算法。我第一次接触 HER 是在一个机械臂推物体的仿真环境里跑了几个小时网络从完全学不会到最终成功率超过 90%当时我意识到这个算法的价值不只是调参技巧而是一种看待失败的视角转换既然没达成原目标那就把已经达成的状态当作新目标重新学一遍。这篇内容我会从稀疏奖励的困境讲起拆解 HER 的核心机制“目标重标注”再给出一份可以直接照着跑的代码和超参配置最后把我实际训练中踩过的坑整理成速查表。无论你是刚接触强化学习的新手还是已经在跑 PPO/DQN 想解决稀疏奖励问题的老手这篇都能让你少走弯路。1. 先从“后见之明”说起稀疏奖励为什么难搞1.1 奖励太“稀疏”agent 根本学不到东西先复现一个让很多人崩溃的场景机械臂任务里目标是把物体推到桌面上的某个特定位置。环境每走一步只返回 0只有当物体和目标位置的距离小于某个阈值时这一瞬间才返回 1。这看起来很简单但在训练初期机械臂的随机动作几乎不可能恰好把物体推到目标点所以 agent 在整个训练过程中获得的奖励大概率全是 0。问题就在这里。强化学习的核心信号是奖励奖励全是 0 意味着 agent 无法区分任何动作的好坏。策略梯度类的算法会计算出每个动作的 advantage当奖励全是 0 时advantage 要么趋近于 0要么完全来自随机噪声。训练曲线表现为长期躺平loss 不下降成功率永远是 0。我用一个生活化的类比来解释这就像你让一个从没做过菜的人蒙着眼睛做红烧肉不仅不告诉他步骤还不在中途给任何反馈只有最后电饭煲亮了才告诉他“你做对了”。问题是他前面做的一百个步骤里没有一个能获得反馈他根本不知道每一步该往哪个方向调整。稀疏奖励的本质是反馈信号延迟到“终点”才出现而中间的探索性动作无法被评价。1.2 传统解决办法的局限奖励塑形与课程学习面对稀疏奖励最常见的三个思路分别是奖励塑形Reward Shaping、课程学习Curriculum Learning和增加探索奖励Exploration Bonus。奖励塑形是最直觉的既然最终奖励太远那就路途中加一些中间奖励比如“物体靠近目标一点就给 0.1”。听起来合理但实际工程里非常脆弱。你设计距离奖励时往往要同时考虑 L1 或 L2 距离、阈值大小、奖励尺度稍微调不好就会让 agent 学会原地抖动物体来刷“靠近奖励”而不是正经推过去。这在行业里叫 reward hacking我用它调了两周最后发现 agent 找到了比任务策略更“聪明”的刷分方式。课程学习是另一种思路先让 agent 从“目标就在物体旁边”的简单任务开始学会后再逐步拉开初始距离。这确实有效但问题在于它需要大量人工设计课程阶段每个阶段的任务难度很难定量衡量。而且如果环境复杂度高课程阶段设计不当会引入新的偏置甚至比原始任务更难学。探索奖励如 ICM、RND的思路是通过“新奇度”给 agent 额外激励让它优先探索未知状态。但这类方法有一个副作用agent 会沉迷于探索“环境里更容易产生新奇感”的区域而不是“通向目标”的区域。我在 Nav 任务上试验过agent 学会了绕圈进入从未见过的角落目标却一个都没达成。这三类方案都不是说不能用而是它们都需要额外的人工设计或模块支持。HER 走的是另一条路不改变奖励函数、不设计课程、不添加探索模块只是改变经验回放中的数据构成只靠“事后视角”就能让稀疏奖励任务可学这正是它的巧妙之处。2. 目标重标注HER 的核心机制2.1 一句大白话把“没做到”改写成“做到了另一个目标”HER 的出发点非常简单因为它脱胎于一个更基础的问题在 goal-conditioned 任务里goal目标本身就是状态空间的一部分。假设你的目标是“物体在 A 点”但你实际把物体推到了 B 点。按常规强化学习的写法这个 episode 是失败的因为最终状态 B ≠ A奖励为 0。但在 HER 看来这次 episode 完全可以改写为“目标本来就是 B 点而 agent 最终到达了 B 点”。这样一来同一个 episode 从“失败轨迹”变成了“成功轨迹”中间的每一步都获得了有效的学习信号reward 从 0 变成了 1。这就是“后见之明”的含义在时间线上回头看去agent 已经达成的状态就应该被当作目标来学习。回到做菜的类比你本来想炒青椒肉丝结果因为肉切太慢、火候没控制好最后做出来一道青椒炒蛋。常规思维是“这道菜失败了”但如果把它改写成“我成功完成了一道青椒炒蛋的菜谱”那么整个做菜过程中的切配、下锅、翻炒步骤全都变成了有效经验。下次你再想炒青椒炒蛋这些步骤就是可以复用的。HER 做的事情本质上就是“把失败轨迹重新归档成另一个目标的成功轨迹”。2.2 算法流程拆解重标注是怎么在 replay buffer 里运作的HER 不是独立的强化学习算法它是一个数据处理策略配合任意 off-policy 算法使用。整个流程可以分为四步第一步正常采集一条 episode。和普通强化学习一样agent 在环境中执行策略拿到状态序列s_1, s_2, ..., s_T其中每一步都有一个“原始目标” g。你需要把这些 transition(s_t, a_t, r_t, s_{t1}, g)存起来。第二步对这条 episode 中的每个 transition保留原始版本把它作为“以原始目标为目标的经验”存入 replay buffer。这一步和普通做法完全一致。第三步为重标注生成新目标。具体来说从这条 episode 中的未来状态里随机抽取一个状态s_future把它作为新的 goal g。注意这里的“未来”指时间上在当前 transition 之后的状态包括s_{t1}、s_{t2}直到终点状态。为什么要用未来状态因为“后见之明”必须发生在事后你只能把 agent 之后真正到达的状态当作已成功的替代目标而不能用过去已经错过的状态——那在时间逻辑上说不通。第四步用新目标重新计算这条 transition 的奖励。构造一个新的 transition(s_t, a_t, r(g), s_{t1}, g)其中r(g)是用新目标代入奖励函数算出来的。因为新目标通常等于未来某个状态所以这个奖励大概率不再是 0而是一个稀疏但非零的信号。把这条新 transition 也存入 replay buffer。以下是论文里 HER 伪代码的简化版本我加上了注释方便理解# 假设 replay_buffer 是普通的经验回放容器 # episode_transitions 是本次 episode 中的所有 transition for t in range(len(episode_transitions)): s_t, a_t, r_t, s_next, g episode_transitions[t] # 原始 transition 照常存入 replay_buffer.push(s_t, a_t, r_t, s_next, g) # 以一定概率额外生成重标注后的 transition for _ in range(K): # K 通常取 4 # 从当前 transition 之后的未来状态中采样一个新目标 future_state sample_future(episode_transitions[t:]) new_goal future_state # 直接把未来状态当作新目标 # 用新目标重新计算奖励 new_reward compute_reward(future_state, new_goal) # 构造重标注后的 transition 并存入 buffer replay_buffer.push(s_t, a_t, new_reward, s_next, new_goal)这里的K是重标注倍数代表每一条原始 transition 额外生成几条重标注版本。论文里推荐 K4我实测下来 2~8 都有作用太小起不到数据增强的效果太大则会让 replay buffer 里原始目标占比过低导致 agent 忘了真正要学什么目标。2.3 为什么 HER 必须和 off-policy 算法搭配很多新手会问HER 能不能配 PPO答案是能跑但不推荐。原因要从 HER 改变数据分布这件事说起。HER 生成的新 transition 中goal 已经被改写了而 agent 执行动作时所依据的策略原本是针对原始目标的。换句话说这些重标注后的 transition 并不是“当前策略”产生的数据。on-policy 算法比如 PPO、A2C有一个硬性假设训练数据必须是由当前策略采样得到的否则策略梯度估计会引入偏差如果把大量重标注数据喂给 PPO相当于用一个策略产生的数据去更新另一个策略训练很容易崩溃或者严重不稳定。off-policy 算法则不同。Q-learning、DDPG、TD3、SAC 这类算法把样本存放在 replay buffer 里通过重要性采样来反复学习历史经验它们本来就不要求样本来自当前策略。HER 做的“改写 target”并没有改变 transition 的动力学特性状态转移和动作都不变只是改了“目标”和“奖励”字段这在 off-policy 框架下完全合法。实际工程里最常见的组合是DDPG HER和SAC HER我在 Fetch 系列任务上两个都试过DDPGHER 更稳定SACHER 需要额外注意 reward scale。论文原文给出的基准也是基于 DDPG 的。3. 亲手实现 HER一份可复用的实验配置3.1 实验环境与算法选型核心环境我推荐用 OpenAI Gym 里的Fetch Reacher / Fetch Push / Fetch Slide这类目标条件任务它们就是 HER 论文里用来验证的基准天生具备 goal-conditioned 的结构reward 是-1/0的稀疏形式。如果你想先从更简单的 toy example 上手强烈建议先实现 Bit Flipping 任务一个 n 位二进制向量目标就是翻转某些位每一步可以翻动一位当向量完全等于目标时才给奖励。算法选型上如果你用的是连续控制任务最好选择 DDPG、TD3 或 SAC。DDPG 是最经典的组合实现简单和 HER 搭配最稳定TD3 在 DDPG 基础上加了双 Q 网络能降低过估计问题但参数略多。如果任务不是连续控制而是离散动作也可以把 HER 配 DQN 使用但离散 control 里的 goal 通常也离散体验会差一点。我实际跑实验用的配置是PyTorch 2.0 Gym 的 FetchPush-v1 环境训练机器上只有单张 3090显存占用不高核心瓶颈在 CPU 采样和 replay buffer 读取上。一个 1e6 规模的 buffer 在单机上跑完全没问题。3.2 关键参数与超参配置说明先给出一份我实验跑通的经验参数表后面逐项解释参数项推荐值说明replay buffer size1e6太大占内存太小重标注会覆盖原始数据batch size256不宜太小重标注后数据多样性高actor / critic learning rate1e-3DDPG 系通用值gamma0.98Fetch 类短任务合适太长会高估价值tau软更新0.05稍微调大能加快拟合但会略增震荡HER 重标注次数 K4论文标配实测最稳future 采样占比80%80% 从未来状态采样20% 从整条 episode 采样exploration noise0.2高斯噪声后期可以衰减到 0.1reward 函数L1 距离判断阈值 0.05返回 -1 表示未达成0 表示达成几个我认为最重要的细节gamma 为什么取 0.98 而不是 0.99Fetch 任务的 episode 长度通常在 50 到 100 步之间0.99 的折扣因子会让远期价值在仅有 50 步的轨迹里几乎不衰减导致 Q 值估计的方差变大0.98 在“保留一定未来信息”和“控制方差”之间更平衡。future 采样策略也很关键。HER 论文里对比过三种采样方式final只用终点状态、future从未来的任意状态采样、episode从整个 episode 采样。实际效果是 future episode final。原因不难理解如果只用 final那么同一个 episode 内所有 transition 共享同一个新目标数据多样性不够future 能产生更多样的新目标组合数据增强效果明显更好。我建议未来状态采样比例设为 0.8 左右剩下 0.2 从整条 episode 采样这样可以保留一些“其中任何时间点都可能成为目标”的泛化能力。reward 要不要用稀疏形式论文的实验结果表明HER 在稀疏奖励-1/0下效果优于 dense 距离奖励。原因是重标注后的新目标大概率会命中“当前状态离目标很近”的情形如果再用 dense 奖励你会发现重标注后几乎每个 transition 都能拿到非零奖励Q 值估计会变得过度乐观。而稀疏奖励天然提供了一个干净可靠的评价信号达成了就是 0没达成就是 -1Q 值不会被夸张的中间值污染。3.3 核心代码实现HER 包装器我不想贴一整段 DDPG 的长代码那种仓库里到处都是我重点展示HER 数据包装器的写法因为这是整个算法最关键、也最容易写错的部分。import numpy as np from collections import deque class HERBuffer: 把普通 replay buffer 包装成支持 HER 重标注的版本 def __init__(self, capacity, k4, future_ratio0.8): self.buffer deque(maxlencapacity) self.k k self.future_ratio future_ratio def push_episode(self, episode_transitions): episode_transitions 是一个列表每个元素为 (s_t, a_t, s_next, goal, reward) T len(episode_transitions) for t, transition in enumerate(episode_transitions): s_t, a_t, s_next, goal, reward transition # 1. 原始 transition 照常入 buffer self.buffer.append((s_t, a_t, s_next, goal, reward)) # 2. 生成 k 条重标注后的 transition for _ in range(self.k): if np.random.random() self.future_ratio: # 从 t1 到 T-1 之间随机选未来状态作为新目标 future_idx np.random.randint(t 1, T) new_goal episode_transitions[future_idx][2] # 取 s_next else: # 从整条 episode 中随机选一个状态 anywhere_idx np.random.randint(0, T) new_goal episode_transitions[anywhere_idx][2] # 用稀疏奖励函数重算 reward new_reward compute_sparse_reward(s_next, new_goal) self.buffer.append((s_t, a_t, s_next, new_goal, new_reward)) def sample(self, batch_size): idx np.random.choice(len(self.buffer), batch_size, replaceFalse) return [self.buffer[i] for i in idx] def compute_sparse_reach_reward(state, goal, threshold0.05): # 以 Fetch 类任务为例状态里取物体位置和 goal 位置比较 distance np.linalg.norm(state[:3] - goal[:3], ord1) return 0.0 if distance threshold else -1.0有几个坑我要特意提醒第一新目标必须取s_next而不是s。因为重标注后的 transition 要保证“动作 a_t 执行后确实达到了新目标”而s_next正是动作执行后的状态。如果你取s_t作为新目标那么这个 target 在校验 reward 时总是提前命中的数据含义就错了。第二future_index 的下边界必须是t1。有些实现容易写成np.random.randint(t, T)这会把当前状态本身选作目标同样会导致 reward 虚高。t1 至少保证目标在动作执行后才会达到。第三奖励函数的阈值要跟目标空间一致。Fetch 任务里 goal 通常是 3 维位置坐标我用的 L1 距离阈值 0.05这是论文里的默认值。如果你的任务用的是 L2 距离阈值要相应调整否则奖励信号会过于稀疏或过于宽松。3.4 训练效果观察与验收标准我把训练日志里的关键指标列一下方便你对照自己的实验来判断训练是否正常成功率曲线是最直接的指标。HER 加持下的训练曲线有一个明显特征前几百个 epoch 可能成功率一直是 0但某个节点后会在几十个 epoch 内快速跳跃到 80% 以上。这不是玄学而是因为重标注数据在 replay buffer 里积累到一定量后Q 值才开始有效传播。我见过很多第一次跑 HER 的人在初期看到成功率 0 就直接放弃训练实际上这时候正处于“积累期”。Q 值的变化趋势也值得盯。健康的情况下Q 值会从初始的负值因为多数 transition 的奖励是 -1缓慢上升最终稳定在接近 0 的水平。如果 Q 值突然暴涨到正数很可能你的 reward 函数或重标注逻辑出了问题比如选到了当前状态作为新目标。重标注数据的占比可以用一个额外的统计量来衡量每次从 buffer 采样时计算有多少 transition 的 goal 和原始 episode 的 goal 不一致。这个比例如果太低说明 HER 没有发挥作用如果超过 90%意味着原始目标被严重稀释agent 可能对真正的目标失去敏感性。一般控制在 70%~85% 之间比较安全。验收标准方面我习惯的做法是每隔固定 epoch 数关闭探索噪声用确定性策略跑 100 个回合统计成功率。只要 100 回合的平均成功率超过 80%并且连续 5 次评估没有明显回落就判定任务学会。4. 实战中的坑与排查技巧实录4.1 常见问题速查表这部分我直接给出一张我自己整理的排错表遇到问题可以按图索骥现象可能原因解决建议训练 2000 epoch 成功率还是 0新目标用错了索引取到了s_t而非s_next检查重标注逻辑的 future_idx 边界Q 值爆炸为极大的正数重标注后新目标离当前状态太近reward 虚高检查阈值是否过小或采样时限制了“当前状态”污染原始目标 learning 退化agent 只擅长重标注后的伪目标K 值太大原始 transition 被稀释降低 K 到 2或者提高原始 transition 保底比例训练后期震荡、成功率忽高忽低exploration noise 没有衰减按 epoch 线性衰减 noise从 0.2 降到 0.05buffer 存了 1e6 后内存不够每个 transition 里的 goal 和 state 维度高用 numpy array 预分配内存避免 deque 存储 Python 对象4.2 三个特别容易翻车的实现细节第一个细节是目标空间和状态空间的“类型”不匹配。很多人在 Fetch 任务里直接把observation的 25 维向量当成整个 state但其中有一部分是achieved_goal有一部分是desired_goal。HER 重标注时你要改写的是desired_goal字段但新目标的值要来源于achieved_goal字段。如果搞混你会把目标输入写成完整 25 维 state网络根本学不动。这个错误我在刚开始实现时犯过排错花了两天。第二个细节是reward 函数的对称性。Fetch 任务里默认的距离阈值判断是np.linalg.norm(achieved_goal - desired_goal) 0.05但这是 3D 位置坐标。如果你把状态向量全部拼接后一起算范数会把无关维度比如 gripper 状态、物体旋转也算进距离造成 reward 信号噪声。正确的做法是只关心achieved_goal和desired_goal这两个 3 维子向量之间的距离。第三个细节是replay buffer 的采样均匀性。HER 重标注会让 buffer 里同时存在“原始 goal 的 transition”和“伪 goal 的 transition”如果采样时不做任何控制容易出现训练 batch 里全是伪目标的经验导致 agent 对真实任务目标的学习信号不足。我后来在采样函数里加了一个简单控制确保同一个 batch 中至少有 20%~30% 的样本来自原始目标。这个改动在实战中明显提升了最终对真实目标的成功率。4.3 HER 适用边界什么场景别硬用最后聊一聊 HER 的边界。它不是万能的至少以下三种场景我不建议直接用。场景一目标无法从状态中直接读出来。HER 的前提是“目标可以和某个未来状态对应”。如果任务目标是抽象的比如“让对话显得更礼貌”“生成一张看起来像猫的图片”这些目标没有显式的状态空间映射重标注无从下手。场景二奖励不可重算。有些环境的 reward 不是由纯状态距离决定的而是由外部系统给出比如用户点击、模拟器隐式返回。这时候 HER 无法为新目标构造可靠的 reward强行重标注只会污染 buffer。场景三任务本身是探索难题。HER 解决的是“目标信号太稀疏”的问题而不是“agent 不知道该去哪里探索”的问题。如果环境里有大片的不可达区域agent 根本没机会到达能作为新目标的状态HER 能用的重标注样本就非常有限。这时候你需要的是更好的探索策略比如 random network distillation或者将探索与 HER 结合使用。我个人的体会是HER 是“目标条件强化学习”的放大器而不是探索策略的替代品。它最擅长的场景是目标空间定义清晰、动作能改变目标空间中的状态、且智能体有一定概率在探索中“接近”某些替代目标——这时候它能把看似不可能的稀疏奖励任务变成普通 off-policy 任务来训练。最后再说一个实用的小技巧。如果你已经在跑 HER可以试着在训练中期把重标注的k值从 4 降下来甚至在后期只保留 1。前期重标注能加速学会“达成任意目标”的策略后期减少重标注则能让 agent 把注意力集中到真实的初始目标分布上。我在 FetchPush 上这样做之后最终评估成功率比我一直在 k4 时高了差不多 5 个百分点而且曲线更稳定。这个细节论文里没写但在实际工程里非常有用。