Hindsight 这个词翻译过来大致是“事后诸葛亮”说的是事情发生之后谁都能看清当初该怎么选。放在人生里这叫复盘放在强化学习里却是一个算法的正经名字Hindsight Experience Replay事后经验回放圈内一般直接叫 HER。我第一次接触 HER 是在做机械臂推方块实验的时候。当时用 DDPG 训练一个六自由度机械臂去把方块推到指定区域跑了一整天奖励曲线一路躺平方块根本到不了目标点。后来把 HER 加进去同样的网络、同样的环境参数不到半天就出了效果成功率肉眼可见地往上涨。从那以后遇到稀疏奖励问题HER 基本就是我的默认起手式之一。这篇文章我把 HER 的原理、代码实现细节、超参数经验以及训练时容易踩的坑一次性说清楚。适合正在做强化学习研究的同学、搞机器人控制算法的工程师以及所有被稀疏奖励问题折磨过的玩家。1. 从“事后诸葛亮”到“事后经验回放”HER 到底在解决什么问题1.1 稀疏奖励让强化学习策略“躺平”的罪魁祸首强化学习的整个训练过程本质上是靠奖励信号驱动的。奖励告诉智能体“这个动作方向对不对”然后策略顺着奖励高的方向调整。这个逻辑在奖励密集的场景下很顺畅比如游戏里每走一步都有分数反馈。可很多真实控制任务压根不是这样任务只在最终完成的瞬间才给一个正奖励其他时间一律零分。拿机械臂推方块举例。目标是把方块推到桌子上的某个目标点只有方块进入目标区域时才给 1。对随机初始化的策略来说这个区域可能只占整个桌面的百分之几甚至千分之几瞎蒙命中的概率低得可怜。也就是说智能体在训练早期面对的大多数轨迹都是一堆零奖励它拿不到任何有意义的梯度信号价值函数学不出区分度策略就好像躺平了一样怎么训都不动。这类问题在强化学习里有个专门的名字稀疏奖励问题。它不是一个冷门边缘问题恰恰相反几乎所有的真实物理控制任务都天然稀疏。按键盘、拧螺丝、抓零件、倒水这类操作的目标都只有一个完成判定中间过程没有天然奖励。这也是为什么很多论文里看起来很漂亮的强化学习算法一拿到真实机器人上就失灵。1.2 手工设计奖励函数的困境为何总是治标不治本面对稀疏奖励大家第一反应是奖励塑形也就是手工设计一个连续奖励函数让智能体每一步都能获得反馈。比如“方块离目标点越近负奖励越小”这样算法至少有了梯度方向可以跟着走。这个方法当然有效但副作用也很扎心。第一它需要大量领域知识你得清楚什么量该进奖励、权重给多少等于把工程师对这个任务的理解全部塞进公式里。第二奖励塑形特别容易引发奖励攻击。我亲眼见过一个实验里机械臂学会了一个非常猥琐的招式把爪子放在方块上方来回快速抖动因为“方块接近目标点”这个距离项在抖动时能刷出一点点负奖励的变化于是策略就钻进这个漏洞里出不来了真实任务完成率依然是零。第三手工设计的奖励往往带有工程师的归纳偏置换一个机器人型号、换一块桌面材质参数可能就要重调。还有人用课程学习来缓解也就是从简单目标一步步加到难目标。但课程设计本身又是一门玄学什么难度合适、推进速度多快全靠经验。HER 走的是完全不同的路它不去改造奖励函数也不设计课程而是改造已经有的数据。1.3 核心直觉换个目标失败轨迹就是成功轨迹HER 的思想如果只用一句话概括是这样的一条没有完成原始目标的失败轨迹只要换一个目标来评判它本身就是一条成功轨迹。展开来说。机械臂想把方块从 A 点推到 B 点结果推到了 C 点。站在原始目标 B 的视角看这是一次彻头彻尾的失败奖励为零毫无学习价值。但如果临时把目标改写成 C 点这次操作就是一次完美的精确命中动作、状态转移、目标全部对得上理所当然应该记一个 1 奖励。智能体就从这条轨迹里学到了一个正样本“以当前状态为起点执行这个动作能够到达一个被指定的位置。”虽然这个位置不是当初期望的 B但“把一个位置设为目标并且达成”的动作模式是通用的。无数条这样的“歪打正着”轨迹合在一起就能教给智能体一个基本能力把物体操控到某个具体位置。之后它再面对目标 B 的时候这个基础能力可以直接迁移。这个逻辑跟人类学习的经验其实非常像。投篮没投进但你从投偏的轨迹里能判断力度和角度的大致对应关系第一次切菜切得乱七八糟但你知道了什么样的手型和力度会产生什么样的切口。做事后复盘的时候我们从来不觉得失败的经历是垃圾因为失败里有大量关于“怎么做会得到什么结果”的信息。HER 只是把这句常识翻译成了算法能消费的数据格式。2. HER 核心机制详解一条失败样本如何变成学习素材2.1 目标条件经验的结构先分清三个容易混淆的概念HER 并不是一个通用的强化学习算法它专门服务于目标条件强化学习。目标条件的意思是说环境里每一步都有一个额外输入当前这一回合期望达成的目标。智能体的任务不是单纯学一个状态到动作的映射而是学一个“在指定目标下状态到动作的映射”所以策略网络要把目标也作为输入。具体到一条经验转移也就是 transition里面需要存这几个字段当前状态 s_t、动作 a_t、执行后的下一状态 s_{t1}、即时奖励 r_t以及这一回合的期望目标 g。后一个 g 非常关键因为在 HER 的框架里一个状态转移片段对应的目标是可以被改写的。再深入一点目标条件场景里还要区分两个概念期望目标 desired goal 和实际达到目标 achieved goal。期望目标是这一回合开始时给智能体指定的那个目标决定它要往哪个方向努力实际达到目标是轨迹结束后系统实际观测到的最终结果也就是 achieved state。对推方块任务来说期望目标是方块最终应该到达的位置实际达到目标就是方块最终真实停下的位置。HER 做的事情就是拿实际达到目标去替换或者补充期望目标从而重新解释这条轨迹的奖励。这里有一个容易混淆的细节目标本身并不一定等于状态的一部分它可能是一个单独提供的向量比如“移动 10 厘米”“转到某个角度”。但判断目标是否完成时必须有一个可观测的、能从状态里提取出来的量。HER 依赖这个可判定的目标完成函数否则没法事后重算奖励。2.2 替代目标采样四选一final、future、episode、randomHER 中最核心的动作是如何从一条轨迹里选定替代目标。这个选择不是随便拍的论文给出了四种标准策略各有适合的场景。第一种是 final直接把整条轨迹最终时刻的状态作为替代目标。逻辑最朴素你最终没做到原始目标但最终到了哪里哪个位置就是你的新目标。这个策略适合轨迹比较短、状态变化比较小的任务。缺点是它只利用了轨迹的最后一个状态中间所有时刻都被忽略了样本利用率不够。第二种是 future这是实际最常用也最推荐的策略。它的做法是在一条轨迹里如果当前是第 t 个时间步那么从第 t1 步到轨迹结束之间的所有状态里随机挑一个作为替代目标。为什么这样效果最好因为它保持了时间上的因果性当前动作发生之后才出现的结果才有资格作为当前动作的目标。假如拿当前动作之前的老黄历当目标动作和目标之间没有因果关系学出来的东西就是错的。第三种是 episode把整条轨迹任何时刻的状态拿来随机采样不管它在当前时间步之前还是之后。这个策略会引入一些因果信息错位。第四种是 random直接从整个目标空间随机采一个目标。random 策略的效果普遍最差原因也很直接目标空间的分布和环境里真实状态分布经常不一致随机采出来的目标大概率根本不可能在这个任务里出现那重算出来的奖励照样全是零等于白忙活。实际工程里大部分人直接用 future 就足够了。如果你发现环境里状态非常稠密、轨迹特别长可以考虑 future 和 final 混合一部分样本用 future 增强多样性一部分样本用 final 巩固最终结果。2.3 奖励重计算与经验池改造低成本的数据增广确定新的替代目标之后下一步是用同一个距离判定函数重新算奖励。比如原来的判定函数是“目标位置和实际位置的距离小于 5 厘米就给 1”现在替代目标是 C 点实际停止位置也恰好是 C 点距离为零那替代奖励就是 1。整个重算过程完全不涉及环境交互只是在经验池里改两个字段把期望目标 g 替换成 g_prime把奖励 r 替换成 r_prime。状态和动作保持原样。这个操作的成本几乎可以忽略但对样本利用率来说是天翻地覆的提升。原本一条只产出一个有效信号的真实轨迹经过 HER 扩展后能变成一摞新的正样本这就是为什么 HER 经常被归类为一种数据增广方法。还有一个容易忽略的工程细节原始样本不能丢。很多新手把 HER 加进去之后一股脑全用替代目标样本训练结果策略越学越偏甚至出现“对原始目标无动于衷”的问题。原因在于原始目标样本提供的是真实任务的梯度压力替代目标样本提供的是可学习信号两者缺一不可。经验池里必须混合保存两种样本训练时一起采样。另外值得一提的HER 天生要求 off-policy 算法。因为事后重标定的样本来自历史经验需要反复回放训练才能发挥作用这正好是 DQN、DDPG、SAC 这些离线学习方法的主场。on-policy 算法比如 PPO用一次样本就丢掉HER 完全施展不开。3. 手把手实现 HER 训练流程从伪代码到关键参数3.1 算法总体流程跑轨迹、造样本、离线回放HER 的工程实现其实比听起来要简单得多。整个训练循环可以拆成三大步先用当前策略和环境交互收集一整条轨迹然后对这条轨迹做事后采样扩展出一批新的经验样本最后把所有样本原始加扩展一起塞进经验池跑标准的 off-policy 更新。下面是一段完整的 HERDDPG 训练伪代码你可以直接照着这个骨架改成自己的环境for episode in range(total_episodes): # 1. 采样一个目标跑一条轨迹 g sample_goal() s env.reset(goalg) episode_transitions [] for t in range(max_steps): a actor(s, g) exploration_noise s_next, _, done, _ env.step(a) episode_transitions.append((s, a, s_next, g)) s s_next if done: break # 2. 对这条轨迹做 HER 事后采样 her_transitions [] for idx, (s, a, s_next, _) in enumerate(episode_transitions): for _ in range(N_her): g_prime sample_future_goal(episode_transitions, idx) # future策略 r_prime reward_fn(s_next, g_prime) # 重算奖励 her_transitions.append((s, a, r_prime, s_next, g_prime)) # 3. 写入经验池原始样本和 HER 样本一起存 for transition in episode_transitions: replay_buffer.store(transition) for transition in her_transitions: replay_buffer.store(transition) # 4. 采样 batch更新 critic 和 actor for _ in range(train_steps): batch replay_buffer.sample(batch_size) update_critic_actor(batch) # DDPG/SAC 的标准更新逻辑这段代码就是 OpenAI 论文里做法的骨架。你可以看到HER 没有引入任何新的网络结构或者 loss 函数它只是对数据流做了一次重排和扩增对已有算法体系的侵入性非常小。3.2 future 策略代码细节因果性与采样范围future 策略在实现时有一个容易出错的小地方采样范围的定义。严格按论文future 是“从当前时间步之后的轨迹状态里随机挑一个”所以如果当前是第 idx 步那么采样范围应该是从 idx1 到 len(trajectory)-1。但实践中有两个细节需要注意。第一建议加一个小偏移避免采样到 idx 本身。如果 idx 和 idx1 之间的状态变化很小把 idx1 的状态当作目标奖励很容易瞬间变成正数但这个正奖励代表的信息量很少学不到什么东西。加一个 future_offset 参数比如从 idx 3 之后才能采样就能让目标真正和动作拉开距离。第二有些实现会限定未来窗口的长度而不是一直延伸到轨迹末尾。比如只从未来 50 步内的状态里采样。这样做的原因是距离当前动作太远的状态和当前决策的因果关系也会变得稀薄而且训练早期的策略很烂轨迹后半段经常是噪声拿噪声当目标是浪费容量。下面给一个参考实现def sample_future_goal(trajectory, idx, k4, future_offset1): # trajectory 是 list of achieved_goal按时间顺序 horizon min(idx future_offset k, len(trajectory)) candidates range(idx future_offset, horizon) if len(candidates) 0: return trajectory[-1] return trajectory[random.choice(candidates)]这里的 k 可以理解成未来窗口大小论文里常用的设置是 4。这个数字不用太纠结它影响的主要是目标多样性k 太小目标太局促k 太大因果信息太淡。3.3 超参数配置我推荐的起点与调整方向HER 本身没有太多额外超参数但设置不对影响非常大。我给一个比较稳的初始配置适合大多数机器人控制类任务经验池大小100 万条样本起步越大的 buffer 越能发挥 HER 的优势。每条轨迹额外生成的 HER 样本数8 个。也就是说一条真实轨迹加上它自己一共产生 9 条经验。太多会挤占原始信号太少数据增益不够。future 窗口 k 4offset 1。batch size256。优化器学习率critic 用 1e-3actor 用 1e-4配 Adam。目标网络软更新系数 tau 0.05 到 0.1。还有一个必须强调的点是输入归一化。HER 的目标通常包含连续坐标位置、角度、速度的量纲可能天差地别。推方块任务里位置坐标是米级别速度是秒米级别如果直接算距离速度分量会完全压制位置分量。无论距离函数还是神经网络输入都应该先对目标向量做归一化或者标准化。这个不起眼的步骤经常是那些“别人复现出来了你却复现不出来”的问题的真正元凶。4. 实验效果与应用边界HER 在真实任务里的表现4.1 OpenAI 论文实验结果机械臂操作任务的翻身仗HER 这篇论文来自 OpenAI实验设计得非常直观。他们用了一个仿真机械臂在一张桌子上做七种不同的操作任务包括推方块、滑动圆盘、抓取并放置物体等等。每个任务的共同特点是稀疏奖励只有完成目标才给奖励中间过程没有任何反馈。基线算法是 DDPG加不加 HER 形成对比。实验结果非常鲜明普通 DDPG 在大部分任务上完全学不动成功率基本为零而加了 HER 之后pushing 和 sliding 这类任务都能学到很高的成功率pick-and-place 这类复杂任务也能在足够步数下拿到不错的结果。注意一个关键细节pushing 任务是最能显示 HER 威力的。因为推方块的特点是方块无论被推到哪最后的位置都是可以被观测到的。就算没推到目标点那次推动的动作轨迹也包含了完整的“输入到输出”信息。HER 的 future 采样能够把这些信息全部变成训练数据这正是它比普通 DDPG 强出一个次元的原因。4.2 应用边界哪些任务适合 HER哪些不适合HER 当然不是万能的它有一个明确的适用前提任务的目标必须能被观测、能事后判定。也就是说你得能从最终状态里提取出一个量来判断“这个目标到底达成没有”。机器人操作任务天然满足这一点目标就是物体的最终位置、角度、姿态。导航任务也满足目标就是智能体最终到达的坐标点。如果目标本身不可观测比如“把水温加热到 60 度”能观测温度“让客户满意”就没法由状态直接判定HER 就无从下手。再比如奖励和环境状态之间的距离没有任何关系目标是否完成完全随机这也不是 HER 能救的范畴。HER 做的是重新标注现有数据而不是凭空创造信息。另一个容易误用的场景是纯稀疏奖励但无目标结构。比如一个双足机器人只是单纯地从起点走到终点没有明确的目标输入目标条件化的框架都搭不起来HER 自然没戏。遇到这种情况应该去考虑好奇心探索、内在奖励这些方向。4.3 组合打法HER 与 SAC、课程学习等技术的配合在实际项目里很少有人只用一个纯 DDPG 再加 HER。我个人的经验是把 HER 和 SAC 搭配起来通常比 DDPG 稳定得多。DDPG 对超参数敏感收敛过程容易抖动SAC 自带熵正则化探索更充分配上 HER 的数据扩增训练曲线平滑得多。如果你的项目新起航直接选 SACHER 作为起点大概率会比 DDPGHER 更省心。HER 和课程学习也是天然搭档。课程学习通常需要从简单任务开始但简单任务往往不能覆盖最终任务的分布设计起来很繁琐。而 HER 可以自动生成大量“中等难度”的样本这些样本的目标来源于真实轨迹的实际结果天然贴着环境状态分布比手工设计的课程平滑得多。把 HER 产生的样本按难度排序再让采样权重偏向那些“刚好差一点就成功”的样本训练效率还能再上一个台阶。HER 也可以和元学习结合。元学习很多时候需要大量“不同目标的经验”HER 正好能在一条轨迹里扩展出多个目标等于免费给元学习器提供了更多任务多样性。5. 调参避坑指南我在 HER 训练中踩过的那些坑5.1 采样子类型选错性能直接掉一半有一次我做实验图省事直接用了 random 策略从完整目标空间里均匀采样替代目标结果训练了两百万步成功率还是原地踏步。后来排查发现环境的目标空间是一个很大的连续区域但真实轨迹实际能达到的状态只占其中一小片区域。random 采样出来的目标绝大多数落在“不可能区域”重算的奖励几乎全是零等于白白多存了一堆无用样本还稀释了有效数据的比例。换回 future 之后同样算力下性能立刻翻了一倍。这个坑我后面又见过好几次很多复现论文失败的案例也是栽在这里。如果你不想在采样子类型上花时间纠结直接锁定 future不要犹豫。5.2 阈值、奖励密度与假正样本问题HER 里的奖励重算依赖一个距离阈值实际状态和目标状态的距离小于阈值就算成功。这个阈值如果设得太紧正样本率极低HER 的扩增优势就被抵消了如果设得太松很多实际上偏离目标很远的状态也判成成功那么模型学到的是一个“差不多先生”真到了精确目标任务里成功率惨不忍睹。一个比较务实的做法是根据环境的大小和操作精度要求设定阈值为目标空间范围的 2% 到 5%。比如桌面边长 1 米推方块任务的阈值 2 厘米到 5 厘米就比较合理。还有一个额外技巧可以统计训练前期 HER 样本中正样本的比例如果超过 50%说明阈值太松了如果低于 5%说明太严了。这个统计用 tensorboard 就能跑出来肉眼调节阈值的效率非常低。5.3 训练稳定性排查与样本比例平衡HER 加入之后经验池里会出现“奖励纯度高”的现象因为很大一部分扩展样本都是正奖励整体 reward 分布被严重扭曲。这会让价值网络过度乐观对真实任务的零奖励轨迹反应迟钝。如果你发现训练中期 critic loss 突然掉得很低actor 却越来越差先去看看经验池里 HER 样本的比例。我实践下来原始样本和 HER 样本的比例控制在 1:4 到 1:8 之间比较健康。也就是说每条轨迹生成 4 到 8 个 HER 样本就够了不要贪多。有些论文里甚至刻意在采样时限制 HER 样本在 batch 中的比例比如不超过 30%能有效避免上述问题。训练曲线如果出现周期性的剧烈震荡还有一个常见原因是探索噪声设置太大。代码里如果直接用固定的高斯噪声叠加到动作上在含 HER 的稀疏奖励环境下策略进展和噪声破坏会反复拉锯。比较好的做法是退火探索噪声训练中期开始逐渐降低噪声幅度让策略稳定收敛。最后再分享一个我自己养成的习惯。每次新任务开始前先跑一版纯随机策略收集几百条轨迹看看实际达到状态 achieve state 的分布长什么样。如果这个分布有明显的结构比如物体多数落在某个区域内那 HER 大概率和这个任务合拍如果完全是一团散沙那就说明探索本身就有问题HER 也救不了得先去解决探索问题。这个小步骤花不了十几分钟但能省掉后面好几个通宵的无效调参。根据我个人经验HER 不是一个能解决所有稀疏奖励问题的黑盒子它更像一个优雅的“数据视角转换器”把那些看似一无所获的轨迹重新解释成富含语义的学习材料。这个角度本身就是强化学习研究者应该具备的思维方式。