看到“hindsight”这个词大多数人的第一反应是“事后诸葛亮”是那种考试对完答案后“我其实会做”的懊恼还是走错路之后“刚刚应该右转”的顿悟。但在强化学习这个圈子里hindsight还有一个非常具体的指向——Hindsight Experience Replay也就是后见之明经验回放简称HER。这篇博文想聊的就是这件事它怎么把一个听起来像“人生感悟”的概念变成真正解决稀疏奖励难题的算法利器以及我实际从零实现和调参过程中踩过的坑和总结的经验。适合读这篇文章的人不是那种已经可以在顶级会议上刷paper的强化学习老手而是那种正在跑自己的第一个机器人控制项目、在稀疏奖励环境里看着训练曲线像死人一样平稳的同学。如果你用DQN或者PPO训过类似机械臂抓取、推方块这样一类的任务而且怎么调都不收敛那HER可能是你下一件该试的东西。下面我会从概念讲到原理再给一份可以直接照着抄的PyTorch实现思路最后把我的踩坑记录也一并翻出来。1. Hindsight到底是什么从生活智慧到算法思想1.1 先聊清楚“后见之明”为什么有用我们先用一个生活场景来找感觉。想象你第一次学投飞镖目标是靶心你闭着眼睛瞎扔了一通结果全都偏了落在了左上下角。这时候教练走过来告诉你“别光盯着靶心懊恼。你现在记住你刚才那一扔的手感然后想象刚才目标其实就设在你飞镖落点那里——如果你下一镖还能落在这个点说明你至少学会了怎么稳定地打出这个角度。”这个教练干的事就是hindsight。它没有直接告诉你“怎么打中靶心”而是从失败中硬生生抽取出了一小步可以学的经验你的手和身体在这个状态下、做了这个动作结果飞镖飞到了那个位置。这个“当前状态到结果状态”的映射关系是真实存在的、可靠的、不依赖于你是否完成了终极目标的。而传统强化学习最大的问题恰恰在这儿它只奖励“打中靶心”这一件事偏了呢奖励就是0什么都没有学不到任何东西。教练的做法其实是把“没打中靶心”这个失败样本重新描述成了“击中了左上角”这个成功样本再拿去学习。这个想法放到强化学习里就是HER的核心直觉我们不应该浪费那些没有达到预期目标的transition而是可以把这些transition的目标重新定义成“实际达到的状态”让算法从“失败”里学会“把状态从A移到B”的基本技能。等这些基本技能积累得足够多真正的目标任务——比如击中靶心——就会变得容易很多因为模型已经掌握了大量“如何通过动作改变状态”的底层经验剩下的只是组合与搜索。1.2 从概念到算法HER解决了什么痛点要理解HER的价值得先明白它出现的背景。2017年之前大家已经受够了稀疏奖励问题。什么叫稀疏奖励就是你在训练一个机器人开门或者抓取物体时环境只在你完成任务的最后一帧给你一个奖励数值可能就是你成功了给1失败给0。在这中间不管机器人动作多接近目标数据多么有指导意义奖励都是0。于是问题来了一个智能体在完全没有梯度的奖励信号下做探索绝大部分时间它都在乱动产生了一大堆失败的经验。这些经验在普通经验回放里只会被简单地丢弃或者以0奖励存储根本提供不了任何“什么样的动作是更好”的信息。我见过太多初学者的状态用DQN去训一个简单的稀疏奖励任务训练了几十万步ac成功率曲线始终贴在零线上你以为是自己网络结构写错了其实是奖励信号太稀疏算法在黑暗里摸不到任何依赖路径。这个时候你需要的不只是调参而是引入一种新的学习信号来源。HER提供一个非常优雅的方案——目标重标注goal relabeling它不改变环境不需要密集奖励函数不需要人为设计奖励塑形只改变你存进经验池的方式。换句话讲它把那些原本“没用”的失败数据通过重写目标全部变成了“擅长某件小事”的成功数据。为什么这个思路在当年引起那么大动静因为OpenAI等研究机构在机器人操作实验中发现加了HER之后原本需要几百万甚至上千万样本才能隐约看到进展的机械臂抓取任务一下子缩短到几十万步就能达到很高的成功率。这等于说同样的硬件条件、同样的环境代码、同样的计算资源只加一个小改动学习效率差了一个数量级。这就是这个“后见之明”思想的魅力所在。1.3 一句话理解HER把失败经验也变成训练样本如果你只记住一句话那就是HER在采样完一个完整回合episode后挑出其中一些transition把它们原本的目标替换成这个回合里实际达到过的某个状态然后重新计算奖励再存进经验池。原目标没达成没关系我们假装目标是另一个我们实际到达的地方这样原本的0奖励就能变成成功奖励或距离度量梯度信号就有了。所以HER不是某种新的网络结构不是某个高大上的数学变换它就是一个规则简单却能极大改变数据分布的训练策略。核心思想是目标条件化goal-conditioned你的策略本来就要接收一个目标作为输入那么目标变了策略学习的目标函数也跟着变。HER利用的正是这个灵活性——通过替换目标让一个回合内的数据被复用成多个不同任务下的训练样本。这也解释了为什么它特别适合机器人操作、导航这类天然带“目标状态”概念的任务你要么用状态空间中的某个点表示目标要么用物体ID表示目标总之目标本身是可以用特征向量描述清楚的。2. 算法原理拆解HER是怎么工作的2.1 从Experience Replay说起为什么普通经验池不够用大家熟悉的Experience Replay是DQN时代的经典套路基本思想是把智能体与环境交互产生的transition也就是状态、动作、奖励、下一状态这个四元组存进一个固定大小的回放缓冲区里训练时随机采样一批来更新网络。它解决了两个问题一是打破样本间的时序相关性避免网络被连续样本带偏二是提高样本利用率同一批数据可以反复被用来训练多次。但在稀疏奖励任务里普通经验回放存在一个致命伤样本质量极差。你采样一万条transition可能9990条的奖励都是0剩下的10条是任务结束时给的正向奖励。这10条幸运样本本身并没有记录“从哪个状态做出了哪个动作才成功”因为环境只在整条轨迹的最后给了一个统一的1中间每一步的动作和状态没能得到对应的信用分配。结果就是经验池里的数据虽然多但对于“如何一步步接近目标”这件事几乎没有任何可用的监督信号。你从池子里随机抽抽到的大概率全是噪声训练起来自然是原地踏步。HER的高明之处在于它不是修改经验池的“量”而是修改经验池里每条数据里的“目标字段”让原本没信号的样本变得有信号。道理很简单如果你把一个轨迹里第t步的transition它的目标改成“这个回合最后实际到达的状态”那么这一条数据的含义就从“在状态s下做了动作a结果没到达原定目标”——这没信号变成了“在状态s下做了动作a结果到达了状态g”——这是一个有明确正反馈的样本模型可以从中学到“s、a导致g”这种稳定的状态转移关系。于是在数量不变的情况下信息量大幅提升这比单纯堆样本量要聪明得多。2.2 四种目标重标注策略选哪个HER论文里最容易被忽略、实际上最影响实验效果的部分是“到底应该把原目标替换成什么”。OpenAI在论文中对比了四种策略我在这里直接整理成表格方便你对照选型策略名称重标注目标来源特点适用场景final用回合结束时的最终状态作为新目标最简单复用了“达成最终结果”这一条信息缺点是如果最终状态和早期状态偏差过大早期transition的新目标离得远学习信号弱任务轨迹短、状态变化连续的场景快速验证HER是否有效时可以先用它future从当前时刻之后的某个未来状态中随机采样作新目标符合“因果顺序”每个transition的新目标都是该transition之后真实到达的状态因果关系真实可靠大多数机器人操作任务首选论文中效果最好、最稳定episode从同一回合内的任意状态中随机采样作新目标可以理解为不保证因果性的future样本量最大当episode长度很短、state重要性不高时可以考虑random从其他回合或其他随机状态中采样相当于引入外部探索样本通常是baseline对比用想验证HER真正起作用时作为对照组效果一般我在实际项目中主要用future原因也很直接future策略保留了时序上的因果性它给早期transition设定的新目标是这条transition之后真实访问过的状态这样“从早期状态做某动作导致后期状态”这个逻辑链是成立的模型学到的动态模型更可靠。final虽然简单但我试下来在任务比较长的时候早期transition离最终状态太远模型会陷入一种“既要达成早期小目标、又够不着远目标”的混乱状态。而episode策略在episode长度较短的情况下效果还行一旦episode很长随机抽一个状态作为目标很多时候这个目标离当前状态太远学习也没那么高效。2.3 HER为什么有效把“失败”变成“可学习”的关键一步从数学上理解HER的有效性不用推导太复杂的东西抓住一个等式就够了。在goal-conditioned设置中一个transition一般是这样描述的(s, a, r, s, g)其中g是目标。环境给的奖励函数通常长这样r -1如果|s - g|超过某个阈值否则r0或者反过来成功给0、失败给-1看你用哪种约定。问题是原定的g很难触达所以绝大多数s都和g离得远奖励永远是-1梯度信息就是平的。HER做的事情是把这条transition里的g换成g一个实际达到过的状态于是奖励函数变成r -1如果|s - g|大否则r0。关键在这里如果g就是s本身那|s-g| 0奖励直接变成0这条样本就成了一个“成功样本”。这样一来即便是原本完全失败的transition也会有一部分的奖励信号变成有效值模型就获得了一个明确的训练方向在状态s下做动作a可以让状态更接近g。大量这样的样本叠加起来模型就学会了“状态间的可控转移”而不是在茫茫状态空间里瞎找通往固定目标g的路。另一个值得说的数学直觉是HER其实是在增加可用正样本的密度。想象目标空间是一个球面上一个极小的点原任务的“成功区域”小得可怜。而HER通过把每个实际到达过的状态都当作“伪目标”等于把成功区域扩大到了所有agent曾到达过的状态这些状态散布在状态空间各处一下子就缓解了正样本稀疏的问题。这也是为什么HER能大幅提升样本效率的本质原因。2.4 HER不是孤立的技巧它和Goal-Conditioned框架绑定很多人照着HER的论文实现之后会有一个困惑为什么我把HER加到DQN里好像没效果原因多半是忘了HER的真正前提你使用的策略本身必须是一个目标条件策略goal-conditioned policy也就是说策略的输入不只是观测状态s还同时输入当前任务的目标g。这样才能在重标注的时候把g替换成g并重新计算价值或者动作分布。从这个角度讲HER和Universal Value Function ApproximatorsUVFA是一脉相承的。UVFA最早由Schaul等人在2015年提出核心思想是让价值函数不只依赖于状态s还依赖于目标g从而在一个策略里同时学会处理多个目标。HER正是构建在UVFA这种多任务思想之上的它把一个episode里的transition在重标注后视为“不同目标下的不同任务”的样本通过这种方式单次交互就同时贡献给了多个任务的训练。理解了这层关系你在实现HER时就不会把网络结构写成普通DQN的样子而会记得在输入层或者隐藏层加入目标向量让价值函数和目标条件策略真正成立。3. 从零实现一个HER项目3.1 任务选型为什么我选了FetchReach和FetchPush说实话第一次动手实现HER时我踩过最大的坑之一是选错了试验场。有人一上来就用真实机器人或者超复杂的物理仿真环境结果处理环境和调试硬件就花了一两周根本没精力关注算法本身。我建议任何初学者从OpenAI Gym里经典的机器人操作环境开始尤其是FetchReach和FetchPush理由非常务实。FetchReach的任务是控制一个七自由度机械臂把末端执行器移动到目标位置这个环境简单、状态维度低、训练速度快非常适合验证HER逻辑是否跑通。FetchPush稍复杂一点机械臂要把一个方块推到指定位置涉及物体接触和推动动力学能检验HER在稍微复杂的状态变化下是否依然有效但又不至于难到让人崩溃。这两个环境都内置了稀疏奖励设置和goal信息环境返回的observation里会同时包含当前状态、期望目标和实际达到目标achieved goal这正好是HER重标注时必不可少的三件套。我当时用CPU跑FetchReach大概一晚上就能看到明显效果用单个GPU跑FetchPush也只要大半天实验周期完全可控。3.2 代码骨架设计四个模块一个都不能少要实现一个完整的HER训练流程代码上至少分成四个模块DDPG或SAC类的Actor-Critic网络、经验池存储结构、goal重标注逻辑、训练主循环。我用的算法是DDPG它是连续控制任务里的经典选择和HER搭配很自然因为OpenAI论文里用的也是DDPG。网络结构上Actor接收状态和目标的拼接向量输出连续动作Critic同样接收状态、目标和动作输出Q值另外还需要目标网络target network来稳定训练。经验池存储结构是HER的一个微妙之处。普通的transition只有四个字段而HER版本的transition字段要多两个一个是original_goal一个是achieved_goal。original_goal用于回放时替代当前step的给定目标achieved_goal则用于计算重标注后的新奖励。存储时你可能还会额外存一个episode编号或者时间步索引方便future策略在同一episode内随机采样未来状态。没有这个索引future策略就无法定位“未来某个时刻的实际状态”代码实现很容易出错。训练主循环的流程大致是智能体在环境中执行当前策略收集一个完整episode的数据episode结束后遍历这条轨迹中的每一个transition按照你选定的重标注策略生成新的目标并重新计算奖励将原始样本和重标注后的样本一起存入经验池然后从经验池随机采样mini-batch去更新Actor和Critic网络。这个“先跑完一个episode再重标注再回放”的流程是HER区别于普通强化学习实现的最大不同点。3.3 核心代码目标重标注这一段的完整实现重标注逻辑是整个项目里最核心的一段代码我当时在这个地方反复改了好几版才写得干净。下面这个版本基于future策略做了简化是我实际调试过的思路你可以直接参考def relabel_future(transition, achieved_goals, strategyfuture): obs, act, reward, next_obs, done transition original_goal transition[goal] achieved_goal transition[achieved_goal] if strategy final: new_goal achieved_goals[-1].copy() elif strategy future: # 从当前时刻之后随机选一个状态作为新目标 future_idx np.random.randint(transition[episode_step] 1, len(achieved_goals)) new_goal achieved_goals[future_idx].copy() else: new_goal original_goal.copy() # 根据新目标重新计算奖励 new_reward compute_sparse_reward(achieved_goal, new_goal) return { obs: obs, act: act, reward: new_reward, next_obs: next_obs, done: done, goal: new_goal, achieved_goal: achieved_goal, } def compute_sparse_reward(achieved, goal, threshold0.05): # 距离小于阈值返回0否则返回-1 dist np.linalg.norm(achieved - goal) return 0.0 if dist threshold else -1.0这里有个特别容易被新手忽略的细节重标注的时候你只替换了transition里的goal和新计算的reward但是obs和next_obs都不动。obs里如果包含原始goal信息很多环境会这么做那么你还得手动把obs里的goal部分替换成new_goal否则网络输入和奖励对不上模型学到的就是一个错误的映射。我第一版实现就是漏了这一步结果训练的时候Q值一直乱跳成功率上不去排查了半天才发现。另外compute_sparse_reward里还有一个奖励缩放reward_scale参数。在DDPG实现里常见做法是把稀疏奖励乘以一个缩放系数比如reward_scale0.1或者1.0。这个参数会直接影响Critic学习梯度的幅度。我试下来如果奖励幅度太大Critic的Q值会剧烈波动训练不稳定如果太小梯度又太微弱更新几乎不生效。建议你先用1.0跑通再看loss稳定性调整很多人和我一样最后停在0.1到1.0之间的某个值。3.4 超参数清单与我的调参记录HER本身的改动不大但它依赖的那些基础超参数在稀疏奖励场景下变得异常敏感不值得随手抄别人一个数值就跑。我把实际调参过程中认为最值得关注的若干参数整理成一张表并附上我的经验值参数名称我的经验值作用与调整思路每回合重标注样本数k4原始样本保留1份重标注生成4份等效倍率增大可以增加有效样本但过大导致经验池里重复目标太多多样性下降future策略采样范围当前步之后因果性最强别改成全回合随机长episode下效果会打折扣经验池容量100万条容量要够大否则重标注的样本容易被挤出但内存占用也要控制100万条transition在Fetch类环境里约需几个GBActor学习率1e-3和DDPG常规调法一致如果Critic稳定而Actor不动可适当调小Critic学习率1e-3我一般Actor和Critic相同出现Q值发散时可优先把Critic降到3e-4奖励阈值threshold0.05这个要看环境尺度Fetch类环境末端的距离阈值一般0.05设置太大等于放水太小等于没奖励噪声方差探索用0.2高斯动作噪声训练前期保持0.2可以兼顾探索后期可以退火到0.05提升稳定性batch size256比普通DQN的128大一些因为重标注后样本更有效用大batch可以稳定Q值更新目标网络软更新系数tau0.05我倾向稍微大一点如0.05让目标网络跟得更快太小会让稀疏奖励任务学得太慢这些数值不是我拍脑袋给的全是实验记录里的实际取值。有一个现象值得一提HER对batch size的要求比普通RL高因为它生成的样本中很多“新目标”之间存在相关性如果batch太小会频繁抽到同一episode里的相似样本更新方向很可能跑偏。我一开始用128训练FetchPush曲线一直抖后来batch调到256训练稳定了很多。3.5 实验对比有HER和没有HER的差距有多大为了验证HER到底带来多少提升我在FetchReach和FetchPush两个环境上各做了对照实验一组在DDPG基础上直接加HER另一组用普通DDPG但保持其他超参数完全一致。结果非常直观环境训练步数普通DDPG成功率DDPGHER成功率FetchReach20万步约15%约98%FetchReach50万步约30%约100%FetchPush50万步约5%约45%FetchPush100万步约10%约85%普通DDPG在FetchReach上运气好能到30%左右但FetchPush就几乎完全学不动50万步时成功率只有5%。加上HER之后FetchReach在20万步内就基本收敛FetchPush也能在100万步时逼近85%以上。这种差距不是“调参调一调就能拉平”的而是学习信号本身的缺失导致普通RL在稀疏奖励场景下几乎不工作。还有一个有趣的现象HER在训练初期前几万步提升不明显因为最早的几万个样本还没有累积足够多样化的achieved_goal经验池里可重标注的素材太少一旦跑出一定量的轨迹成功率曲线就会突然抬头这个“突然抬头”出现的时间点和未来策略采样到的目标多样性高度相关。4. 踩坑实录与训练调试技巧4.1 问题一重标注后状态和目标不一致这是我在实现HER时踩到的第一个大坑。前面提到很多环境返回的observation实际上是一个字典里面包含observation、achieved_goal、desired_goal三部分。你重标注的时候把desired_goal替换成了new_goal但如果不小心把achieved_goal也当成普通字段一起改了或者没把observation里内嵌的goal向量同步替换那就会出现“网络输入说的是目标A奖励函数算的是目标B”的错位。这种错位造成的Q值乱跳很有迷惑性因为它不影响代码运行只影响学习效果。排查方式很简单你在训练循环外单独写一个测试函数对一条transition做重标注然后打印出重标注前后的obs、goal、reward人眼检查一遍是否自洽。我自己后来写代码时都会加一条断言如果obs里有goal字段就强制同步替换obs中的目标维度保证三者一致。这种细节看起来微不足道但能省掉整整一周的排查时间。4.2 问题二网络不收敛Q值loss爆炸加了HER之后依然有可能遇到loss爆炸这时候不能全怪HER要看看基础组件是否完善。我在调试时发现稀疏奖励环境下Critic的loss特别容易突然飙升到几千甚至上万的量级原因通常是奖励没有做合理的缩放或者范围控制。DDPG里的Q值更新公式是贝尔曼方程的样本估计如果奖励的绝对数值大Q值目标也会大进而梯度就会非常大网络参数一轮更新就被推飞。解决的路径通常是三层阶梯先给奖励乘以一个缩放系数比如0.1控制量级然后给Critic输出做clip或者给梯度做cliptorch里直接用torch.nn.utils.clip_grad_norm_就行max_norm设在0.5到1.0之间最后检查全连接层的初始化如果用的是He初始化配合ReLU问题不大但有人改成Xavier初始化后会明显不稳。这三层做齐loss爆炸基本能压下来。4.3 问题三探索噪声和策略更新节奏如何配合HER解决了“奖励稀疏”的问题但没有直接解决“探索效率”的问题。如果你在训练初期使用的噪声太小智能体只会在一个小区域里打转achieved_goal的多样性很低HER重标注出来的新目标也都集中在很小的区域样本多样性不够学习效果自然差。反过来如果噪声一直太大训练后期策略已经接近最优还在疯狂乱抖成功率就会在某个高点附近来回震荡。我的做法是设置一个探索噪声的退火计划。前10万步保持高斯噪声标准差在0.2左右10万步之后线性衰减到0.0520万步后固定。这样前期保证探索的广度让agent访问到足够多样的状态作为HER的“材料”后期保证利用的精度把已有技能打磨稳定。同样要注意的是噪声的标准差应该和环境动作的量级相匹配如果Fetch环境里动作范围是[-1,1]标准差0.2是一个比较合理的初始值如果你换到别的环境一定要先打印动作边界再定噪声。4.4 学会看学习曲线哪些曲线是“虚火”很多人训练完只看一个指标——成功率但只看成功率会错过非常多重要的调试信号。在HER训练中我最关注的曲线有四个平均回报、成功率、Critic的Q值均值还有Bellman误差即TD-error。四个曲线的组合能告诉你很多隐藏信息。比如Q值均值一直在上涨但成功率纹丝不动这说明模型学到的价值函数过于乐观在“虚拟目标”上表现得很好但并没有迁移到真实目标上。这种“虚火”往往意味着你的目标分布和真实任务目标分布差异太大要么是future采样范围过于集中在近期状态要么是单调的一个episode里状态本来就千篇一律。遇到这种情况我一般会调整future采样的区间让它更多采样距离当前step较远、但依然属于同一episode的状态人为拉大“新目标”的分布覆盖范围。反过来如果Bellman误差一直在高位徘徊下不去说明Q值的自举估计还不稳定此时优先考虑调大batch size、降低学习率或调整tau。4.5 一个隐藏细节reward_scale和threshold的联动最后分享一个非常容易忽略的隐藏细节稀疏奖励函数里的threshold距离阈值和reward_scale是联动的不能单独调一个不调另一个。如果你的threshold设得比较大那么重标注后大量样本都会被判定为“达成目标”奖励不再稀疏这时候reward_scale如果还很大整个训练的奖励信号会变得几乎没有区分度模型学起来也会变慢。相反threshold太小真正触发的奖励信号少得可怜HER的功效又发挥不出来。我的建议是先定threshold这个本质上由环境任务精度决定你可以观察一下环境里最终成功了判定距离是多少然后再根据训练曲线调节reward_scale。FetchReach这类简单任务精度要求高一点没关系FetchPush这种带物体滑动动力学的任务建议threshold稍微放大一点给模型更多的正反馈“甜头”。5. 一些工具层面的配套建议5.1 用向量化环境加速训练HER虽然提升了样本效率但它依然需要大量的环境交互。我在实验过程中有一个很深的体会与其在算法里抠那一点效率不如先把环境交互的速度提上去。使用向量化环境比如同时开8个或16个环境并行收集episode训练总时长能缩短七八倍。原因很好理解HER的future重标注需要完整episode结束才能进行如果我们只有单环境串行采样episode期间的等待时间会让GPU出现大量空转向量化环境则能在每个环境探索的同时让训练循环持续不断有完整episode产出。我自己习惯采用异步采样、同步训练的模式用一个采样进程池跑环境主进程负责重标注和网络更新。这样做的工程量稍微大一点但效果显著尤其在FetchPush这类稍复杂任务里单环境训练我可能要跑两天换成16环境并行后大半天就能完成。5.2 保存并分析重标注样本的分布调试HER时还有一个好习惯值得养成定期把经验池里重标注后的目标分布打印出来比如做个简单的直方图或者t-SNE可视化。刚开始训练的时候重标注目标会集中在初始状态附近随着探索范围扩大分布会逐渐铺开。如果你看到分布一直集中在一个很小的区域说明探索还是不够需要增大噪声或者调整采样策略。这个经验我当时是从一个老工程师那里学到的。他说了一句让我印象深刻的话“你不需要读算法的论文来猜问题你只需要看数据到底是怎么样分布的。”这确实比盯着loss曲线瞎猜高效多了。如果你也遇到HER训练后期提升缓慢不妨导出重标注后的目标分布看看是否已经覆盖了任务目标附近的区域。6. 写在最后的实战心得如果让我从这几个月的实操经历里提炼一个最有价值的个人体会那大概就是HER最打动我的地方不是它有多么精妙的数学推导而是它把人类面对失败时那种“换个角度看待经验”的能力第一次变成了一个可以写进代码里的通用技巧。过去我们训练强化学习智能体总是默认它应该只从成功中学习但现实中人类学习新技能的时候失败中的反馈信息量往往比成功更大。HER恰恰是把这部分被浪费掉的信息重新利用了起来。至于为什么这个算法到今天依然是很多机器人操作项目的标配我认为原因在于它解决的是强化学习里最根本的一类困境奖励信号太稀疏。这个问题不会随着网络结构的进步而自动消失反而在越复杂的任务中越发突出。即便你的环境不是那种标准的目标条件任务只要你愿意把任务重新表述成goal-conditioned的形式HER就能派上用场。最后再送大家一个小技巧在实际工程中把目标空间做一下归一化往往能显著提升稳定性。如果你直接用原始坐标作为目标不同维度的尺度差异会导致距离计算和奖励判定的结果偏斜。把目标向量减均值除以标准差之后再喂给网络和observation一起拼接是我试过最能稳定训练曲线的做法。至于后续的扩展方向把HER与自动课程学习或者Hindsight Goal Generation结合起来做理论上还能在现有基础上再进一步这也是我自己准备接下来继续尝试的方向。