如果你训练过一个机械臂抓取任务大概率经历过这种绝望智能体在环境里乱动了几万个stepreward始终是-1没有任何一个动作能碰到目标物体。不是网络容量不够也不是学习率调错而是奖励函数给的有效信号太少——这就是强化学习里最让人头疼的稀疏奖励问题。Hindsight Experience ReplayHER事后经验回放是OpenAI提出的解决思路核心思想就一句话既然这次没抓到目标那不妨把实际到达的状态当作目标让智能体学到如何到达那里下一次才有希望真正抓到目标。这篇文章我会从原理到代码把HER讲透并分享我在复现过程中的完整踩坑记录。适合正在啃稀疏奖励问题、或者已经在跑DDPG/TD3但卡在收敛上的同学参考。1. 稀疏奖励面前普通的经验回放为什么不够用1.1 一个让人崩溃的训练场景机械臂抓取先还原一个典型场景。你用的是OpenAI Gym里的FetchReach环境任务是一台七自由度机械臂需要把末端执行器移动到某个随机目标位置。环境给了一个稀疏奖励如果末端到目标的距离小于阈值reward0否则reward-1。你觉得自己配置得很合理网络是三层MLP优化器是Adam探索噪声是高斯噪声replay buffer能存一百万条transition。结果呢训练跑了几万个episodesuccess rate依然是0。很多新手这时候会怀疑是不是网络写错了或者是reward计算有bug。我最初也这么想把环境里的reward打出来看了半天发现确实是-1——但问题恰恰就出在确实是-1上。智能体在没有任何中间奖励引导的情况下纯靠随机探索去逼近一个三维空间里的随机点概率低得可以忽略。你换个思路想想一个盲人在一个巨大的体育馆里要找一颗特定位置的乒乓球没有任何声音和触觉提示他凭什么能找得到随机探索在连续高维动作空间面前就是这么无能为力。1.2 奖励稀疏到底稀疏在哪稀疏奖励的本质是在你完成任务之前所有transition给出的reward都完全相同。这意味着replay buffer里存了海量的状态动作-1下一状态这些样本对价值函数的梯度几乎不提供任何有效指引。Q-learning收到负奖励后只会把这条轨迹的Q值压低但压低之后呢它不知道往哪个方向才是对的因为所有的采样方向都同样不坏也不对。更麻烦的是如果你尝试用reward shaping来解决比如把奖励改成末端位置和目标之间的负距离马上会遇到新的问题怎么设计这个距离函数才算合理用欧氏距离还是每个关节的加权距离要不要对接近目标的行为单独加分这些人工设计在仿真环境里还能凑合一旦换到真实机器人或者更复杂的操作任务你根本没法写出一个既能引导探索、又不至于让智能体钻漏洞的奖励函数。HER的思路就是绕开这个设计难题不去改奖励而是改训练样本本身。1.3 随机探索的低效光靠加大探索噪声也救不回来也有人说那我加大探索噪声σ让智能体多乱跑一跑总有一半概率能碰上目标吧实测并没有用。原因有两个第一动作空间的维度和状态空间的维度往往不一样噪声在高维动作空间里叠加之后终端状态在目标空间里的分布依然是弥散的第二你加大噪声的同时也会破坏已经学到的策略success rate即使偶尔上升一点很快又会掉回来。我试过把σ从0.1调到0.5FetchReach的success rate从0变成了偶尔冒一次0.1但训练曲线震荡得像心电图最后也没突破0.3。这其实暴露了一个深层问题在稀疏奖励下你需要的是如何从失败中学到东西而不是如何把失败变成成功。从失败中学习这件事人类天生就会——我们打篮球没投进至少知道了这个力度偏大还是偏小但强化学习智能体拿到失败样本后只会把它当作一次纯粹的负样本丢掉。HER做的正是把失败的样本改造成有用的正样本。2. HER的核心思想把没做到的目标当作做到了的目标来学2.1 事后重新标注目标HER的全名已经说得很直白Hindsight Experience Replay经验回放时带着事后眼光去看。具体做法并不复杂。在goal-based RL框架里一条transition长这样状态s_t、动作a_t、奖励r_t、下一状态s_{t1}、目标g按照常规做法这条样本会被存进buffer然后被用来更新Q函数。HER在存样本时额外做了一步操作以一定概率把这条transition里的目标g换成另一个目标g并且g取自这条轨迹未来某个时刻真实到达的状态对应的目标分量。因为新的目标已经达成了r_t就不再是-1而是0。于是你得到了一条新样本状态s_t、动作a_t、奖励0、下一状态s_{t1}、新目标g这条经过篡改的样本本质上在告诉智能体你现在这个动作在达成另一个目标时是有用的。虽然它没帮助你达成原来的目标但它帮助理解什么样的状态转移能够产生回报。日积月累buffer里就会充满大量奖励为0的有效样本价值函数的梯度终于有了前进方向。2.2 为什么事后诸葛亮反而能提升数据效率这里最容易让人绕不过弯的是你改出来的新目标并不是智能体最初真正要完成的目标这算什么学习拿推箱子举例就更清楚了。一开始你想把箱子推到位置A结果箱子被推到了位置B任务失败reward -1。如果没有HER这条轨迹直接扔掉智能体只得到一个没推到位的模糊反馈。有了HER你把推到位置A这个目标改成推到位置B把这条轨迹变成一条成功轨迹reward 0存储下来。下次让智能体推箱子到B位置的时候它发现之前有一条经验恰好成功过这条经验就能用来更新策略。所以HER做的事情不是让智能体忘记原目标而是让智能体理解状态空间里有很多目标某些我已经接近过、达成过。一个能够把箱子推到B的智能体至少知道如何操作机械臂、如何施加力、如何调整抓取姿态——这些都和推到A共享大部分底层技能。用课程学习的视角理解HER相当于在每个episode都创造了一门降低难度的课程你永远在学一个已经不小心完成的任务再逐步逼近真正的目标。2.3 一个在论文里容易被忽略的关键状态和目标的分量映射HER能成立有一个前提目标g必须可以从状态s_t里提取出来而且大多数情况下目标的维度只占状态的一部分。比如FetchReach环境里状态是一个25维向量包含机械臂各关节角度、末端位置、物体位置等而目标g只是一个3维向量对应期望的末端位置。重标记目标时你从s_{t1}的对应分量里取3个数字出来当作新的g这没问题。但如果你手里的环境状态和目标是割裂的比如目标是红色物体的位置而状态向量里根本没有红色物体的坐标那HER就没法直接使用。我见过有人拿到自定义环境后直接把整个状态s_{t1}当新目标存进去结果训练爆炸因为目标维度和状态结构根本不匹配。正确的做法是建立一份状态分量索引表明确每一块维度对应的物理含义然后只替换目标相关的分量。3. 用OpenAI Baselines把HER跑起来的完整实操3.1 环境准备与依赖安装虽然OpenAI后来维护了很多新工具但baselines仓库里的her实验依然是最容易跑通的参考实现。老仓库是用TensorFlow 1.x写的安装的时候有几个坑需要注意。我建议用conda单独建环境不要直接往你的主力环境里装因为tensorflow1和现在的很多包会冲突。conda create -n her_env python3.6 conda activate her_env pip install tensorflow-gpu1.14.0 pip install gym0.15.4 matplotlib git clone https://github.com/openai/baselines.git cd baselines pip install -e .baselines依赖包版本锁定做得一般装上mujoco会比较麻烦。如果你没有MuJoCo授权可以先跑FetchReach这类需要mujoco_py的环境之外的任务做测试如果你有gym的robosuite或者其他自定义gym环境其实也可以直接把HER的算法类单独拖出来不一定非要完整编译baselines。3.2 一份能复现结果的超参数配置baselines的her默认入口是run.py但直接跑会使用默认参数。HER论文里对FetchReach给了一组可以复现的配置我把它整理在下面同时标注了每个参数的作用。参数数值作用与我的理解n_epochs50训练轮数每轮包含BC个episodenum_cpu19并行环境数和num_envs配合使用n_envs19同时采样环境的数量采样量不够时success率会很飘buffer_size1000000replay buffer大小太大影响采样速度太小存不下充分样本batch_size256每次梯度更新的样本量gamma0.95折扣因子HER论文里用的是0.95而不是0.99reward_typesparse这一项对应环境内部的稀疏奖励开关n_cycles50每个epoch内的cycle数rollout_batch_size2每个cycle采样几个transition跑的时候命令大概是python -m baselines.her.experiment.train --env FetchReach-v1 \ --num_cpu 19 \ --num_envs 19 \ --n_epochs 50 \ --reward_type sparse如果机器核心数没这么多可以把num_cpu降下来但一定要保证num_envs num_cpu并开启多个并行worker否则采样速度会拖垮整个训练流程。baselines在启动时会给每个worker分配独立的随机种子这也是我后来才发现的一个细节如果不设置seed多次跑的success率曲线差异可能很大。3.3 训练过程中的关键观察指标HER训练过程中最重要的指标不是loss净值而是success rate和平均回报。baselines会周期性evaluate当前策略并打印出来你需要关注的是这两行Epoch: 20, success_rate: 0.43, mean_episode_reward: -0.12 Epoch: 35, success_rate: 0.71, mean_episode_reward: -0.05我的经验是FetchReach这种单目标点任务在20个epoch以内应该能冲到0.4以上50个epoch左右稳定在0.8-0.9是正常的。如果你的success rate在20个epoch后仍然为0参考下一节的排查思路。critic loss本身也会下降但下降不能代表策略好很多时候critic都学会了预测奖励而actor还是乱的所以别盯着loss看。4. 我在复现HER实验时踩过的坑4.1 稀疏奖励下网络不收敛从loss到数据的完整排查链路有一段时间我换到自己的自定义环境success rate持续为零。当时第一反应是算法实现有问题于是去翻baselines源码几乎把整个her策略类读了一遍也没找到问题。后来我改成逐步排查这条链路对我后来的排错特别有用。第一步先看replay buffer里的数据。HER不过是一个数据改造方法如果存进去的样本本身不合理后面全都白搭。我把每条transition打出来后发现一个问题我定义的目标是一整块目标物体最终位置但我的state分量里同时包含物体当前位置和物体速度。重标记时我直接把s_{t1}里物体当前位置做成新目标这没问题但奖励函数仍然在判断当前物体位置是否等于原目标互相错位了。也就是说新目标g的设计要考虑奖励的判定口径。第二步看actor和critic的loss比例。如果critic的loss下降很快但actor的loss没有变化往往说明actor的梯度被目标状态和值函数之间的梯度断层挡住了。这时候优先检查输入归一化。HER的DDPG实现里状态和目标都经历了归一化但如果你自己加了一个额外输入忘做归一化训练就会不稳。第三步看探索噪声的尺度。DDPG在稀疏奖励下对噪声方差极其敏感。噪声太小几乎不探索噪声太大策略震荡success rate上来又掉下去。FetchReach里默认的噪声方差表可以参考baselines但换环境时必须重新标定不是拿来就能用。4.2 目标重标记的策略选择future比final强在哪HER论文里对比了四种目标重标记方式final、episode、random、future。我一开始用的是final只把每条episode最后到达的状态当新目标结果success率比future低了将近一半。future的策略是在这条轨迹当前时刻往后的状态中随机挑一个作为新目标。为什么future更好因为final只提供最终状态的信息而future提供沿途状态的信息对学习中间阶段的技能更有帮助。具体到实现里baselines的her有专门的sample_goals函数你需要关注两个参数future_k和概率p。默认配置里future_k4表示在未来4个step中随机挑一个作为目标。我在实际测试中发现future_k4对这个任务比较合适如果设得太大会造成新目标严重偏离当前状态反而变成一种伪成功不利于学习。4.3 on-policy算法和off-policy算法的选择误区网上有不少人说HER可以配合PPO一起用理论上没有错但实操中是自找麻烦。HER的核心价值在于可以反复使用旧的失败经验这需要一个大容量的replay buffer去存储这些历史样本而PPO这类on-policy算法每一轮更新后都会把旧数据丢掉学到的失败经验根本没有累积的机会。你硬把它接上去等于一边往桶里倒水一边把桶漏水最终数据效率还不如原版PPO。我明确推荐你把HER和off-policy算法一起用DDPG是baselines里默认的TD3和SAC也可以。TD3对超参数更鲁棒适合你不想反复调参的时候SAC本身对探索有额外机制配合HER在部分环境里效果也不错。但如果只是为了复现论文和做对比实验先用DDPG跑通再说不要一上来就上更复杂的算法。5. HER之外这项思想还能往哪里延伸5.1 从机械臂到更多任务HER虽然是在机器人操作任务上提出的但重新标注目标的思想完全可以迁移。只要任务能写成状态-目标对的形式HER就有一席之地。比如自动驾驶中的到达某个位姿、游戏里的走到某个房间、推荐系统里的命中某个候选集本质上都是goal-based回合任务。我后来在一个物流分拣模拟任务里也用过类似思路把没分拣到目标组的样本改成分拣到实际组的奖励为0的样本训练效率提升非常明显。不过要提醒一句HER适合那些目标可达性较强的任务。如果目标空间里存在大量不可达区域重标记出来的新目标往往也是不可达的这种假成功样本反而会误导策略。我遇到过一个任务是让智能体推动一个铰链结构到特定角度有些目标角度在物理上根本不可能实现HER在这种环境里几乎没有增益。5.2 从算法层面看HER的实际工程取舍回到工程视角HER不是一个需要巨大算力才能跑的算法。它最大的成本在存储和采样如果你用一个58维状态的目标空间重标记后的样本数量会翻倍buffer读取和采样压力随之上升。但相比reward shaping的人工调参成本这点算力开销非常划算。另外一个容易被忽视的点是HER并不会自动解决所有样本效率问题它解决的是目标设定困难这个环节。如果你的任务连目标都定义不清楚或者动作空间本身探索难度极高HER的效果依然有限。我在实际操作中更愿意把HER当作一个训练加速器而不是银弹先用HER把整个训练流程跑顺再逐步引入更细致的奖励设计。5.3 一个小技巧用自定义环境快速验证HER是否适合你的任务如果你有一个新的goal-based任务不确定HER能不能帮上忙我建议你先做一个快速验证把环境的初始状态随机化让目标也随机化然后用baselines的默认DDPGHER跑10个epoch。如果这10个epoch里success rate从0开始出现明显上涨说明任务本身是HER友好的如果纹丝不动再去找任务定义里的问题。跑一次只需要两三个小时远比你去猜到底哪里不收敛高效得多。我在几个任务里反复验证下来HER在机械臂类、导航类任务上几乎是最省心的基线方案。至少在未来的很长一段时间里我个人的项目默认配置都会带上HER只有当实验明确要求on-policy对比时才会把它关掉。