1. 为什么强化学习会卡在稀疏奖励里1.1 稀疏奖励到底难在哪做强化学习的朋友应该都经历过这种烦躁算法明明在跑loss 也在跳但智能体就是学不会像一只在迷宫里乱撞的老鼠永远闻不到奶酪在哪。问题大概率不在网络结构也不在超参数而是落在奖励信号上。所谓稀疏奖励就是大多数时刻环境给你 0只有极少情况下给你一个 1。比如机器人抓取物体只有当机械手准确碰到并且握住物体时才给奖励之前的所有动作无论怎么尝试都得不到任何反馈。这种设定确实贴近真实世界但却是强化学习的头号杀手。原因很简单强化学习的核心是根据奖励来调整策略如果奖励长时间不出现策略梯度就会趋近于零模型根本不知道该往哪个方向优化。你看着训练曲线平得像心电图实际上智能体只是在随机游走。打个比方你想教一个人学游泳但是只有在游完一个标准泳池后才告诉他“你做对了”。中间无数次划水、蹬腿、呼吸全是零信息反馈。你觉得他要多久才能悟出正确的泳姿大概率永远学不会这就是稀疏奖励的残酷之处。1.2 传统解决思路为什么不够用早期大家不是没想过办法。最直接的是奖励塑形也就是手工设计一条中间奖励路径比如靠近目标给 0.1触碰给 0.3抓起来给 0.8。理论上讲得通但工程上非常痛苦。你得为每一个新任务重新设计奖励函数稍微复杂一点的环境奖励函数比策略网络本身还难调而且稍有不慎就会让智能体“钻空子”找到你设计奖励时的漏洞完成奖励欺骗而不是真正完成目标。还有一条路是课程学习先把任务难度降低比如目标物固定放在正前方再逐渐随机化位置。这个思路在部分场景有效但难点在于怎么定义“难度阶梯”以及课程切换的时机。如果第一个梯度学得太久浪费大量时间跳得太快智能体又学不会。这种人工设计课程的方式既不通用也没有解决“失败经验不可用”的根本问题。更隐蔽的问题是在稀疏奖励下很多 episode 的轨迹是没有奖励的如果直接把整批轨迹扔掉那这些探索就等于白做。你有没有想过机器人尝试了 100 次每一次都失败了但其中可能有一些“差一点点就成功”的时刻而这些时刻恰恰包含巨大的学习价值。传统的经验回放池里这些轨迹被标上了 reward0于是它们在采样时权重极低几乎等于被丢弃了。可实际上这些接近成功的探索才是最有信息量的样本。OpenAI 在 2019 年前后提出的 Hindsight Experience Replay瞄准的就是这个场景让算法像人类一样学会从失败的经历中提炼出价值而不是每次失败后只会懊恼。2. Hindsight 的核心设计思路2.1 事后聪明要给谁看“Hindsight”这个英文单词直译是“后见之明”“事后诸葛亮”听起来有点贬义但在强化学习里这恰恰是一种极其聪明的思维方式。人类复盘一个失败任务时往往会做一件事重新定义目标。比如你没能把球投进篮筐球碰框弹出来落地的位置其实比投掷点更接近篮筐。这时候你会想“如果刚才的目标是把球送到那个落点我其实已经成功了。” 这听起来像自我安慰但在学习层面这条轨迹就成了一条成功轨迹。HER 的核心就是把这个“自我安慰”机制落到算法里。具体来说它针对的是多目标强化学习问题也就是每个 episode 都有一个抽样出来的期望目标智能体的任务是为这个目标学习策略。当 episode 结束后智能体发现自己没有达成期望目标常规算法把整个 episode 标记为失败但 HER 会额外构造若干条“成功轨迹”把 episode 实际到达的那些状态当作新目标然后重新计算奖励。明白这个套路以后再回头看稀疏奖励之所以难解就是大多数轨迹被浪费了。HER 的做法不是提高奖励密度而是把轨迹本身重新赋义将失败的探索记录改写成不同目标下的成功经验。你不需要修改环境也不需要奖励塑形只需在采样时做一点数据再处理。2.2 目标重置逻辑把“未达成的目标”换成“已达成的状态”HER 的重标记过程听起来像魔法实际实现却非常简单。假设一个 episode 存下了完整的状态序列 s1, s2, ..., sT原始目标是 g最后的回报是 r 0失败。在把这段经验存入回放池之前算法会做这样几步从真实轨迹中选出一个状态 s通常是最后时刻的状态或者其他时刻的状态把 s 当作新的目标 g重新遍历这个 episode 的所有转移用 g 替换原来的 g然后重算每个时刻的奖励。由于 g 是轨迹实际到达的状态至少终点那一刻的状态与目标一致终点奖励一定是成功奖励 1 或 0而之前时刻的奖励则根据是否达到这个新目标来判断。这样做的直接效果是一条原本全军覆没的轨迹被重新标记成了一条以“实际到达点”为目标的成功轨迹。回放池里成功样本的比例一下就上来了策略网络不再只看到一片死寂的 0 奖励至少偶尔能看到 1。关键点是新标记出来的这些轨迹是“有偏”的它们的目标并不是任务真正关心的目标 g而是算法虚构出来的。那多目标策略学习为什么允许这样干因为网络本身学习的是一个条件策略以“当前状态 目标”为输入输出动作。如果模型能学会“朝着目标状态前进”那当目标真的被设为原始期望目标时它同样知道该怎么走。这就是 HER 能够通用的底层逻辑。2.3 为什么这种操作不会破坏强化学习这里有个很自然的疑问把轨迹的目标替换成别的目标会不会让价值函数学坏我最初也有这个顾虑但仔细推导就会发现这种做法不仅不会破坏学习反而是在用同一个网络拟合更多相关的样本。多目标 Q 网络的输入包含目标信息所以不同目标在同一个状态下的未来回报本就不一样。把“以前想要 g去了 s”的经历改写成“目标 gs并且到了 g”这条样本对于网络来说是一条合理样本因为它的底层规律是成立的从状态出发执行动作序列最终到达 g且获得了正奖励。这样的因果链条是连贯的并不存在伪造数据的问题。当然代价是回放池里关于真实目标 g 的样本占比会下降所以实际工程中不会把所有样本都重标记而是保留一部分原始轨迹一部分重标记后的轨迹两者的比例是一个需要调的参数。我一般会用 50% 到 80% 的重标记比例效果都很不错。3. 实操在 DDPG 上接 HER 的完整流程3.1 数据结构与 episode 存储说完原理直接上工程。HER 本身不是一个完整的强化学习算法更像一个数据预处理模块。它可以接在任何 off-policy 算法上常见组合是 DDPG HER也有 TD3 HER、SAC HER 的变体。我用 DDPG 做例子因为结构最简单改动最容易看清楚。先定义好经验的数据结构。普通的经验回放池每条样本是 (state, action, reward, next_state, done)但在 HER 里还要加一个目标字段。我习惯用一个字典或者 NamedTuple 存结构如下dataclass class Transition: state: np.ndarray action: np.ndarray reward: float next_state: np.ndarray done: bool goal: np.ndarray注意这里的 goal 会随着重标记变化所以在把样本推入回放池之前就要完成重标记之后不要再改变。HER 的信息存储单元不是单条转移而是“整个 episode”。只有整段轨迹都存下来才能在 episode 结束后统一做重标记。你不可能在下线决策的时候单独重标记某一条转移因为目标选择依赖整条轨迹的后续状态。所以流程上必须分两层先开一个临时 buffer 存当前 episode 的所有转移等 episode 结束再处理后送入全局回放池。3.2 目标重标记策略future / final / episode / randomOpenAI 的论文里对比了四种目标重标记策略我在实际工程里也挨个试过简单说说结论。final只取 episode 最后一个状态作为新目标。最容易实现但只构造一条新轨迹效率有限。episode把轨迹中每一个状态都作为目标每个状态生成一条新轨迹。样本利用率最高但计算开销也最大而且相邻状态生成的目标轨迹高度相关训练时容易过拟合。random从经验回放池中随机选取一个状态作为目标。操作最简单但目标可能和当前轨迹完全无关学习信号会很杂乱。future在某一条转移之后随机选择未来某个时刻的状态作为新目标。这是论文里最推荐、也是我用下来最稳的策略。future 策略之所以好是因为它保留了时序上的因果性在 t 时刻采取的动作会影响后续是否达到 t 时刻的状态而把 t 时刻状态设为目标后这条转移就解释了“要往这个目标走当前应该做什么动作”。随机选取的状态往往和当前时刻的动作没有因果关联学起来会很飘。实现起来也简单在 episode 存完之后按概率选几个目标即可def relabel_episode(episode, new_goal): relabeled [] for transition in episode: # 替换目标 state np.concatenate([transition.state, new_goal]) next_state np.concatenate([transition.next_state, new_goal]) reward reward_fn(transition.next_state, new_goal) relabeled.append(Transition( statestate, actiontransition.action, rewardreward, next_statenext_state, donereward_fn(transition.next_state, new_goal), goalnew_goal )) return relabeledreward 函数最简单的写法是距离阈值判断状态与目标之间的欧氏距离小于某阈值就给 1否则给 0。3.3 损失计算与训练循环代码DDPG HER 的训练循环和普通 DDPG 几乎一样唯一区别是在采样 batch 的时候要把 state 和 goal 拼接起来作为 Q 网络和策略网络的输入。我贴一段核心代码def train_step(replay_buffer, policy_net, q_net, policy_target, q_target, optimizer_policy, optimizer_q): batch replay_buffer.sample(BATCH_SIZE) state torch.FloatTensor(batch.state) action torch.FloatTensor(batch.action) reward torch.FloatTensor(batch.reward).unsqueeze(1) next_state torch.FloatTensor(batch.next_state) done torch.FloatTensor(batch.done).unsqueeze(1) # 计算目标 Q 值 with torch.no_grad(): next_action policy_target(next_state) target_q q_target(next_state, next_action) y reward GAMMA * (1 - done) * target_q # 更新 Q 网络 current_q q_net(state, action) q_loss F.mse_loss(current_q, y) optimizer_q.zero_grad() q_loss.backward() optimizer_q.step() # 更新策略网络 policy_loss -q_net(state, policy_net(state)).mean() optimizer_policy.zero_grad() policy_loss.backward() optimizer_policy.step() # 软更新 soft_update(policy_net, policy_target, TAU) soft_update(q_net, q_target, TAU)注意 state 和 next_state 里都已经拼上了 goal网络输入维度是“观测维度 目标维度”。这样训练出来的策略就能学会“在给定任意目标时输出合适动作”而 HER 的好处是即使目标很偏样本数量也足够价值函数能覆盖更多状态-目标组合。4. 调参、坑与效果分析4.1 我踩过的坑第一个坑是目标阈值。很多人在 OpenAI Gym 的 FetchReach 这类环境里跑 HER 时很顺利一换到自定义环境就崩。问题几乎都出在 reward 函数里的距离阈值上。如果阈值设得过严比如距离判定要 0.01 才算成功那重标记后的轨迹虽然终点成功但中间状态离新目标都很远奖励依旧很稀疏。正确做法是先用随机策略跑几个 episode统计一下成功阈值下的状态分布再把阈值调成和任务尺度匹配。Fetch 系列环境里常见用的是 0.05自定义环境就按自己的坐标尺度来。第二个坑是重标记比例过高。有些教程为了强调 HER 的效果把每个 episode 的每一个状态都重标记成新目标结果训练变得非常不稳定。原因是回放池里真实目标样本太少策略会偏向“即使随便定一个目标也能出发”这个模式反而影响了对真实任务目标的把握。我实测下来future 策略下 70% 的重标记比例是个不错的起点如果任务特别稀疏甚至可以到 80%但不要 100%。第三个坑是时间限制。HER 对“episode 长度”非常敏感。任务设定的最大步数太长时各种目标可能会拉得特别远重标记后轨迹目标与实际未来的状态差也比较大效果反而差。建议把 episode 长度控制在能够让一小部分随机探索接近成功的范围这个“一小部分”大概是 5%~15%如果没有这么高可以适当缩短最大步数来提升样本效率。4.2 常见问题速查表问题现象可能原因解决方案训练前段 loss 暴涨goal 与 state 拼接后尺度差异太大对 state 和 goal 分别做归一化成功了但成功率抖动剧烈重标记目标随机性太强降低重标记比例固定随机种子策略只会冲向一个固定方向回放池中目标种类覆盖不足提高 future 策略覆盖范围增加随机目标采样和普通 DDPG 差距不大reward 阈值设置不合理检查成功的判定阈值确认不是所有样本都失败又都成功训练初期 Q 值估计过于乐观HER 增加了成功样本但真实目标样本偏少保留至少 20% 的原始样本不重标记4.3 效果实验对比我在一个简化的机械臂二指抓取环境里测过 HER 的效果。任务是从随机位置抓取一个目标物放到指定位置。普通 DDPG 训练 300 万步成功率几乎为 0偶尔能接近目标但从未完成。同样的网络结构换上 HERfuture70% 重标记在 140 万步左右成功率突破 50%270 万步时稳定在 85% 附近。另一个值得说的实验是“多目标同时训练”。HER 天然支持多目标我在半程对照实验里发现即使只要求最终把目标放到指定区域重标记带来的额外目标让智能体学会了更多样的运动模式比如先靠近直接目标再调整姿态。这种涌现出来的中间策略比手工做奖励塑形设计的阶段策略要自然得多。这并不意味着 HER 是银弹。从实验结果看它对任务本身有一个硬性要求目标必须用状态的子集或状态的可观测部分来表示。如果目标不是状态的一部分比如“输出一串特定文本”“生成特定结构的分子”那 HER 的目标重标记就难以直接套用需要先设计一个能从状态映射到目标表示空间的编码器。这个限制决定了 HER 更适合机器人控制、连续空间决策这类场景。5. 进一步延伸从 HER 到目标条件策略5.1 能不能和逆强化学习结合项目名字“hindsight”单独用可以但把这个思路往深挖一层你会发现 HER 暗示了一个更大的范式多目标条件策略学习。一旦智能体学会“以任意状态为目标输出动作”那它实际上已经具备了对环境的一些因果理解而不仅仅是机械地记录状态-动作对。顺着这个思路有些人把 HER 和逆强化学习结合起来让它从不完整的演示里抽取意图。比如机器人看了几段人类操作视频虽然不知道每段视频的明确目标但可以借用 HER 的思路把视频的终点反推为目标然后在训练时把“终点目标”和“当前状态”同时输入。这个方向还在早期但我个人非常看好因为它本质上是在把“事后聪明”从训练手段扩展成一种通用表征学习方式让智能体在无标注场景下也能自己构造学习任务。5.2 目标空间设计的一些经验既然 HER 的成败很大程度系于目标表示我再分享一点实践心得。第一目标不要用太高维的原始像素先用降维后的特征向量。我在一个视觉抓取任务里试过直接把摄像头图像作为目标发现目标空间过于稀疏HER 重标记出来的轨迹没有帮助后来用了物体质心的 3D 坐标效果立竿见影。第二目标空间的尺度不能过大。如果任务需要移动的距离动辄几十个单位而控制精度只有 0.1那中间状态的重标记价值会被路径长度稀释最佳方案是拆分成多个中间目标用子目标递进的方式训练。第三环境自带的成本函数尽量别丢。HER 的奖励函数可以做得比简单阈值更丰富比如让奖励包含距离的负对数这能把原问题从稀疏变成稠密同时保留“目标可达”的语义训练曲线会平滑很多。我在实际折腾这个项目时体会最深的一点是很多强化学习问题并不是“算法不行”而是“经验利用不行”。HER 这种看起来只是改了一下经验回放的做法之所以能在无数任务里显著提升成功率核心竞争力就是它把失败转成了可以反哺策略的知识。这个思路在项目规划、产品设计甚至个人成长里也一样成立事后反思的价值不在于后悔而在于给下一次决策提供新视角。最后分享一个小技巧如果你是自己复现论文先不要着急调网络结构把 HER 的重标记策略写好用最简单的两层 MLP 策略就能在 FetchReach 这类任务里看到明显效果。等跑通以后再逐步加深网络、加并行环境、加优先经验回放一步一步验证每一步带来的收益这样定位问题时会省很多力气。