时序差分这四个字第一次看到的时候我以为是某种信号处理的技巧直到把蒙特卡洛那一章写完才反应过来它其实是在回答一个非常朴素的问题如果我这一局还没走完能不能先估一下当前这个状态值多少钱这个问题的答案就是TD。它把动态规划那套必须有环境模型才能自举的限制撬开了一条缝又把蒙特卡洛必须等一整条轨迹跑完才能更新的等待成本压了下去。我做强化学习相关的项目差不多六年从最早期用表格法调迷宫到后来做机械臂的连续控制回头看TD是整条链路上最不能跳过的一环——Sarsa、Q-Learning、DQN、A2C、PPO往上再堆神经网络骨子里那条更新式没变过。这篇文章我打算把它写透一点从为什么需要TD到TD(0)更新式里每个符号具体在干什么再到我自己在Gridworld上跑过一遍的完整Python实现和踩过的坑最后把TD误差、n-step、TD(λ)这条线串起来。适合刚学完蒙特卡洛、卡在自举到底是什么意思的读者也适合已经能写DQN但对底层更新式一知半解的人回头补课。1. 从必须等一局结束说起TD到底解决的痛点在哪1.1 蒙特卡洛的等待成本与动态规划的模型依赖蒙特卡洛做价值估计的思路非常直白把一整局跑完拿到从状态 s 出发的真实回报 G_t然后朝这个回报去调整 V(s)。它的问题是结构性的不是调参能解决的。假设你训练一个走迷宫的智能体每局最长可能走五百步那么在第一局结束之前你对任何一个中间状态的估值都拿不到任何反馈。更麻烦的是如果环境本身不终止或者一局特别长MC几乎是不可用的。动态规划则站在另一个极端。它用贝尔曼方程的期望形式靠所有后继状态的加权平均来更新当前状态一次迭代就能把所有状态都刷一遍。代价是你得知道状态转移概率 P(s|s,a) 和奖励函数 R也就是所谓的环境模型。现实里这两样东西绝大多数时候拿不到机械臂的动力学参数、推荐系统的用户跳转概率都不是能直接读出来的。TD做的是一件很巧妙的事它把 DP 的自举bootstrap思路留下来把 MC 的从采样中学留下来把自己从模型里解放出来。你不用知道状态转移概率因为你直接采样走出了下一步你也不用等一局结束因为下一步的估值本身就可以拿来当半成品回报用。1.2 TD的一句话内核用当前的猜测去更新更早的猜测用一句话概括TD用一个状态的估算值去更新它前一个状态的估算值。这句话听起来像是在自欺欺人——拿错的答案去改另一个错的答案怎么就能收敛但它偏偏就能原因在于贝尔曼方程本身就是一个不动点方程。回到最基本的定义。状态价值函数满足V(s) E[R_{t1} γV(S_{t1}) | S_t s]右边的 V(S_{t1}) 就是后继状态的估值。既然真实值满足这个等式那么我们就可以在每次采样之后用 R_{t1} γV(S_{t1}) 作为对 V(S_t) 的一步估计目标让 V(S_t) 朝它挪一小步。挪的过程重复足够多次只要步长合适、采样足够广整个估计就会收敛到不动点上。这里有个容易被忽略的关键点TD不需要等整条轨迹也不需要环境模型但它是有偏的。因为它用的目标里混着当前还不准的 V(S_{t1})初期误差会一层层往前传。反过来MC是无偏的因为它用的是真实的完整回报。这就是后面要讲的偏差-方差权衡的源头也是n-step和TD(λ)存在的理由。我个人的经验是刚学的时候一定要把偏差从哪来这件事想清楚比背公式重要一百倍。不理解这一点后面调DQN的时候看到Q值系统性偏高会完全不知道往哪个方向查。2. TD(0)更新式的逐项拆解每个符号都在干什么2.1 回报、价值与自举的三角关系先把最核心的更新式摆上来TD(0)的一步更新写法是V(S_t) ← V(S_t) α [ R_{t1} γ V(S_{t1}) − V(S_t) ]方括号里的东西是TD误差记作 δ_tδ_t R_{t1} γ V(S_{t1}) − V(S_t)逐项拆开看。R_{t1} 是这一步真实拿到的即时奖励这是实打实采样出来的没有偏差。γ V(S_{t1}) 是从下一步开始往后所有奖励的折现和的估计注意这是估计不是真值。两者相加构成 TD目标也就是我这一步应该值多少的当前看法。被减掉的 V(S_t) 是旧的估值。TD误差衡量的是新看法和旧看法差多少。乘上学习率 α 之后这个差值就变成了本次更新的实际位移量。一个很形象的类比你出门前估摸着从家到公司要四十分钟走到第一个路口实际花了五分钟路口到公司你现在的估计是二十五分钟那么整段路的新估计就是三十分钟比原来的四十分钟少了十分钟。你不会等到了公司再回头修正第一个路口到底该估多少而是当场就改。那位问为什么不直接用 R_{t1} 更新的朋友答案就在这里只用一个即时奖励去估计状态价值忽略掉了后续信息收敛会慢非常多而且方差大。加上 γV(S_{t1}) 相当于把后续的估计借过来用这就是自举带来的效率。2.2 步长 α 到底在起什么作用α 在TD里叫学习率但它和深度学习里那个学习率的角色不完全一样。在表格法里α 直接决定了估计值朝TD目标移动的比例也决定了估计对单次采样噪声的敏感度。从理论上讲在满足标准随机逼近条件的情况下α 序列只要满足两项要求TD(0)就几乎必然收敛到最优价值函数对所有 tα_t ≥ 0Σ α_t ∞ 且 Σ α_t² ∞。典型的满足条件的取法是 α_t 1/t或者 α_t 100/(100t)。第一个条件保证步长总和足够大能走到任意远的点第二个条件保证步长衰减得足够快最终把噪声压下去。但这里有三个非常实际的问题。第一1/t 这种衰减在实际项目里几乎没人用。它衰减得太慢前几千轮还在显著改变估计训练曲线看着就是一直抖。工程里常见的做法是用常数学习率比如0.1、0.05接受收敛到一个邻域而不是精确收敛点。表格法小规模问题用常数 α 完全够用。第二α 太大时会出现震荡甚至发散。我在5x5网格上试过 α0.5前期几步更新就把某些状态的V值冲到很大的正数然后再被拉回来来回甩。原因是一次采样里的 R 和 V 的偏差被放大太多倍随机逼近的稳定性条件被破坏。第三α 太小收敛慢得让人怀疑代码写错了。α0.001 在我那个网格上跑了三万局还是差得很远。表格法的合理起点一般放在 0.05 到 0.2之间然后根据曲线形状微调。我个人习惯是先用 0.1 打一遍看收敛曲线的大致形状和最终是否接近理论值再决定要不要降。2.3 和蒙特卡洛更新式的逐行对照把两个更新式放一起差别一目了然。维度蒙特卡洛TD(0)更新目标G_t完整回报R_{t1} γV(S_{t1})采样需求必须等到回合结束走一步就能更新是否需要环境模型不需要不需要偏差无偏有偏自举引入方差高累积整局随机性低只用一步随机性适用场景回合制、回合长度可控连续任务、长回合、在线训练蒙特卡洛的更新式是 V(S_t) ← V(S_t) α[G_t − V(S_t)]只有目标那一项不同。理解了这一点就等于理解了TD和MC的全部差异——差异全在目标的构造方式上。方差那一条值得多说一句。G_t 包含了从 t 时刻到回合结束的所有随机性中间任何一步的环境随机或策略随机都会累积进来。而 TD目标只包含 R_{t1} 这一项的随机性剩下的 γV(S_{t1}) 虽然有偏但它是确定的函数值不带采样噪声。所以TD的更新方差小得多学习曲线通常更平滑这也是它能和神经网络结合得很好的重要原因——方差小了梯度估计的噪声也就小了。3. 在Gridworld上手撕TD(0)一份能跑的Python实现3.1 环境设计为什么选随机策略下的5x5网格我选的是一个最朴素的5x5网格起点固定在左上角终点在右下角每走一步奖励 −1动作是上下左右四个方向撞墙就留在原地。策略用固定的均匀随机策略也就是说智能体不走最优路径四个方向各 25% 概率。为什么用随机策略而不是学一个策略因为这一节的目的只有一件事验证TD(0)在给定策略下的策略评估能不能收敛到正确的V值。策略固定之后V值是唯一的、可以解析验证的这样代码对不对一眼就能看出来。如果这一节就把策略改进加进来一旦结果不对你分不清是评估写错了还是改进逻辑写错了。还有一点随机策略下不同状态的访问频率差异比较大正好能暴露α取值和采样覆盖的问题。用确定性策略反而太顺看不出毛病。3.2 训练循环的代码骨架与逐行注释环境部分先写好。import numpy as np class GridWorld: def __init__(self, size5, goal(4, 4), step_reward-1.0, gamma0.99): self.size size self.goal goal self.step_reward step_reward self.gamma gamma # 上 右 下 左 self.action_delta [(-1, 0), (0, 1), (1, 0), (0, -1)] def reset(self): # 固定从左上角出发 return (0, 0) def step(self, state, action): dr, dc self.action_delta[action] r, c state nr, nc r dr, c dc # 撞墙处理留在原地 if not (0 nr self.size and 0 nc self.size): nr, nc r, c next_state (nr, nc) if next_state self.goal: return next_state, self.step_reward, True return next_state, self.step_reward, False有个细节要专门说终止状态的V值必须始终锁为0。代码里我用了value[goal] 0.0这一句在每次更新后强制归零。原因是在Bellman方程里终止状态之后没有任何奖励其价值定义为0。如果不强制它会被不断加上负数奖励最后收敛到某个负值上进而污染所有通往终点的状态估计。def td0_evaluate(env, episodes5000, alpha0.1, seed0): np.random.seed(seed) size env.size # 用一维索引存V值方便 V np.zeros(size * size) def idx(s): return s[0] * size s[1] for ep in range(episodes): state env.reset() done False while not done: action np.random.randint(4) # 固定随机策略 next_state, reward, done env.step(state, action) s, ns idx(state), idx(next_state) # 终止状态的V值固定为0不参与自举 v_next 0.0 if done else V[ns] td_target reward env.gamma * v_next td_error td_target - V[s] V[s] alpha * td_error state next_state V[idx(env.goal)] 0.0 # 强制锁零防止累积污染 return V跑完之后把V值画成热力图或者直接打印成5x5矩阵。合理的状态值应该满足越靠近右下角的值越大因为离目标越近负奖励累积得越少也就是值从左上到右下单调递增。3.3 实测里几个反直觉的现象第一个现象起点附近的V值收敛比终点附近慢很多。刚开始几千局靠近终点的格子已经很准了起点那一带还在乱跳。原因是从起点出发、并往上传播的天数太多了。信息是从终点一步步往回传的每传一格需要依赖前一格的准确估计这个往回传播的过程天然有延迟。这也是TD的一个有趣特性它的信息传播速度和策略、γ 有关。γ 越接近1远处状态的影响越容易传回来但收敛也越慢。第二个现象α 取0.2的时候曲线前几百局看着比 α0.1 快但最终稳定值离理论值更远。这不是bug是常数学习率下收敛邻域的宽度不同。α 越大稳态时的估计波动范围越大。如果你的目标只是要一个能用的近似值大 α 没问题如果要做策略评估的精确对照就必须降 α 或者加衰减。第三个现象比较隐蔽同样的 α 下换个随机种子最终V值的差异在小状态空间里也挺明显。5x5只有25个状态5000局就是约12.5万次状态访问平均每个状态5000次理论上够了但访问分布是严重不均匀的。拐角的状态被访问次数远少于中央区域。这提醒我一件事表格法的收敛保证都是在无限次访问每个状态动作对的前提下成立的有限步数下覆盖不均匀是常态评估结论要留余量。提示跑这类验证实验的时候一定要写一个已知答案的对照。比如用值迭代在同一个环境上算出精确的V值把TD的结果和它相减看最大误差。只用眼睛看热力图容易骗自己。4. TD误差不只是一个更新量更是整条链路的技术枢纽4.1 TD误差和损失函数的血缘关系很多同学学到DQN的时候会疑惑为什么DQN的损失是 (r γ·max Q(s,a) − Q(s,a))²而表格TD的更新是 α 倍的线性差值这两个东西看着像但不是一回事。表格TD里δ_t 是一个标量乘上 α 直接加到估计上这是随机逼近的写法。到了函数逼近比如神经网络的场景Q 不再是一个可以直接改的表格项参数改一个会牵动所有状态所以不能就地更新。这时候的做法是把 δ_t 当作误差信号构造 δ_t² 作为损失再让参数沿负梯度方向走∇_θ L(θ) −δ_t ∇_θ Q_θ(s, a)对小批量做平均就是标准的均方TD损失。所以DQN的损失函数不是凭空来的它就是TD误差在函数逼近下的自然产物。理解这条线索之后DQN里那些看起来奇怪的实现细节比如目标网络、比如为什么要把目标 detach就有了根。4.2 从TD误差到资格迹反应性和稳定性怎么平衡δ_t 还有一个身份它是新信息的度量也就是所谓的惊喜度。当某一时刻实际发生的事和预期差得越多δ_t 的绝对值就越大。证书迹eligibility trace就是围绕这个思路设计的。TD(0)每次只更新当前这一个状态其他状态一动不动。但实际上如果某一步出现了很大的TD误差那么之前走过的那些状态可能才是造成这个误差的原因。资格迹的作用就是给每个状态记一个最近被访问的强度让TD误差不只作用于当前状态还按强度按比例分配给之前走过的状态E_t(s) γλ E_{t-1}(s) 1(S_t s)然后更新变成 V(s) ← V(s) α δ_t E_t(s)。这解决了一个很实际的问题TD(0)的反应太慢因为信息只能一格一格往回传全额回报的MC反应快但方差大。资格迹是一个折中λ 越接近1越像MCλ 越接近0越像TD(0)。4.3 关于TD误差为零就意味着最优的常见误读我听过一种说法训练到最后TD误差都趋近于零了说明策略已经最优。这个说法对了一半错了一半需要拆开说。对的那一半在策略评估的意义上如果对某个固定策略的所有状态都有 E[δ_t | S_t s] 0那就说明 V 满足该策略的贝尔曼方程也就是该策略的真实价值函数。这一点在表格法里是成立的是收敛的直接推论。错的那一半有两层。第一层单次采样的 δ_t 为零完全没有意义它只是恰好这一次的随机结果对上了随机策略下一次采样δ_t立刻就不是零了。要看的是期望工程里通常看的是一个滑动平均的绝对误差而不是瞬时值。第二层也是更重要的TD误差为零只说明你评估的当前策略是对的不说明这个策略是最优策略。策略评估和策略改进是两件事。一个把所有动作都走得很均匀的随机策略它的价值函数也能被TD精确地评估出来但你显然不会把它部署到线上。我在项目里见过有人盯着评估误差下降就以为训练完成了结果策略效果一塌糊涂——这是把评估收敛当成了控制收敛。5. DP、MC、TD三方对照一张表说清怎么选5.1 三者各自的信息依赖清单真正决定选哪种方法的不是数学公式好不好看而是你手里有什么信息、环境允许你做什么。我把三类方法的依赖关系整理成下面这张表选型的时候先在表里对一遍能省掉很多试错。方法是否需要环境模型是否必须回合终止能否在线更新偏差方差动态规划需要不需要不需要全量扫描无模型精确时无确定性计算蒙特卡洛不需要必须否等回合结束无偏高时序差分不需要不需要是每步都能更新有偏低这张表最有信息量的一列是能否在线更新。它决定了方法能不能用在真实系统上。比如一个真实机械臂在物理世界里跑你不希望为了拿到一条完整轨迹就得反复撞坏东西一个推荐系统在线运行你不可能等用户走完整个生命周期再更新模型。TD是这三者里唯一能做到走一步、学一步的这一条几乎直接决定了它在工程里的地位。5.2 偏差-方差视角下的取舍逻辑为什么TD有偏但方差低这件事值得从直觉上讲透因为它决定了你调参的方向。想象你在估一个状态的价值。MC给出的目标是这一整局的实际总回报它是无偏的因为它就是真值的一个采样。但这一整局里有五十个随机决策、二十次环境随机跳转所有这些不确定性都叠加在那个数字上所以它抖动得厉害。TD给出的目标是这一步的实际奖励 下一步的当前估计。真实奖励没有偏差下一步的估计在训练早期是错的这就是偏差来源。但它的抖动只来自这一步奖励一个随机源后面的 γV 是一个确定的数值查表结果不抖。所以两者的取舍可以概括成你愿意接受一些系统性误差换来更平稳的训练还是愿意忍受剧烈抖动去追求无偏大多数工程场景选前者因为方差大的时候学习率必须压得很低训练时间长得不可接受而有偏的估计在足够多次迭代后偏差会被不断修正只要采样充分、α 合适。5.3 什么时候该选谁我的几条实操经验结合我做过的项目给出几条比较具体的判断标准。第一看回合长度和环境是否终止。回合短几十步以内且必须终止的任务MC是可以用的而且实现最简单。回合长或者不终止的任务直接上TD别犹豫。第二看状态空间大小。表格法能撑住的状态数量级大概在几千到几万再往上必须考虑函数逼近。这一步不是选择题是硬约束。第三看对样本效率的要求。样本非常珍贵比如真实硬件上跑的时候优先考虑TD类方法因为它每步都能更新样本利用率远高于MC。第四看对训练稳定性的容忍度。如果要求曲线平滑、方便做A/B对照TD的方差优势很实在。第五如果手上真的有精确模型比如仿真器里你完全知道物理参数那DP类方法值迭代、策略迭代是最快的没有必要绕道去采样。6. n-step TD和TD(λ)把一步推广成一条连续谱6.1 n-step回报的形式与那个中间地带TD(0)只看一步MC看到回合结束。中间显然有一大片空间n-step TD就是把它显式地表达出来。n步回报的定义是G_t^(n) R_{t1} γR_{t2} ... γ^(n−1)R_{tn} γ^n V(S_{tn})注意最后一项累计了 n 个真实奖励之后剩下的用 V 来兜底。n1 时退化成TD(0)n 等于回合剩余长度时退化成MC。这两个极端之间随着 n 增大偏差减小、方差增大是一条平滑的曲线。n-step在实际代码里有个容易踩的坑回合快结束的时候n步可能凑不满。比如还剩3步就到终点了但你想做5步的更新。这时候的处理方式是把不足的部分用真实奖励补完不再加V项因为已经到终止状态V0。这里很容易写错导致末尾几步的估计被污染表现出来就是靠近终点的状态值总是不太对。我在做机械臂抓取的一个任务里把 n 从1调到8再调到16观察样本效率和稳定性。结论是在奖励信号比较稀疏只有抓成功才给奖的时候n大一点确实收敛快因为稀疏奖励下TD(0)的传播太慢但 n 超过一定值之后曲线开始明显变抖最后折中取在6。这个数字是任务相关的我一般建议是先用 n1 打基线再按 2 的幂次往上试。6.2 前向视图和后向视图TD(λ)的两种等价写法TD(λ)有两种看起来完全不同但被证明等价的写法这一点初学者很容易绕晕我把它讲清楚。前向视图定义 λ-回报为所有 n-step 回报的几何加权平均G_t^λ (1−λ) Σ_{n1}^{∞} λ^(n−1) G_t^(n)然后用它替换TD(0)里的目标做和MC类似的全量更新。这个形式很直观——就是不同步数的混合λ 控制权重往前延伸多远。但它的致命缺陷是要算到回合结束才知道 G_t^λ等于把MC的缺点又请回来了没法在线用。后向视图用资格迹每一步更新时把当前的TD误差分配给所有最近访问过的状态。更新式是 V(s) ← V(s) α δ_t E_t(s)其中资格迹按 E_t(s) γλE_{t-1}(s) 1(S_ts) 递推。这个形式每一步都能更新是在线可行的。两者在批量更新的意义下是等价的这个等价性有严格证明。工程实现里用的是后向视图因为它在线的特性才是有价值的。6.3 λ取值和工程上的取舍λ 的取值直接影响反应速度和稳定性。λ0 就是TD(0)λ1 接近MC。实际操作里λ 我一般从0.7到0.9之间起这个区间既保留了一定的远期传播能力又不会把长程随机性全引进来。需要注意的是λ 和 α 会互相影响。λ 调大之后等效的更新幅度也变大了因为同一个TD误差被分配给了多个状态所以如果发现曲线开始发散先把 α 降下来再考虑调 λ不要两个一起动否则你分不清是哪个参数带来的变化。另外资格迹的实现有个细节每次更新完再用traces * gamma * lam衰减。如果是在每个回合结束重置资格迹记得在回合结束时把迹清零否则上一回合的痕迹会跨回合泄漏。这个bug很隐蔽表现出来是训练前期看起来完全正常后期慢慢变得不稳定。7. 真正落到代码里的坑终止状态、学习率和探索7.1 终止状态的V值为什么必须锁死前面提过一次这里再单独讲因为它是我在实际代码里见过频率最高的TD实现错误。把终止状态当成一个普通状态来更新是直觉上最自然的写法——反正到达终止状态的时候 doneTrue奖励也拿到了那就正常更新呗。但这样做会破坏掉整个估计的基准。道理很简单终止状态之后没有任何后续奖励所以它的价值定义上就是0。它是一个锚点是信息往回传播的源头。如果这个锚点自己会漂那么所有指向它的状态估计都会跟着漂而且漂的方向取决于是不是每局都会经过它、会经过几次。表现出来就是越靠近终点的状态值越不稳。正确的写法有两种选一种就行在更新时判断done如果done为真TD目标只用奖励项不加 γV同时保证终止状态本身不被写入非零值或者在每次更新之后强制V[goal] 0把锚点按住。第二种写法更省心因为它对所有可能的路径都兜底。缺点是多了一步写操作状态空间大的时候有一点点开销但可以忽略。7.2 学习率衰减线性还是阶梯如果一定要用衰减比如做精确的策略评估对照我偏向线性或者分段阶梯而不是 1/t 那种双曲衰减。理由还是前面说的速度问题1/t 在前几百步变化太剧烈之后又太迟缓不容易看出训练阶段。我常用的一种简单做法是前20%的轮次用 α0.1之后降到0.05最后20%降到0.01。分段的好处是可以明确观察到降 α 之后曲线抖动明显收窄这个现象对理解 α 的作用很直观。表格法里还有一种每访问一次就把该状态的学习率按 1/N(s) 更新的做法理论上收敛保证更漂亮但工程上不常用因为它让不同状态的收敛速度差异巨大做实验对照的时候很难比较。7.3 从TD(0)到Sarsa和Q-Learning的接口在哪最后说说这条线怎么接下去因为它决定了你学完TD之后能不能顺下去。TD(0)做的是策略评估给一个固定策略估它的 V 函数。到了控制问题方向就分岔了。Sarsa 和 Q-Learning 都是把TD更新搬到动作价值函数 Q(s,a) 上用几乎一模一样的TD误差形式SarsaQ(s,a) ← Q(s,a) α[r γQ(s,a) − Q(s,a)]其中 a 是用当前策略实际选出来的下一个动作。Q-LearningQ(s,a) ← Q(s,a) α[r γ max_a Q(s,a) − Q(s,a)]用的是下一个状态的最优动作价值。两者唯一的差别就在目标里那一下Sarsa用的是实际会走的那个动作Q-Learning用的是最好的那个动作。这个差别带来的是行为上的不同——Sarsa是on-policy的会考虑探索动作带来的风险在悬崖边走的时候更保守Q-Learning是off-policy的理论上学的是最优策略但在探索充分之前容易高估。把TD(0)的策略评估写通之后把状态价值换成动作价值把 γV(S_{t1}) 换成 γ 乘下一个动作价值基本就上来了。真的就是从这一节的代码往前迈一小步的距离。我在实际用的时候有个习惯任何新的强化学习算法我都会先用一个5x5或者10x10的小网格把它跑通和值迭代的精确解对比。网格问题不大但它能迅速区分算法理解错了和实现细节错了这两类问题。TD这条线上我认为最难解释给别人的概念是自举因为它违反了很多人脑子里必须先用真值再更新估计的直觉但只要你接受贝尔曼方程是不动点方程可以从任意初始估计出发不断逼近这个前提后面的一切都是顺理成章的。再补一个我踩过的具体坑早期写TD代码的时候我把状态用元组 (r, c) 当字典键跑起来很慢。换成整数索引之后速度提升了一个数量级因为字典键是元组时哈希开销明显更大而这种内层循环一局要跑几十万次。这类和算法无关但直接影响能不能跑完实验的细节实际项目里遇到的频率远比想象中高。