到目前为止，我们仅仅是考虑 state value estimation的问题，也就是我们希望v ^ ≈ v π \hat{v}\approx v_{\pi}v^≈vπ​为了搜索最优策略，我们需要估计action values。我们知道：“TD learning”with“value function approximate”：w t + 1 = w t + α t [ r t + 1 + γ v ^ ( s t + 1 , w t ) − v ^ ( s t , w t ) ] ∇ w v ^ ( s t , w t ) \color{red}{w_{t+1}=w_t+\alpha_t\left[r_{t+1}+\gamma\hat{v}(s_{t+1},w_t)-\hat{v}(s_t,w_t)\right]\nabla_w\hat{v}(s_t,w_t)}wt+1​=wt​+αt​[rt+1​+γv^(st+1​,wt​)−v^(st​,wt​)]∇w​v^(s