3、如何选择用于拟合的函数v^(s,w)\hat{v}(s,w)v^(s,w)如何选取函数v^(s,w)?\hat{v}(s,w)?v^(s,w)?第一种方法，也是之前被广泛使用的，就是linear function（线性函数：v^(s,w)\hat{v}(s,w)v^(s,w)相对于参数www是线性的）v^(s,w)=ϕT(s)w \hat{v}(s,w)=\phi^T(s)wv^(s,w)=ϕT(s)w这里的ϕ(s)\phi(s)ϕ(s)是一个feature vector, 可以是polynomial basis, Fourier basis,…。第二种方法是，现在广泛使用的，就是用一个神经网络作为一个非线性函数近似器。神经网络的输入是state，输出是v^(s,w)\hat{v}(s,w)v^(s,w),网络参数是www。3.1 线性函数逼近器（Linear function approximation）在线性的情况中v^(s,w)=ϕT(s)w\hat{v}(s,w)=\phi^T(s)wv^(s,w)=ϕT(s)w，我们有：∇wv^(st,wt)=ϕ(s) \nabla_w\hat{v}(s_t,w_t)=\phi(s)∇w​v^(st​,wt​)=ϕ(s)将这个带入到TD算法wt+1 = wt + αt [rt+1 + γv^(st+1,wt) − v^(st,wt)]∇wv^(st,wt) \begin{aligned}w_{t+1}\:=\:w_t\:+\:\alpha_t\:[r_{t+1}\:+\:\gamma\hat{v}(s_{t+1},w_t)\:-\:\hat{v}(s_t,w_t)]\nabla_w\hat{v}(s_t,w_t)\end{aligned}wt+1​=