2.8 从状态价值（State Value）到动作价值（Action Value）到目前为止，本章一直讨论状态价值。现在转向动作价值（Action Value），它表示在某个状态下采取某个动作的“价值”。动作价值本身非常重要，但之所以在本章最后一部分才引入，是因为它在很大程度上依赖状态价值的概念。因此，在学习动作价值之前，先充分理解状态价值非常重要。状态价值（State Value）：v π ( s ) ≐ E [ G t ∣ S t = s ] \begin{aligned}v_\pi(s)\doteq\mathbb{E}[G_t\mid S_t=s]\end{aligned}