152、DQN与价值函数：Q-Learning到深度Q网络在机械臂控制深夜的实验室，机械臂又卡在同一个位置了。示教器上显示的Q值表已经迭代了三千轮，但末端执行器就是学不会绕过那个凸起的障碍物。我盯着控制台里稀疏的奖励信号，突然意识到问题不在奖励设计，而在那张被离散化得支离破碎的状态表——关节角度每5度一格，位置坐标每厘米一格，这样的分辨率下，机械臂永远学不会精细的插孔动作。这就是传统Q-Learning在连续控制任务里的死穴，也是我们这篇文章要解决的问题。先说说Q-Learning本身。Q(s,a)这张表，本质上是在记录“在状态s下执行动作a，未来能拿到多少累积奖励”的期望值。更新公式大家都熟：Q(s,a) ← Q(s,a) + α[r + γ·max_a’Q(s’,a’) - Q(s,a)]。但真正在机械臂上跑过的人都知道，这张表根本存不下真实世界的状态空间。六自由度机械臂，每个关节角度连续变化，加上末端位置、速度、加速度，状态维度轻松破十。离散化到能用的程度，表的大小就是天文数字。更麻烦的是，机械臂的动力学特性导致相邻状态之间的Q值变化剧烈，你刚把表建好，机械臂换个负载，整张表又废了。我最早在仿真环境里试过用查表法控制二连杆机械臂，状态空间只有四个维度，离散化到每0.1弧度一格，表大小勉强能接受。但一换到六轴UR5的仿真模型，状态维度翻倍，表直接爆内存。那时候我就明白，这条路走不通，必须让神经网络来拟合Q函数。深度Q网络（DQN）的核心改动就一句话：用神经网络Q(s,a;θ)替代Q值表。输入是状态向量，输出是每个动作的Q值。但直接拿神经网络替换查表，训练根本不稳定。我在第一版DQN里踩过最大的坑——经验相关性。机械臂在连续轨迹上