1. 从备课视角重新审视最优化为什么我坚持写这个系列做研究生最优化方法课程讲稿的时候我一直在琢磨一个问题市面上的教材那么多从Boyd到Nocedal从袁亚湘到Nocedal中译本每一本都体系完整、推导严密那我给研究生上课、写博客还能提供什么不一样的价值后来想明白了。教材解决的是知识怎么组织最严谨的问题而一线师生真正缺的是知识怎么理解最通透的问题。同一套KKT条件教材给你定义-引理-定理-证明的完整链条但学生卡住的地方往往不是证明的某个步骤而是这个条件到底在说几何上的什么事为什么凸性在这里这么重要这个算法实际跑起来会不会崩。这些内容在标准教案里通常不会写恰恰是实际教学、实际调代码、实际做研究时最消耗时间的地方。所以这个系列定位很清楚不做标准讲义不重复教材的完整演绎体系而是把每一个最优化核心概念拆开讲清楚它背后的几何直觉、算法行为的实际表现、以及不同场景下怎么选型。东北大学那套最优化方法教案word文档我认真看过体系很完整像梯度下降、牛顿法、拟牛顿法、信赖域这些主题都有涉及排版也适合直接上课用。但作为一名同时带学生做科研的教师我越来越觉得课堂讲义应该分两层一层是标准知识层用来保证学生的基础一致另一层是理解辅助层帮助学生建立真正的直觉。这个系列就是我自己写给自己课堂的第二层。第九篇选什么主题我犹豫了很久。前八篇讲过凸集与凸函数、KKT条件、梯度下降的理论收敛性、牛顿法的局部收敛速率、拟牛顿的SR1和BFGS更新、约束问题的罚函数思路基本覆盖了一学期课程的主要骨架。第九篇我想换个角度不再引入一个全新的算法家族而是把前面讲过的东西串起来聚焦在一个看起来简单、实际水很深的问题上梯度下降里的步长到底怎么选。为什么选这个题目。一方面几乎所有学生第一次写梯度下降代码跑出来的曲线都跟书上画的不一样要么发散要么震荡要么慢得离谱问题几乎全出在步长上。另一方面步长的选择又跟前面讲的Lipschitz常数、强凸系数、收敛率分析深度绑定是一个天然的串讲切入点。这篇文章我想用一个研究生的真实作业案例把步长选择这件事从理论到实践彻底讲透。2. 梯度下降里的步长理论说了什么教案没写什么2.1 步长选不好算法跑不动一个真实的课堂案例上学期我让研究生做一个实验在一个条件数约500的二次函数上用梯度下降找极小点没有给出步长建议只要求调到一个满意的效果。有一半人的结果都能看出来他们是在瞎试lr0.01跑5000步还在半路lr0.1跑200步震荡lr0.5直接发散曲线飞到了天上去。这批学生的问题不是不努力而是他们对步长这个唯一的手动旋钮缺乏系统认知。梯度下降算法本身没什么玄学[ x_{k1} x_k - \alpha_k abla f(x_k) ]公式就这么一行算法的全部行为都压在这个 (\alpha_k) 上。但教材通常只告诉你步长需满足Wolfe条件或者取常数步长时要小于2/L然后就直接进入收敛性证明。学生从中获得的可操作信息约等于零。我常跟学生说步长不是一个调参问题而是一个结构问题。你的步长选择必须回应目标函数的几何结构——它是凸的还是非凸的它的Lipschitz常数大概多大它的水平集是接近圆形还是压得很扁的椭圆。这些信息其实在目标函数形式里就已经写好了只是大多数初学者不知道去哪里读。2.2 为什么常数步长远没有看上去那么简单理论上最经典的结论是若 (f) 是 (L)-光滑梯度Lipschitz连续的凸函数常数步长 (\alpha 1/L) 可以保证函数值以 (O(1/k)) 的速率下降。这个结论干净漂亮但不实用——因为真实问题的 (L) 你很难精确估计而且它给出的是一个安全步长通常远小于高效步长。在助教答疑时我经常打一个比方(1/L) 步长相当于你开车时按永远不超过限速的一半来跑安全是安全但你永远不会知道这辆车其实能跑多快。实际问题里我们通常希望步长能再大一点让迭代走得更快但又不能大到越过稳定边界。关键洞察在于步长的安全上界和目标函数的曲率是绑定的。一个局部区域曲率越大允许的步长就越小。二次函数 (f(x) \frac{1}{2}x^T Q x) 的梯度下降稳定条件要求 (\alpha 2/\lambda_{\max}(Q))而最优收敛速率对应的步长是 (2/(\lambda_{\min} \lambda_{\max}))。这里 (\lambda_{\min})、(\lambda_{\max}) 分别是海森矩阵的最小和最大特征值。一旦条件数 (\kappa \lambda_{\max}/\lambda_{\min}) 变得很大你面对的就是一个压扁的等高线地形——沿着长轴方向步长太小没效率沿着短轴方向步长稍大就震荡这就是病态问题的本质困难。2.3 精确线搜索与回溯法一个学术上正确一个实践上管用面对步长选择学术上最正确的做法是精确线搜索每次迭代都求解一维问题[ \alpha_k \arg\min_{\alpha 0} f(x_k - \alpha abla f(x_k)) ]得到的 (\alpha_k) 确实是当前方向上的最优步长可惜这个子问题本身也要迭代求解算一维的最小化也不便宜。所以实践中真正常用的是回溯线搜索backtracking line search思路非常简单粗暴初始给一个比较大的步长比如 (\alpha 1)检查Armijo条件(f(x - \alpha abla f(x)) \le f(x) - c \alpha |\nabla f(x)|^2)如果满足接受这个步长不满足就把 (\alpha) 乘以一个衰减因子 (\rho \in (0,1))比如0.8继续检查这一套做下来每次迭代的额外成本就是几次函数值评估相比精确线搜索省太多了。但我发现很多学生在写回溯法时有两个认知误区。第一个误区是以为回溯法只是在碰运气试步长没有意识到它其实在自适应地探测局部曲率越陡峭的方向下降到梯度平方的界内的步长就越小本质上是在做一个快速的局部曲率估计。第二个误区是初始步长设置得太小比如上来就 (\alpha0.01)那么回溯机制形同虚设——大多数迭代一次就接受了这个保守步长收敛速度被绑死。我在课上反复强调回溯法不是找一个差不多能用的步长就行的工程妥协它本身有理论的保证只要Armijo参数选得合理回溯法可以保证函数值充分下降并且最终收敛到一个稳定点。它的效率取决于初始步长和衰减因子的配合我的经验是初始步长设1.0衰减因子0.8Armijo常数 (c10^{-4})这套参数在绝大多数问题上都能收到合理步长不需要反复调。3. 用二次型视角看清步长与速率的真实关系3.1 条件数、收敛速率和锯齿形路径到底是怎么来的为了讲清楚步长和收敛速率的关系我在黑板上推导过无数次二次型的梯度下降。考虑一个简单的二维问题[ f(x, y) \frac{1}{2}(\lambda_1 x^2 \lambda_2 y^2), \quad \lambda_2 \lambda_1 0 ]海森矩阵的特征值就是 (\lambda_1) 和 (\lambda_2)条件数 (\kappa \lambda_2 / \lambda_1)。用梯度下降迭代步长 (\alpha) 在两个特征方向上的收缩因子分别是 (|1 - \alpha\lambda_1|) 和 (|1 - \alpha\lambda_2|)。这个公式说明了很多事情。想让两个方向都收缩步长必须满足 (0 \alpha 2/\lambda_2)。想让收缩尽量快理想情况是同时最小化两个方向的收缩因子但除非两个特征值相等否则做不到——总的收敛速率由较大的那个收缩因子主导也就是由较小的特征值对应的方向主导。这个分析解释了为什么条件数大时梯度下降那么慢。条件数 (\kappa500) 意味着你要在不震荡的前提下尽可能让 (\alpha) 接近 (2/\lambda_2)但这时 (|1 - \alpha\lambda_1| |1 - 2/\kappa|)约等于0.996。也就是说在最平坦的方向上每一步只能消掉0.4%的误差200步才能把误差减一半。更麻烦的是这直接造成锯齿形路径。等高线拉得越扁负梯度方向越偏离指向极小点的方向。每一步走完后新的梯度方向会跟之前几乎正交形成那种经典的手绘图——走一步横向下一步纵向再下一步又横向。实际上这背后是特征空间的正交分解导致的在每一步中不同特征方向的收敛速率差异巨大快方向先收敛慢方向拖后腿宏观表现就是走走停停、不断切换主导方向。3.2 从阻尼牛顿到预处理改变几何而不是纠结步长认识到这一点后一个自然的问题是既然问题出在目标函数的几何形状上那能不能不改步长而改几何这就是预处理preconditioning和牛顿法的思想动机。牛顿法的迭代公式是[ x_{k1} x_k - [\nabla^2 f(x_k)]^{-1} abla f(x_k) ]对于二次函数这一步就直接到了极小点因为它在每个点都用海森矩阵的逆重新度量了空间——相当于把椭球等高线映射成了球等高线。这把步长问题完全消解掉了。但牛顿法有自己的代价每次迭代要计算和分解海森矩阵维数高的时候这个成本完全不可接受。所以实际工程里人们做了大量折中——拟牛顿法用梯度差的信息去近似海森逆比如BFGS更新或者用对角矩阵做预处理把目标大致缩放成球状再跑梯度下降梯度的每个分量乘以一个合适的缩放因子。这样的预处理思想在大型机器学习问题的实际实现中非常常见。比如Adagrad、RMSProp、Adam这些优化器本质都是在每个坐标方向上维护一个自适应缩放因子把不同方向曲率差这个问题摊平从而让梯度下降不再那么依赖全局步长的精确设置。它们的数学动机就是从二次型模型里的特征值分析来的。所以你看这一小节课本公式推导跟当下最热门的深度学习优化器之间只是一层窗户纸的事。3.3 一个实验固定步长、回溯法、预处理三者的效果对比为了让学生对这套理论有直观感受我设计过一个很简单的实验。目标函数取二维二次型(\lambda_1 0.01)(\lambda_2 5)条件数500。起始点取 ((20, 20))三类方法各跑1000步记录到最优点的距离。固定步长 (\alpha 1/\lambda_2 0.2) 时算法完全不会发散因为0.2还远小于稳定性上界 (2/\lambda_20.4)。但1000步之后误差只降到初始的2%左右看曲线已经非常平坦但离真正的极小点还有一段距离——这是因为在最慢方向上每步只消1%的误差1000步理论衰减 (0.99^{1000} \approx 4.3 \times 10^{-5})剩下约2%说明前面阶段主要还在快方向上衰减慢方向主导后就几乎动不了了。回溯线搜索初始步长1.0、衰减因子0.8表现好很多。因为它在迭代初期会找到一个大步长快速沿着快方向的梯度做大步移动后面步长逐渐缩小整体收敛曲线比固定步长平滑得多。但由于方向本身还是负梯度方向锯齿形效应依然存在1000步能达到的精度大约是固定步长的十几倍离精确还有距离。预处理版本最简单把坐标做变换 (x \sqrt{\lambda_1} x)(y \sqrt{\lambda_2} y)整个问题瞬间变成等半径的圆。在这个新坐标系里任意固定步长 (0 \alpha 2) 都能快速收敛几十步内误差就到1e-10以下。这个实验我建议所有教最优化的老师都让学生亲手跑一遍。它把一个学期的结论压缩进了10分钟的运行时间。4. 从调参到自适应三种实践中真正能打的步长策略4.1 常数步长的合理使用边界在哪里常数步长是不是完全不能用也不是。它有一个很实际的使用场景当你对所要解决问题的规模有一定把握并且计算单步代价本身就很高的时候跳过线搜索那几次额外函数评估省下的时间可能比因步长不够优而多跑的迭代时间还要多。比如在分布式训练中每评估一次函数值都要做一次全量数据的前向传播跨节点通信开销很大这时候回溯法的额外评估成本就很贵。业界常见的做法是先用小规模数据做一次粗略的步长扫描找到一个大致的合理区间然后直接取一个偏向保守的常数跑完整轮训练。这就是很多深度学习框架里learning rate warmup 常数衰减策略的现实动机同一套逻辑。但我必须强调边界在哪里。常数步长只有在目标函数各向曲率差异不大的时候才值得考虑或者曲率差异虽然大但你根本不指望靠梯度下降收敛到高精度——比如只是在训练一个大模型的早期阶段。若是一个条件数500的二次问题要求精度1e-8常数步长就是最差的选择。4.2 逐步衰减步长的隐性陷阱衰减速率和收敛精度在打架还有一类常见的步长策略是逐步衰减(\alpha_k \alpha_0 / (k1)^\beta)或者指数衰减。理论上只要步长序列满足[ \sum_{k1}^\infty \alpha_k \infty, \quad \sum_{k1}^\infty \alpha_k^2 \infty ]随机梯度下降几乎必然收敛。这套条件本身很漂亮前一个保证了你不会停在一个离最优点太远的地方后一个保证了你不会被噪声一直推来推去。但落到实际数字上我的经验是逐步衰减策略非常难调。(\beta0.5) 衰减太慢后期步长还是偏大在极小点附近会有明显的绕圈(\beta1) 衰减太快前期步长缩水太快还没把有用的区域探索完就进入了蠕动模式。而且在整个训练过程中最佳步长曲线往往是非单调的——开始要大步快速接近中间可能需要回调一下避免越过某个鞍点后期又要进一步缩小来精确收敛简单单调衰减的函数根本表达不了这么复杂的策略。所以现在看到的大规模机器学习实践几乎没有还在用纯单调步长衰减的。更常见的做法是用warmup cosine annealing这类具有阶段结构的策略本质上是把探索期大步长和收敛期小步长分成两个明确阶段配合重启技巧来跳出局部区域。它们的数学依据并没有多高深完全可以从最优化课程的收敛分析里一步步推出来但它确实比单调衰减实用得多。4.3 为什么Adam这类方法能减少调步长的痛苦从最优化视角看自适应方法谈自适应步长绕不开Adam。从最优化观点看Adam其实是把预处理和动量两个想法塞进了一个更新公式。预处理部分就是维护每个坐标的梯度二阶矩估计 (\hat{v}_k)然后用[ x_{k1} x_k - \frac{\eta}{\sqrt{\hat{v}_k} \epsilon} \hat{m}_k ]做更新(\hat{m}_k) 是梯度一阶矩估计动量 (\eta) 是全局基准步长。这里的关键点是每个坐标除以 (\sqrt{\hat{v}_k})等价于在每步都在估计这个坐标方向的梯度尺度然后把它归一化。如果一个坐标方向的梯度总是很大对应曲率大分母就变大有效步长自动缩小反之梯度小的坐标有效步长自动放大。这正是一种坐标方向上的自适应预处理虽然粗糙但在很多深度学习问题上意外地有效。代价也有预处理是严格对角化的无法处理坐标间的旋转耦合。如果一个问题的海森矩阵非对角元很强比如特征是强相关的高维分布那么Adam的对角预处理就无能为力。这也是为什么有些最新的优化器开始尝试块对角估计或者低秩近似来获取非对角信息但代价是计算量上去了存储开销也上去了落地到大规模训练还有很长路要走。所以在教学中我的定位是Adam这类方法不是银弹它把调步长至少降了一档从调一个数变成调一个量级——你现在把全局 (\eta) 设成1e-3还是1e-5结果都还能收敛只是最终精度不同。真正的难点从步长转移到了别的方面比如权重衰减怎么配、批大小怎么选、是否需要用学习率调度器来配合。4.4 我实际怎么给一个陌生问题选初始步长一套可复制的排错链路遇到一个陌生的最优化问题哪怕目标函数就是个黑盒只能给梯度和函数值我也有一个还算固定的排查链路分享出来供参考。第一步先用一点点数据或一小块参数空间手算或近似估计一下梯度的量级。如果梯度的范数在1的量级从一个温和的初始步长 (\alpha0.1) 开始通常比较安全如果梯度量级是1e-3那初始步长0.1就太小了可以放到10甚至100。第二步跑几步迭代看函数值曲线。如果函数值第一轮就暴涨说明步长过大立即把步长除以10再试如果函数值几乎不动说明步长过小把步长乘以10。用这样的指数式扫描一般4到6次就能锁定一个合理的数量级。第三步在锁定的数量级附近用回溯线搜索自动精调。这样既保证了初期的稳定性又不会因为在固定步长上纠结而错过了更快的大步长。第四步跑50步之后画出梯度范数 (|\nabla f(x_k)|) 的衰减曲线。它应该是平稳下降的。如果出现下降一段时间后又反弹那多半是步长过大导致越过了一个窄谷需要把步长调小如果出现开始下降、后面平台可能是步长偏小进入了慢收敛区。这套流程看着朴素但非常实用。课堂上那些调参调到怀疑人生的学生用这个方法后基本都能在十分钟内找到合理的步长配置。我一直拿它当案例讲因为步长诊断本身就是最优化实践里的第一课。5. 步长之外梯度下降的加速与进阶方向5.1 动量方法拖着惯性跑的梯度下降步长选好之后梯度下降依然可能跑得不够快尤其是面对病态问题时。动量的思路很直觉不让当前梯度独自决定这一步的方向而是让之前的运动趋势当前梯度共同决定。[ v_{k1} \beta v_k - \alpha abla f(x_k), \quad x_{k1} x_k v_{k1} ]这里的 (\beta) 阻尼系数通常在0.9左右。在锯齿形路径中动量可以有效地抵消震荡分量在某个方向上反复横跳正负交替的梯度在累积中互相抵消但在真正前进的方向上正方向的梯度一次次叠加速度会越来越快。从数值分析的角度看动量方法的极限行为很漂亮——在最优点附近它等效于给原来的迭代矩阵加了一个强健的二次方程的根把原本衰减慢的极点在复平面内移动从而让慢方向也获得一个比较合理的衰减速率。实际上一套严谨的分析表明对于条件数为 (\kappa) 的凸二次问题动量法可以把收敛速率从 ((1-1/\kappa)/\cdot) 提升到 ((1-1/\sqrt{\kappa})) 的量级。(\kappa500) 时这意味着迭代次数从几千降到一百以内这个改善幅度比单纯调步长来得显著得多。我讲动量方法的时候总会强调一点动量不是给梯度加速的局部工程小技巧它本质上是在改变整个迭代轨迹的几何形态——让路径从锯齿形变得更接近一条相对平滑的曲线。理解到这一层你就不难理解为什么现代深度学习中几乎所有优化器都要配一个动量项以及为什么Nesterov加速在这个基础上还能再做一次前瞻性的梯度计算把收敛阶进一步提高。5.2 Barzilai-Borwein步长一个反直觉但有效的古老策略如果回溯线搜索和动量算是常规武器那Barzilai-BorweinBB方法就是一把冷兵器。它的思想非常简洁每一步步长取成[ \alpha_{k1} \frac{s_k^T s_k}{s_k^T y_k}, \quad s_k x_{k1} - x_k, \quad y_k abla f(x_{k1}) - abla f(x_k) ]这个式子的直觉是我们希望步长像沿着最近一段轨迹看到的平均曲率的倒数用最近两步的梯度变化来探测海森矩阵的行为。对于二次函数这个步长在某些情况下可以给出比最优固定步长更激进的走法而且整体收敛速度反而更快。我第一次接触BB方法时也觉得它反直觉它允许步长偶尔超过局部稳定性上界甚至在一些迭代步中函数值会上升。但在实际运行中函数的整体趋势还是在下降而且收敛速度经常比经典梯度下降快一个量级以上。这套方法的分析后来发展出一大支文献叫非单调线搜索核心就是接受偶尔的函数值上升换取更激进的步长策略从而在长时段内获得更快的整体收敛。BB方法在大规模优化里并不常用因为真正的性能优势要在高精度收敛这块才体现出来而大规模问题通常不需要那么高的精度。但它在中小规模问题、内部子问题求解中非常有效尤其是在一些需要又快又不引入海森矩阵计算的场景下它是一个值得在工具箱里常备的武器。5.3 非光滑问题里的步长近端梯度法与次梯度法为什么不能照搬前面讨论的全部建立在目标函数光滑的前提下。可是研究生课程和科研里有一大类问题是非光滑的典型如Lasso[ \min_x \frac{1}{2}|Ax - b|^2 \lambda |x|_1 ]这里 (|x|_1) 不可微。直接套梯度下降根本推不下去因为梯度在0点不存在。近端梯度方法ISTA/FISTA的思路是把光滑部分走一步梯度然后在非光滑项上做一个近端映射proximal operator。对 (\ell_1) 范数这个近端映射就是软阈值算子[ \operatorname{prox}_{\lambda |\cdot|_1}(z)_i \operatorname{sign}(z_i) \max(|z_i| - \lambda, 0) ]这个算子会把小的分量推到精确的0从而得到稀疏解。步长在这里的作用依然关键——光滑部分的步长依然受Lipschitz常数约束但在近端映射这一步步长又和稀疏性阈值绑在一起步长太小会在稀疏解附近来回震荡步长太大会让软阈值算子矫枉过正把真正有用的信号也全部抹掉。这类问题的教学难点在于学生往往习惯梯度下降万能的范式一碰到非光滑就手足无措。实际上只要理解了近端映射是在梯度的下一步投影到一个更偏向稀疏的集合再配合前面学的回溯线搜索来管理步长很多问题都能顺畅跑起来。这也是为什么我总是提醒学生步长不是一个孤立的话题它跟目标函数的正则项类型紧密关联具体问题永远要具体分析。6. 课程结束前的最后一课把步长的教训泛化到更广阔的优化实践从一个学期的最优化课程教学设计来看第九讲通常到了课程设计与反思的阶段。我并不追求在这节课里再塞一个新算法而是希望学生能回头看看前八讲那些理论到底在哪些地方真正影响了实际代码的行为。步长这个话题就是最好的串联点。很多学生在结课时告诉我他们最大的收获不是记住了某条定理而是终于理解了一个看起来浅显的实操体会优化算法的所有核心问题归根到底都是什么方向走、走多远这两个问题。方向由目标函数和当前点决定而走多远就是步长就是学习率就是整个算法里唯一的自由旋钮。这个理解看似简单但它能帮他们在接触任何新优化器时快速抓住要点它在改方向吗还是在改步长还是两个都在改顺着这个框架复习整个学期的知识脉络会清晰很多。梯度下降、动量法、Nesterov加速、拟牛顿法、Adam本质都在回答方向怎么选常数步长、回溯法、BB方法、余弦退火本质都在回答步长怎么设。两者交叉就构成了优化算法设计的完整坐标系。学生一旦有了这个坐标系以后不管是读论文还是写代码都能很快把自己置入其中这个新方法是在两个轴的哪个位置做了改进它要解决的到底是什么问题回到课堂上那些调步长调到怀疑人生的作业我最后总会给他们一张自查表这几年效果一直不错顺手记在这里供带课或者自学的同学参考。现象可能原因处理方向前期loss大幅上升步长过大步长除以10或启用回溯法loss缓慢下降但500步还在高位步长偏小步长乘以10或检查是否为条件数过大梯度范数先降后升步长越过稳定边界减小步长或引入动量平滑loss曲线锯齿严重条件数大步长偏大减小步长、加动量或做预处理收敛到非最优点非凸步长过小无法逃出鞍点/局部极小考虑大初始步长或动量法配合重启稀疏解精度不足Lasso类近端阈值与步长不匹配检查步长与正则系数的相对量级这套自查表说到底是把前面那些理论翻译成了可落地的行动。在带研究生的过程中我更加确信一点优化理论的真正价值不在于定理本身有多深刻而在于它们能不能转化为你在调试代码时产生的那个啊原来如此的瞬间。步长这个话题恰好是把理论和实践焊接得最紧的地方之一。这个系列写到这里已经是第九篇原计划把步长、动量、预处理讲完就告一段落但每次整理讲稿都会发现还有太多值得展开的边角料——比如随机优化里的方差缩减、分布式场景下的通信压缩、非欧几何下的自然梯度法。这些内容要展开又是一大篇。不过学生们倒是很乐见其成说这个系列比看教材轻松多了至少踩过的坑都提前替他们标记好了。最后再分享一个常年在我课件里保留的小实验给学生做课后练习自己实现一次梯度下降只允许改步长目标是一个条件数从1变到1000的二次函数记录每次达到同一精度所需的迭代次数再画一张条件数-迭代次数的对数图。亲自画过这张图的人会对求解大规模病态问题的难度到底从哪里来有一个永远无法从书本文字中获得的理解。这也是我讲最优化这门课这么多年唯一一个每个学期都要保留不变的课后作业。