先别急着抄别人的优化器配置。Model-Optimizer 这个名词几乎所有碰过深度学习的人都见过但真正把它吃透的人说实话不多。我见过太多项目上来直接 AdamW 一把梭loss 不降就乱调学习率最后训不出效果就怪数据脏、怪卡不行。这篇内容我就以 Model-Optimizer 为主线把优化器的原理、选型、调参、排错一次讲清楚适合刚入行不久、正在被 loss 曲线折磨的算法工程师也适合那些已经跑通几个模型但总感觉训练过程飘忽不定的进阶玩家。优化器不是越低级的组件越不需要重视恰恰相反它决定了模型能不能收敛、收敛多快、收敛到什么位置。我在一线做模型训练差不多六年了从图像分类、目标检测到大规模语言模型的微调都碰过。不同任务我用过的优化器组合从最简单的 SGD 到后来的 AdamW、Lion、Sophia每换一个都能感受到训练行为的变化。Model-Optimizer 的核心不是选一个现成的库函数调参这么简单它涉及你对梯度信号的理解、对学习率策略的把握、对模型正则化的认知甚至还有对显存和训练吞吐量的权衡。这篇文章我会从原理拆到实践把我的踩坑记录和排查经验都摊开讲保证你看完能直接用在自己的项目里。1. Model-Optimizer 到底在优化什么1.1 先搞清楚优化器在训练里的位置很多人把优化器理解成更新参数的公式这个说法不算错但是视野太窄了。完整的深度学习训练循环里数据经过模型得到预测结果损失函数计算预测和标签的差值然后梯度反传回来。梯度只是给出了参数往哪个方向调整能降低损失但走多远、步子多大、需不需要参考历史的步伐这些全部由优化器决定。换句话说损失函数给了你一张地图优化器才是那个决定走路节奏和路径的人。我把优化器拆成三个层次来理解。最底层是梯度本身它来自反向传播第二层是优化算法对梯度的加工策略比如积累动量、计算二阶矩估计、做梯度裁剪最外层是学习率的调度包括 warmup、余弦衰减、周期性重启。三层配合得好训练过程才会平滑、快速、稳定。很多新手只盯着外层的学习率调来调去却忽略了第二层算法的特性和脾气结果自然不理想。这里我想打一个生活化的比方。你想从山顶走下山地图告诉你四面八方都是下坡但有的坡是缓坡、有的坡是峭壁。如果你是一个完全不懂下山的纯 SGD每一步就顺着最陡的方向踩下去遇到悬崖也照走不误轻则绕远路重则直接摔下去。如果你加上了动量就像给身体加了一个惯性能顺势冲过一些小坑但也可能因为惯性太大刹不住车。而 Adam 这种算法相当于给每条腿都装了独立传感器感知哪个方向走得快、哪个方向走得不稳定然后动态调整步幅所以它通常更稳但依然需要你正确设置参数。1.2 为什么不能随便来个优化器就用我在不少团队里看到一种现象代码模板里写的是 AdamW大家就不假思索地用 AdamW网上开源项目用的是 SGD with Momentum就照搬过来。这种拿别人的 Model-Optimizer 配置套自己模型的做法风险很大。不同的网络结构、不同的损失函数形态、不同的 batch size 和混合精度设置对优化器的偏好完全不同。举个例子我之前在跑一个 ResNet-50 图像分类任务时从 SGD 换成 Adam 并没有显著收益反而在后期精度上出现了轻微掉点在跑一个 Transformer 结构的文本模型时SGD 几乎训不动而 AdamW 只需三分之一的时间就能达到目标指标。这不是玄学而是两类优化器对梯度分布的处理方式不同本质上和模型结构、损失面的几何特性相关。还有一个经常被忽略的问题优化器不只是更新权重它还承载了正则化作用。比如权重衰减项通过控制参数范数来抑制过拟合这在 Adam 系列里尤其重要。如果选型时随手换掉优化器却没有同步调整权重衰减、学习率和衰减策略训练结果出现明显波动几乎是必然的。所以我一直建议大家换优化器时连带着把整个训练超参组合重新审视一遍而不是孤立地替换一个类名。2. 主流优化器的原理拆解与适用边界2.1 从 SGD 到 Momentum动量到底解决了什么最原始的随机梯度下降SGD做参数更新只依赖当前的梯度公式简化下来就是param - lr * grad。这种优化器实现简单、消耗内存小但问题也直观如果损失面是一个狭长的山谷形状SGD 会在陡峭的方向上来回震荡在平缓的方向上挪得特别慢收敛效率很低。我在实际训练中第一次感受这个瓶颈是在一个医学影像分割模型上loss 在 40 个 epoch 里几乎只下降了 10%换了带动量的 SGD 之后情况立刻好转。动量Momentum的思路是引入一阶惯性让历史梯度的累积方向影响当前的更新方向。实现上你可以简单理解成给每次更新都加了一个速度项参数更新时会保留之前的一部分趋势公式类似v mu * v - lr * grad; param v。这里的mu就是动量系数通常取 0.9有的任务里取 0.99。动量带来了两个实际好处一是能有效抑制震荡二是有助于冲出局部平坦区域和小的梯度噪声区域。不过动量不是越大越好。我有一次把动量系数从 0.9 调到了 0.99结果训练初期 loss 下降明显变慢因为惯性太大参数更新的方向被历史梯度死死拉住对新变化响应迟钝。这种问题尤其在 dynamic 分布的目标检测任务里特别明显模型需要快速适应新出现的物体尺度过大的动量会让模型像个反应慢半拍的人。所以动量也要根据任务动态性和数据分布变化速度来调整。2.2 Adam 的快速收敛与隐藏问题Adam 的本质是 RMSProp 和动量的结合体它会分别维护一阶动量梯度的指数移动平均和二阶动量梯度平方的指数移动平均然后对每个参数独立地调整有效学习率。这在处理稀疏梯度和不同尺度的参数时非常有优势尤其适合 Transformer、embedding 这类维度差异巨大的模型。我第一次跑 BERT 微调时就是用 Adam效果确实立竿见影loss 曲线比之前用 SGD 平滑了太多。但 Adam 有个常被忽视的陷阱早期训练时二阶动量估计偏差很大导致更新步长偏大所以需要 warmup 来补偿。这也是为什么现代训练框架里使用 Adam 时几乎标配一个学习率预热期。很多人直接跳过 warmup结果模型前几百步就走飞了loss 出现一个巨大的尖峰之后久久不能恢复。Adam 还有一个固有缺陷就是对参数范数的正则化不够充分。标准的 L2 正则化在 Adam 里的表现会被二阶动量归一化扭曲导致实际的正则效果和预期不符。这个问题在训练大模型或长时间训练时会被放大模型容易在验证集上出现过拟合而很多人觉察不到问题出在优化器上以为是自己少加了正则项。2.3 AdamW 和 Adam 到底差在哪AdamW 的提出就是为了解决 Adam 里 L2 正则被破坏的问题。Ilya Loshchilov 和 Frank Hutter 在 2019 年前后系统分析了 Adam 的权重衰减行为指出标准的 L2 正则化在 Adam 中因为归一化步长而变得不均匀。AdamW 的修改很简单直接把权重衰减从梯度里拆出来在参数更新的时候单独做一次衰减实现上类似param - lr * weight_decay * param而梯度计算部分不再包含正则项。这个改动带来了两个直接效果正则效果更稳定而且对 weight decay 系数不再那么敏感。我在跑多个 CV 和 NLP 任务的对比实验时发现AdamW 在 Transformer 结构上的稳定性和最终指标普遍好于 Adamweight_decay0.01这个默认值在大多数任务里都能直接工作不需要反复试。而如果用 Adam 加 L2 正则同样的系数在不同模型上表现差异非常大调参成本高很多。现在主流训练框架里的默认优化器基本都换成了 AdamW这在 HuggingFace Transformers 和 PyTorch 官方推荐配置里都能看到。如果你还在用老版本代码里的 Adam建议先把 Adam 换成 AdamW并把衰减系数设为 0.01然后观察 loss 曲线和验证集指标的变化。多数情况下你会看到训练后期过拟合的迹象减轻验证集指标变好。这里不需要重新调节学习率通常保持原学习率就能获得正面收益。2.4 优化器选型速查表既然不同优化器有不同脾性我根据实际项目经验整理了一个选型参考表供大家快速对照。注意这是经验法则不绝对但在我接触过的十几个不同类型任务里基本成立。优化器收敛速度最终精度显存开销适用场景SGD Momentum慢高极低图像分类、检测分割、传统CNNRMSProp中中低RNN、语音模型、序列任务Adam快中高Transformer、微调、动态梯度任务AdamW快高高预训练、微调、绝大多数现代架构Lion快高中大规模预训练、搜索空间大的任务这个表格只能作为起点。实际选型时要结合数据规模和训练时长小数据集、短训练、追求快速出指标的场景用 AdamW 很划算你有充足算力、想追求最佳泛化精度且模型以卷积结构为主SGD with Momentum 依然值得认真调一调。我在做医疗影像分类时最终线上模型用的还是 SGD因为它在有限数据量下表现更稳。3. 实操从零调好一个 Model-Optimizer3.1 第一步明确训练场景和模型结构在动手调参之前我会先花十分钟把训练场景梳理一遍包括模型 backbone 类型CNN 还是 Transformer、任务类别分类、回归、生成、数据规模几千张图还是几亿条文本、训练预算GPU 数量和时长、以及精度要求。这四个维度基本决定了优化器的选型空间。如果是标准的卷积网络做分类比如 ResNet、EfficientNet训练预算又不紧张我通常直接用 SGD with Momentum动量设 0.9Nesterov 打开配合 Cosine 学习率衰减。如果模型是 BERT、GPT 这类 Transformer或者你在做多模态模型那就直接选 AdamWlr 从 3e-5 到 1e-4 起步warmup 比例设 5% 到 10%。如果任务是小样本微调数据量很少AdamW 加更大权重衰减0.05 到 0.1可以明显抑制过拟合。这一步看起来简单但很多人恰恰省了这一步拿着通用配置套所有任务结果基本都踩了坑。我见过一个团队在 ResNet 模型上用了默认 AdamW跑出来的精度始终比预期低 2% 左右换成 SGD 之后精度立刻恢复。反向的错误也常见在 Transformer 生成模型上用 SGD训练了十几个 epoch 几乎没有任何收敛迹象白白浪费一个星期的计算资源。3.2 第二步初始化学习率和权重衰减选好优化器类型后最关键的就是学习率初始化和权重衰减系数。我给不同任务定了几个经验起点实测下来基本能覆盖大多数场景。CNN 分类任务配 SGD起始学习率 0.1 配合 batch size 256如果 batch size 减半学习率也减半这个线性缩放规则在 resnet 家族上很稳定。Transformer 微调配 AdamW起始学习率 5e-5batch size 对学习率的影响相对较小但也不建议盲目调到 1e-3 以上。权重衰减系数的选择容易让人困惑。SGD 场景下通常用 1e-4 到 5e-4这个量级对分类模型的泛化提升比较明显。AdamW 场景下默认 0.01 广为人知但在部分任务里可以再调大一点。我在做生成模型微调时把 weight decay 从 0.01 升到了 0.05过拟合显著下降生成质量也更稳了。调 weight decay 有一个通用原则验证集和训练集差距大就往大调如果模型欠拟合、训练集都学不好就往小调甚至归零。warmup 的设置也不能马虎。刚开始训练的几百步里模型权重还很随机梯度方向噪声大这时候如果用高学习率极易把参数推到损失面上一个糟糕的位置。我在实际使用中一般设置 warmup steps 为总训练步数的 10%最大学习率在 warmup 结束时达到然后走余弦衰减降到最低点的十分之一。太长的 warmup 会浪费训练时间太短则起不到稳定作用。3.3 第三步实时监控几个关键指标配置好了不代表就能坐等结果训练过程里至少要盯住几个指标的变化。第一个是训练 loss 曲线观察下降趋势是否平滑有没有异常尖峰。第二个是梯度范数这个指标很多新手不看但它能非常早地暴露优化器配置问题。梯度范数如果突然从 1 数量级跳到 100 数量级说明梯度爆炸乐观估计就是学习率偏大悲观估计就是模型数值不稳定。第三个是学习率的变化曲线这个容易被忽略尤其在手动调度 epoch 学习率的场景里你需要知道每一步实际使用的学习率是多少。我见过有人自查代码半天也找不到 loss 不降的原因最后发现是学习率调度器接错了优化器参数组学习率在第三个 epoch 后就被降到了接近零。把参数组里当前的 lr 打印出来问题五秒就定位了。除了数值指标我还会记录优化器的状态参数比如 Adam 里的一阶矩和二阶矩的统计范围。这些统计量如果异常大说明梯度尺度不稳定单纯调学习率已经没有意义需要考虑梯度裁剪或者修改模型结构。在大规模预训练任务里我习惯同时开启梯度范数裁剪max norm 通常设为 1.0来保护优化器状态不被极端梯度污染。3.4 第四步常见调参路径组合参考调 Model-Optimizer 并不是无头苍蝇一样乱试我总结了几条相对成熟的调参路径。第一条路径适合训练初期 loss 不降的情况先确认模型和数据处理没有问题然后尝试波动学习率测试把学习率从 1e-5 到 1e-1 按对数间隔枚举几个值每个值跑 50 步观察 loss 有没有下降的趋势。这样做能快速找到 loss 可下降的学习率区间。第二条路径适合训练中期 loss 下降放缓甚至停滞的情况考虑提高动量或使用 Adam 系列如果已经用 Adam考虑适当调低学习率并扩展 warmup 长度。第三条路径适合训练末期验证集精度不再提升的情况切换学习率调度为余弦衰减并稍微增大权重衰减系数。如果这三条都走完了还是没解决再回头检查数据 pipeline 和模型结构因为此时大概率不是优化器的问题。我在 BERT 微调中经常用到的组合是AdamW warmup ratio 0.1 cosine 衰减 weight decay 0.01 梯度裁剪 1.0这个组合在几乎所有 NLP 微调任务里都能得到一个体面的 baseline。在图像预训练任务中我则更偏好 SGD Momentum cosine 衰减 weight decay 1e-4 label smoothing这个组合能兼顾收敛速度和泛化精度。3.5 一个可复现的实操记录示例为了让大家看得更直观我放一个最近在做的文本分类微调任务的实操记录。模型是 bert-base-chinese数据量大约 12 万条batch size 是 32优化器配置我选择了迭代器配置如下optimizer AdamW(model.parameters(), lr5e-5, weight_decay0.01) scheduler get_cosine_schedule_with_warmup(optimizer, num_warmup_steps500, num_training_steps12000)训练过程中我记录了第一个 epoch 结束时 eval loss 从初始的 1.05 降到了 0.42第三个 epoch 结束降到了 0.31之后缓慢下降。因为设置了 warmup前 500 步 loss 下降幅度不大500 步之后显著加速。整个过程中梯度范数基本控制在 0.5 到 4.0 之间没有出现尖峰。如果我想追求更高的精度下一步会做的是把 weight decay 从 0.01 调到 0.05并把学习率从 5e-5 降到 3e-5同时拉长训练步数。这种平移式调整在小数据集上通常能带来 0.5% 到 1% 的准确率提升。但不建议一开始就上复杂组合先把基础组合跑稳再小步调整每次只变一个变量这样才能追溯每个改动带来的真实影响。4. 常见问题与排查技巧实录4.1 Loss 一开始就炸了怎么办训练刚开始几百步loss 直接冲到几十甚至几百这种问题我碰到过好多次几乎每个刚接触大模型的同学都会遇到一次。先说最常见的原因学习率过大。尤其是在 Transformer 结构上学习率一旦超过合理范围早期的梯度和参数范数都很大Adam 的自适应机制还没来得及平滑loss 就会产生爆炸尖峰。我建议先把学习率降一个数量级试试比如从 5e-5 降到 5e-6看曲线是否恢复正常。第二个可能原因是 warmup 没设好或者没生效。你可以在训练日志里打印前 100 步的实际学习率确认它从很小值逐步增长。如果从一开始就是满学习率那就要检查调度器是否真的接到了优化器。这个问题我踩过坑因为 PyTorch 里如果提前执行了scheduler.step()或者在错误的时机调用warmup 效果就会失效。还有一个容易被忽略的因素模型输出层的初始化方式。有些任务的输出头参数初始化不当导致最开始几轮的梯度特别大。可以尝试对输出层单独做更小的初始化或者给最后的全连接层设置更保守的 scale。如果 loss 爆炸只出现在特定 batch 上还要检查数据里是不是包含异常标签或缺失值。4.2 Loss 下降慢得像蜗牛loss 确实在下降但降得非常慢几十个 epoch 才掉零点几这种情况通常不是优化器完全失效而是多种因素叠加。第一步我会检查学习率是否过低。你可以把学习率临时放大五倍跑五十步看看 loss 是否明显降低如果是说明起点的学习率定小了可以调回去并定期用这种探针测试确认学习率状态。第二个可能是动量设置不当。如果你用 SGD with Momentum 且动量系数设得太大模型对梯度变化反应慢loss 下降自然显得拖沓。可以临时将 momentum 降到 0.8 看变化不要上来就直接怀疑学习率。同理AdamW 里betas参数默认是(0.9, 0.999)如果对一个数据量很大的任务用了过小的beta1历史信息衰减过快优化器也会显得短视下降速度变慢。还要看训练数据 pipeline 和 batch size。一个小 batch 的梯度噪声很大优化器虽然能处理这种噪声但收敛速度会变慢。我在处理图像分割任务时把 batch size 从 8 提升到 32 后loss 下降速度几乎翻倍。这里要注意 batch size 变大后可能需要适当提高学习率以保持训练的有效步长基本不变。4.3 训练后期震荡不收敛训练跑了几千步loss 已经很低了但在一个区间里反复横跳始终降不下去。这个问题在深度学习里太典型了它的核心原因是学习率在后期偏大步长超过了最优区域的范围导致参数在最优解附近来回震荡。解决办法几乎是定死的降低学习率或者切换到余弦衰减让学习率随训练进程逐渐变小。我还在后期采用过一个技巧降低优化器的二阶动量衰减参数也就是把 AdamW 里的beta2从 0.999 调到 0.99。这个改动会使优化器更关注近期梯度的变化减少历史梯度的累积滞后从而让参数更新更贴地。这个技巧是在一个文本生成模型的调优时偶然发现的当时 loss 在 1.2 附近死活不下来调整beta2之后两个 epoch 就突破了瓶颈。震荡也可能来自 loss 曲线本身含有很多噪声点如果你用的是小 batch size 且任务本身存在标注噪声后期 loss 出现小范围波动其实是正常的。这时候不要过度调参而是看验证集指标。验证集稳定上升就继续训练验证集也震荡才需要调整。4.4 几个容易被忽视的坑最后把我反复见过、自己跳进去过的几个坑集中列出来。第一个是 weight decay 作用于 bias 和 normalization 层的参数。默认配置下PyTorch 的 AdamW 会对所有参数施加权重衰减包括 bias 和 LayerNorm 的 scale但很多经验表明这一类参数不应该衰减。很多框架现在提供optimizer_grouped_parameters的分组配置把 bias 和 norm 层的 weight decay 设为 0公共实践里效果确实会更好。Bert 微调时我就是这么做的收敛稳定泛化改善明显。第二个坑是混合精度训练下优化器状态更新的位置。AMP 训练时master weights 是 FP32 还是 BF16 会影响优化器更新的精度表现。如果你用了 bf16 混合精度梯度在部分操作中会被自动截断优化器的性能会受到不小的影响。我建议在分布式训练大模型时确认优化器内部操作是在 FP32 精度下完成的PyTorch 的 AMP 默认在 update 前将梯度转回 FP32但如果你手动实现了训练循环就要格外注意。第三个坑是学习率调度器与优化器参数组不匹配。多卡分布式训练时如果你用了 DDP 的梯度平均但 scheduler 的num_training_steps没有算对会导致衰减节奏错误。常见的问题是 warmup 步数算少了使得模型在前几百步就被迫在大学习率状态下运行然后快速进入过低的学习率模型根本没有充分训练。这个坑我用前文提到的打印当前 lr方法一次就定位到了。第四个坑是优化器更换后忘记调整 momentum 和 weight decay。很多人从 SGD 切到 AdamW 时只改了类名却把原有 weight decay 从 1e-4 沿用下来结果模型正则不足过拟合明显。优化器之间独立性很强切换时至少把学习率、weight decay、warmup 三个参数重新设计一遍而不是只改一行代码。5. 关于 Model-Optimizer 我的一些个人经验写到最后我不打算做什么全面总结就说点掏心窝的经验。这六年多时间里我越来越觉得 Model-Optimizer 的调参能力比很多人想象的更能区分一个工程团队的靠谱程度。一个团队如果能把优化器原理讲清楚、能把每个超参的来龙去脉说透基本上这个团队在模型训练这条路上的踩坑率就会显著降低。很多让人头疼的模型不收敛、效果始终差一点的魔幻问题根子往往就藏在优化器配置里。我个人现在带项目时有一个默认习惯任何新任务落地先花半天时间把优化器和学习率调度器完整跑一个探针实验确认梯度尺度、loss 量级、收敛速度都正常然后才去跑正式的大规模训练。早期这个习惯帮我节省了至少两三个月的无效算力支出。别看探针实验有点繁琐它能让你对每个超参的手感越来越敏锐远比动不动就调网络结构高效。最后送大家一个小技巧真的想快速提升调优直觉就去多做单因子变量实验。每次只改一个超参同时固定其他所有条件记录 loss 曲线和验证集指标的变化。这看起来很简单但能坚持执行的人很少。我见过太多人同时改学习率、动量、batch size、weight decay结果出了任何问题都归因不清最后只能把模型翻来覆去地重训。优化器这东西说到底不是魔法而是你和梯度之间的一场长期磨合。耐心一点它的回报一定对得起你的投入。