1. 大模型训练里优化器到底在解决什么问题很多人第一次接触大模型训练注意力几乎都放在模型结构、数据规模、显卡数量上优化器往往被当成一个“调参黑盒”——反正就是 AdamW学习率设个 1e-4 或者 3e-4跑起来就完事了。但真正训练过百亿参数以上模型的人都知道优化器选错或者参数配错轻则收敛慢、loss 震荡重则直接训练崩溃几天几夜的算力打水漂。这一篇就专门把优化器这件事讲透从最基础的 SGD 一路聊到 AdamW、EMA再到最近讨论度很高的 Muon把每个优化器背后的逻辑、适用场景、实操参数和踩坑经验都摊开来说。优化器的本质是用什么样的规则去更新模型的参数。训练大模型的过程说白了就是在高维空间里找一个损失函数的低点。梯度告诉你“往哪个方向走能降低 loss”但具体走多远、要不要考虑历史方向、每个参数是不是要走不同的步长这些决策全部由优化器来做。SGD 是最朴素的走法Adam 系列是给每个参数自适应调整步长AdamW 是把权重衰减从梯度里解耦出来EMA 则是一种参数平滑手段严格说它不是优化器但在大模型训练里几乎和优化器绑定使用。为什么大模型训练对优化器这么敏感因为大模型的参数量动辄几十亿到上千亿损失曲面极其复杂存在大量鞍点、峡谷和不同尺度曲率的区域。同一个学习率在某些参数方向上可能太大导致震荡在另一些方向上又太小导致几乎不动。Adam 系列之所以成为主流就是因为它给每个参数维护了一阶矩和二阶矩估计相当于给每个参数配了一个“自适应步长”。但这个自适应机制也带来了新的问题比如权重衰减怎么处理、二阶矩估计的偏差怎么修正、显存开销怎么控制这些都是实战里绕不开的细节。这篇文章适合正在做或者准备做大模型训练的工程师也适合想搞清楚优化器原理的学生和研究者。我会尽量用生活化的类比把原理讲明白同时给出可以直接抄作业的参数配置和代码片段。需要说明的是文中涉及的实操步骤和参数建议一部分来自公开论文和常见实践一部分是我在实际训练中总结的经验具体数值需要根据你的模型规模、数据分布和硬件条件做调整不要无脑照搬。2. 从 SGD 到 AdamW优化器的演进逻辑2.1 朴素 SGD 为什么在大模型上不够用SGD 的更新公式简单到不能再简单参数沿着梯度的反方向走一步步长由学习率决定。用生活类比来说就像蒙着眼睛下山每一步都朝着脚下最陡的方向迈出固定大小的一步。这个策略在小模型、凸优化或者损失曲面比较平滑的场景下是够用的甚至在某些视觉任务里 SGD 加动量能跑出比 Adam 更好的泛化性能。但到了大模型训练SGD 的问题就暴露得很明显。第一损失曲面在不同方向上的曲率差异巨大固定学习率要么在陡峭方向震荡要么在平坦方向几乎不前进。第二大模型训练数据量极大梯度噪声很重朴素 SGD 对噪声非常敏感容易在局部区域来回抖动。第三SGD 对学习率极其敏感调参成本高而大模型训练一次动辄几十万甚至上百万根本没有那么多试错机会。我早期做过一个对比实验同样一个 1.3B 参数的模型用 SGD 加动量训练学习率从 0.1 一路降到 0.001loss 曲线始终不如 AdamW 平滑收敛速度也慢了一大截。当然这个结论不是绝对的如果你的任务对泛化要求极高、训练数据相对干净、算力充足到可以做精细的学习率调度SGD 仍然有它的价值。但对于绝大多数大模型训练场景SGD 已经不是首选。2.2 Adam 的自适应步长机制拆解Adam 的核心思想是给每个参数单独维护两个状态一阶矩估计梯度的指数移动平均反映方向和二阶矩估计梯度平方的指数移动平均反映幅度。更新的时候用一阶矩除以二阶矩的平方根相当于把每个参数的更新量归一化到一个相对稳定的尺度。这样一来梯度大的参数步长会被压小梯度小的参数步长会被放大整体更新更加平稳。这里有两个关键超参数beta1 和 beta2。beta1 控制一阶矩的衰减率通常设 0.9意味着当前梯度占 10% 权重历史方向占 90%。beta2 控制二阶矩的衰减率通常设 0.999 或 0.95大模型训练里更常见的是 0.95因为训练步数多、梯度分布变化快用 0.999 会导致二阶矩估计滞后对近期梯度变化反应不够灵敏。这个细节很多人会忽略直接沿用默认的 0.999结果训练后期 loss 下降变慢。还有一个容易被忽视的点是偏差修正。Adam 在训练初期一阶矩和二阶矩都是从零初始化会导致估计值偏向零。所以 Adam 做了一个偏差修正把估计值除以 (1 - beta^t)t 是当前步数。这个修正让训练初期的更新量不至于过小。但在大模型训练里如果你的 warmup 步数足够长偏差修正的影响其实会被 warmup 掩盖一部分不过仍然建议保留不要手动关掉。2.3 AdamW 的解耦权重衰减到底解耦了什么AdamW 和 Adam 的区别只有一个权重衰减的处理方式。在原始 Adam 里L2 正则化是加在梯度上的也就是 loss 里加上 weight_decay 乘以参数平方和然后求梯度。这样做的问题是权重衰减会被 Adam 的自适应机制“吃掉”——因为二阶矩估计会把权重衰减项也纳入归一化导致实际的正则化效果和预期不一致。AdamW 的做法是把权重衰减从梯度更新里拿出来直接在参数上做衰减参数先减去学习率乘以梯度归一化项再减去学习率乘以 weight_decay 乘以参数。这样一来权重衰减的强度不再受自适应步长的影响正则化效果更加可控。这个改动看起来很小但在大模型训练里影响很大尤其是当你需要精细控制模型的正则化强度时。实操中AdamW 的 weight_decay 通常设 0.1 或者 0.01。设 0.1 的时候正则化更强适合数据量相对模型规模偏小、容易过拟合的场景设 0.01 则更温和适合数据量极大、模型容量还没被充分利用的场景。我个人的经验是百亿参数以下的模型用 0.1 比较稳千亿以上的模型可以降到 0.01 甚至更低因为大模型本身就有很强的记忆能力过强的权重衰减反而会限制拟合。2.4 EMA 在训练里扮演的稳定器角色EMA 严格来说不是优化器而是一种参数平滑技术。它的做法是维护一份模型参数的影子副本每次更新的时候影子参数按照一定的衰减率向当前参数靠拢。公式很简单shadow decay * shadow (1 - decay) * current。decay 通常设 0.999 或者 0.9999越大越平滑。EMA 在大模型训练里的作用主要有两个。第一平滑训练后期的参数波动让最终保存的模型更加稳定。第二在评估和推理时使用 EMA 参数通常能获得比原始参数更好的泛化性能。很多大模型训练框架都会在训练后期开启 EMA或者全程开启但只在保存 checkpoint 时使用 EMA 参数。需要注意的是EMA 会额外占用一份模型参数的显存。对于千亿参数模型这意味着显存开销翻倍所以是否开启 EMA 要根据硬件条件权衡。如果显存紧张可以只在训练最后阶段开启或者降低 EMA 的更新频率。另外EMA 的 decay 值需要和训练步数匹配训练步数少的时候用太大的 decay 会导致影子参数更新太慢起不到平滑作用。3. 大模型训练中优化器参数怎么配才不炸3.1 学习率、beta 和 weight_decay 的联动关系优化器的参数从来不是孤立设置的学习率、beta1、beta2、weight_decay、warmup 步数、学习率调度策略这些参数之间存在强耦合。单独调某一个参数往往事倍功半必须放在一起考虑。先看学习率和 beta2 的关系。beta2 越大二阶矩估计越平滑对梯度噪声的抑制越强但同时对近期梯度变化的反应越慢。如果学习率设得比较大比如 3e-4 以上beta2 可以适当设大一点比如 0.999用更强的平滑来抵消大学习率带来的震荡。如果学习率设得比较小比如 1e-4 以下beta2 可以设 0.95 甚至 0.9让优化器对梯度变化更敏感加快收敛。再看 weight_decay 和学习率的关系。在 AdamW 里权重衰减的实际效果是学习率乘以 weight_decay。所以如果学习率调小了weight_decay 可以适当调大保持正则化强度不变。反过来如果学习率调大了weight_decay 要相应调小否则正则化过强会拖慢收敛。这个联动关系在调参的时候非常实用可以避免“调了学习率忘了调 weight_decay”导致的训练异常。下面这张表是我在实际训练中总结的几组常用配置适用于不同规模的模型可以作为起点参考具体还需要根据你的任务做微调。模型规模学习率beta1beta2weight_decaywarmup 步数1B 以下3e-40.90.950.15001B-10B2e-40.90.950.1100010B-100B1e-40.90.950.052000100B 以上6e-50.90.950.013000注意这张表里的学习率是峰值学习率实际训练中还需要配合 warmup 和余弦衰减或者线性衰减。warmup 步数不是越多越好太长会导致训练前期浪费算力太短则容易在训练初期震荡。3.2 梯度裁剪和优化器的配合方式梯度裁剪是大模型训练里几乎必开的保护机制它和优化器的配合方式直接影响训练稳定性。最常见的做法是按全局梯度范数裁剪设一个阈值比如 1.0如果所有参数梯度的全局范数超过这个阈值就等比例缩放所有梯度。这样做的目的是防止个别 batch 产生异常大的梯度导致参数更新过猛。梯度裁剪的阈值怎么定经验值是 1.0但这个值需要根据模型规模和任务调整。模型越大梯度范数的波动通常越大阈值可以适当放宽到 2.0 甚至 5.0。如果阈值设得太小梯度被频繁裁剪相当于变相降低了学习率训练会变慢。如果设得太大起不到保护作用训练仍然可能震荡。还有一个细节是裁剪的时机。梯度裁剪应该在优化器更新之前做而且要在所有梯度都计算完之后做全局裁剪而不是逐层裁剪。逐层裁剪会破坏不同层之间的梯度比例关系影响优化器的自适应机制。另外如果你用了混合精度训练梯度裁剪要在 loss scaling 之后做否则裁剪的是缩放后的梯度阈值就不准了。我在训练一个 7B 模型的时候遇到过一次 loss 突然飙升的情况排查下来发现是某个 batch 的梯度范数达到了几百远超正常水平。当时梯度裁剪阈值设的是 1.0按理说应该被裁掉但检查代码发现裁剪是在 loss scaling 之前做的导致实际裁剪的是缩放后的梯度阈值形同虚设。改成在 loss scaling 之后裁剪问题就解决了。这个坑很隐蔽建议大家在代码里加一行日志打印每次裁剪前的梯度范数方便排查。3.3 学习率调度策略对优化器效果的影响学习率调度策略决定了学习率在训练过程中怎么变化它和优化器是协同工作的。大模型训练最常用的调度策略是 warmup 加余弦衰减也就是训练初期学习率从零线性上升到峰值然后按照余弦曲线慢慢衰减到接近零。warmup 的作用是让优化器在训练初期不要更新太猛。因为训练刚开始的时候模型参数是随机初始化的梯度方向可能很不靠谱如果直接用大学习率很容易把参数带到不好的区域。warmup 让学习率慢慢升上去给优化器时间建立稳定的矩估计。warmup 步数一般占总训练步数的 1% 到 5%具体取决于模型规模和数据量。余弦衰减的好处是训练后期学习率下降得越来越慢让模型有足够的时间在低学习率区域精细调整。相比线性衰减余弦衰减在训练末期的学习率更小通常能获得更低的最终 loss。不过余弦衰减也有缺点就是训练后期的学习率太小如果训练步数不够模型可能还没充分收敛就结束了。这时候可以考虑用带重启的余弦衰减或者改用线性衰减加一个最小学习率下限。还有一种调度策略是分段常数衰减也就是在固定的步数节点把学习率乘以一个衰减系数比如 0.1。这种策略在早期的大模型训练里比较常见现在用得少了因为它的学习率变化太突兀容易导致 loss 震荡。不过在某些特定任务里分段常数衰减配合精细调参仍然有效。3.4 显存优化优化器状态占用的那部分怎么省大模型训练里优化器状态占用的显存往往比模型参数本身还大。以 AdamW 为例每个参数需要维护一阶矩和二阶矩两个状态加上参数本身和梯度总共是四份数据。如果模型是 100 亿参数用 fp32 存储光这些就是 160GB 显存还没算激活值和中间结果。所以显存优化是大模型训练的核心问题之一。最常用的省显存方法是混合精度训练加优化器状态分片。混合精度训练让参数和梯度用 fp16 或 bf16 存储优化器状态仍然用 fp32这样参数和梯度的显存占用减半。优化器状态分片则是把优化器状态分散到多张卡上每张卡只维护一部分参数对应的状态用通信换显存。ZeRO 系列就是做这个的ZeRO-1 分片优化器状态ZeRO-2 再分片梯度ZeRO-3 连参数也分片。另一个方法是使用 8-bit 优化器比如 bitsandbytes 库提供的 8-bit AdamW。它把一阶矩和二阶矩量化到 8 位存储显存占用降到原来的四分之一精度损失在可接受范围内。我在一些中小规模模型上用过 8-bit AdamW训练曲线和 fp32 版本几乎一致但显存节省非常明显。不过对于超大规模模型8-bit 量化带来的精度损失可能会累积需要谨慎评估。还有一个容易被忽略的点是优化器状态的初始化。AdamW 的一阶矩和二阶矩默认初始化为零这意味着训练刚开始的时候优化器状态占用的显存是实打实的不会因为初始值为零就省掉。所以显存规划的时候要把这部分算进去不要等到训练启动才发现 OOM。4. Muon 优化器大模型训练的新变量4.1 Muon 和 AdamW 的本质差异Muon 是最近在大模型训练圈子里讨论比较多的一个优化器它的全称是 Momentum Orthogonalized by Newton-Schulz核心思想是对动量做正交化处理。和 AdamW 最大的区别在于AdamW 是逐参数自适应调整步长而 Muon 是在矩阵层面做更新利用 Newton-Schulz 迭代把动量矩阵正交化让更新方向更加“正交”从而在不同参数方向上更均匀地分配更新量。用生活类比来说AdamW 像是一个经验丰富的向导根据每个方向的历史路况单独调整步伐Muon 则像是一个团队教练强调整体队形的协调性让所有方向上的更新保持某种正交关系避免某些方向更新过猛而另一些方向几乎不动。这个思路在理论上更优雅实际效果在一些公开实验里也显示出比 AdamW 更快的收敛速度和更好的最终性能。但 Muon 并不是没有代价。Newton-Schulz 迭代本身有计算开销虽然可以通过近似和并行化来降低但相比 AdamW 的逐元素操作Muon 的矩阵操作对硬件的要求更高。另外Muon 的超参数调节逻辑和 AdamW 不同学习率的量级和 warmup 策略都需要重新摸索不能直接套用 AdamW 的经验。4.2 Muon 在实际训练中的适用边界Muon 目前更适合矩阵参数也就是权重矩阵对于偏置项、LayerNorm 参数这些一维参数通常还是用 AdamW 或者 SGD 来处理。所以实际训练中往往是混合使用矩阵参数用 Muon其他参数用 AdamW。这种混合策略需要仔细设计参数分组和更新逻辑代码复杂度比纯 AdamW 高不少。从公开的实验结果看Muon 在中等规模模型上1B 到 10B表现不错收敛速度比 AdamW 快 10% 到 20%最终 loss 也略低。但在超大规模模型上Muon 的优势是否还能保持目前还没有特别一致的结论。一方面大模型的矩阵维度更大Newton-Schulz 迭代的近似误差可能累积另一方面大模型训练对稳定性的要求极高Muon 相对激进的更新方式可能带来额外的震荡风险。我的建议是如果你正在训练 10B 以下的模型并且有足够的工程能力去实现和调试 Muon可以尝试一下可能会带来意外的收益。但如果你在训练百亿以上的模型或者团队工程资源有限建议还是以 AdamW 为主Muon 可以作为后续的优化方向等社区有更多大规模验证结果之后再跟进。4.3 从 AdamW 迁移到 Muon 的实操注意事项如果你决定尝试 Muon从 AdamW 迁移的时候有几个关键点需要注意。第一学习率的量级要重新调。Muon 的更新量经过正交化之后范数和 AdamW 不一样直接沿用 AdamW 的学习率大概率会出问题。通常需要把学习率调小一个量级比如从 3e-4 降到 3e-5然后慢慢往上试。第二warmup 策略要调整。Muon 的更新方向在训练初期可能波动更大warmup 步数可以适当加长给优化器更多时间稳定下来。第三梯度裁剪的阈值也要重新设。Muon 对梯度范数的敏感度和 AdamW 不同原来的裁剪阈值可能不再适用需要根据实际训练曲线重新确定。第四监控指标要加。除了常规的 loss 和梯度范数建议额外监控更新量的范数和正交化误差这些指标能帮你判断 Muon 是否在正常工作。如果更新量范数突然变大或者正交化误差持续偏高说明优化器可能出了问题需要及时干预。提示Muon 目前还处于快速演进的阶段不同框架的实现细节可能有差异使用前务必仔细阅读对应框架的文档和源码不要盲目照搬别人的配置。5. 优化器相关的常见故障和排查思路5.1 loss 震荡不下降的排查链路loss 震荡是大模型训练里最常见的问题之一优化器往往是首要怀疑对象。排查的时候不要一上来就改优化器参数而是按照从外到内的顺序逐步定位。第一步检查数据。数据里有没有异常样本、标签错误、重复数据这些都会导致 loss 震荡。可以先用小批量数据做一次过拟合测试如果模型连小批量数据都拟合不了那问题大概率在数据或者模型结构不在优化器。第二步检查学习率。学习率太大是最常见的震荡原因。可以先把学习率降一个量级看 loss 是否变得平滑。如果降了之后 loss 下降变慢但不再震荡说明原来的学习率确实偏大可以在两者之间找一个平衡点。第三步检查梯度裁剪。如果梯度裁剪阈值设得太大或者根本没开异常梯度会直接传到优化器导致参数更新过猛。打印每次更新的梯度范数看看有没有异常大的值。第四步检查优化器状态。如果用了混合精度训练优化器状态有没有正确地从 fp32 转换到 fp16 再转回来如果用了优化器状态分片分片之间的同步有没有问题这些细节出问题都会导致 loss 震荡。第五步检查 beta2 和 weight_decay。beta2 太小会让二阶矩估计噪声大更新方向不稳定weight_decay 太大则会让参数被过度拉向零loss 下降受阻。可以尝试把 beta2 调大一点weight_decay 调小一点看是否有改善。5.2 梯度爆炸和消失的优化器侧应对梯度爆炸和消失虽然根源在模型结构和数据但优化器的配置可以在一定程度上缓解。对于梯度爆炸最直接的手段是梯度裁剪前面已经讲过。除此之外降低学习率、增大 beta2、加长 warmup 都能起到辅助作用。如果梯度爆炸频繁发生还需要检查模型初始化、LayerNorm 的位置、残差连接的设计这些结构因素往往才是根本原因。梯度消失在大模型里相对少见因为残差连接和 LayerNorm 已经很大程度上缓解了这个问题。但如果你的模型很深或者没有用残差连接梯度消失仍然可能发生。优化器侧能做的有限主要是用 Adam 系列的自适应步长来放大梯度小的参数的更新量。不过这只是治标治本还是要从模型结构入手。有一个容易被忽略的点是梯度消失和梯度爆炸可能同时存在于模型的不同层。浅层梯度爆炸、深层梯度消失这种情况用统一的梯度裁剪阈值很难处理好。可以考虑分层设置裁剪阈值或者用自适应梯度裁剪根据每层梯度的历史统计动态调整阈值。不过这些方法会增加实现复杂度建议先确认问题确实存在再上。5.3 优化器状态异常导致训练中断的处理优化器状态异常通常表现为 loss 突然变成 NaN 或者 Inf训练直接中断。排查的时候首先要定位是哪个参数或者哪个优化器状态出了问题。可以在每次更新后检查优化器状态里有没有 NaN 或 Inf一旦发现就打印对应的参数名和状态值。常见的原因有几个。一是学习率太大导致参数更新溢出尤其是在混合精度训练里fp16 的数值范围有限大更新量容易溢出。这时候可以降低学习率或者改用 bf16bf16 的数值范围和 fp32 一样不容易溢出。二是权重衰减和梯度更新叠加后溢出可以尝试减小 weight_decay。三是优化器状态初始化有问题比如从 checkpoint 恢复训练时状态没有正确加载导致矩估计异常。如果训练已经中断可以从最近的 checkpoint 恢复但要注意 checkpoint 里保存的优化器状态是否完整。有些框架默认只保存模型参数不保存优化器状态恢复训练后优化器状态重新初始化会导致训练曲线出现跳变。建议在保存 checkpoint 的时候把优化器状态一起保存虽然会占用更多存储空间但能保证恢复训练的一致性。6. 我在优化器调参上踩过的几个坑第一个坑是盲目相信默认参数。刚开始做大模型训练的时候我直接用了框架里 AdamW 的默认参数beta2 是 0.999weight_decay 是 0.01。结果训练一个 3B 模型loss 下降到一定程度就卡住了怎么调学习率都没用。后来把 beta2 改成 0.95weight_decay 改成 0.1loss 才继续往下走。这个经历让我明白默认参数是为通用场景设计的大模型训练有自己的特点必须根据实际情况调整。第二个坑是忽略了 warmup 和优化器的配合。有一次我把 warmup 步数设得很短只有 100 步结果训练刚开始 loss 就飙到很高然后慢慢降下来但最终 loss 比正常情况差了一截。后来分析发现warmup 太短导致优化器在矩估计还没稳定的时候就用了大学习率参数被带到了不好的区域虽然后面慢慢拉回来了但已经损失了训练效率。从那以后我至少会把 warmup 步数设到总步数的 1% 以上。第三个坑是 EMA 的 decay 设得太大。有一次我用 EMA 做参数平滑decay 设了 0.9999训练步数只有 1 万步。结果 EMA 参数几乎没怎么更新评估的时候用的还是接近初始化的参数效果自然很差。后来把 decay 改成 0.999并且只在训练最后 20% 的步数开启 EMA效果就正常了。EMA 的 decay 要和训练步数匹配步数少的时候用太小的 decay 没意义用太大的 decay 又跟不上。第四个坑是混合精度训练里优化器状态没处理好。有一次我用 fp16 训练优化器状态也用 fp16 存储结果训练到中期 loss 开始震荡最后直接 NaN。排查发现是二阶矩估计在 fp16 下精度不够累积误差导致更新量异常。改成优化器状态用 fp32 存储问题就解决了。混合精度训练里参数和梯度可以用低精度但优化器状态最好保持 fp32这个细节很多教程不会强调但实际训练里非常关键。第五个坑是梯度裁剪和 loss scaling 的顺序搞反了。前面提过这个案例这里再强调一下。混合精度训练里loss 会先乘以一个 scaling factor 再反向传播得到的梯度也是缩放后的。如果梯度裁剪在 loss scaling 之前做裁剪的就是缩放后的梯度阈值完全不准。正确的顺序是先用 scaling factor 把梯度还原再做裁剪最后传给优化器更新。这个顺序错了梯度裁剪基本失效训练稳定性会大打折扣。7. 优化器选型和调参的实用建议优化器选型没有银弹关键是要匹配你的模型规模、数据特点、硬件条件和训练目标。对于绝大多数大模型训练场景AdamW 仍然是默认首选它的稳定性、成熟度和社区支持都是最好的。如果你在训练中小规模模型并且追求更快的收敛速度可以尝试 Muon 或者 Lion 等新型优化器但要做好调参和调试的准备。调参的时候建议遵循“一次只改一个参数”的原则并且记录每次改动后的 loss 曲线和梯度范数。大模型训练一次成本很高不可能做大规模的网格搜索所以更需要有策略地调参。我的习惯是先固定其他参数只调学习率找到 loss 下降最快且不震荡的区间然后再调 beta2 和 weight_decay最后调 warmup 和调度策略。每一步都保存 checkpoint 和训练日志方便回溯。另外不要忽视监控的重要性。优化器的健康状态可以通过几个关键指标来判断梯度范数、更新量范数、优化器状态的均值和方差、学习率的实际值。这些指标建议用 TensorBoard 或者 WandB 记录下来训练出问题的时候第一时间看曲线比盲目改参数高效得多。最后说一点个人体会。优化器这个领域看起来已经很成熟了但实际上还有很多值得探索的空间。Muon 的出现说明社区还在不断寻找更好的更新规则未来可能还会有新的优化器冒出来。作为从业者保持对新技术的好奇心同时保持对基础原理的敬畏这两点同样重要。不要因为 AdamW 用得好就拒绝尝试新东西也不要因为某个新优化器在论文里效果好就无脑上生产环境。小规模验证、逐步迁移、充分监控这套方法论在优化器选型上同样适用。