1. 从模型能跑到模型跑得省Model-Optimizer 到底在解决什么问题模型优化这件事很多人第一次接触都是在模型已经能跑通、但部署起来处处别扭的时候。训练脚本里 loss 降得挺漂亮一到推理阶段就发现显存吃紧、延迟偏高、吞吐上不去或者换了个硬件平台精度就掉得厉害。这时候你需要的不是重新设计网络结构而是一套系统性的优化手段——Model-Optimizer 就是在这个环节里发挥作用的东西。它不是一个单独的算法而是一类围绕模型压缩与加速的工具集合的统称。核心目标很明确在尽量不损失精度的前提下让模型变得更小、更快、更省资源。具体手段包括量化、剪枝、知识蒸馏、算子融合、图优化等。不同框架下叫法不一样但底层逻辑是相通的。这篇文章适合三类人看。第一类是做模型部署的工程师手里有已经训练好的模型需要把它塞进有限的显存或边缘设备里第二类是做推理服务优化的开发者关注吞吐和延迟指标第三类是想系统了解模型优化技术栈的学习者希望把零散的知识点串成一条完整的链路。我会从实际使用角度出发把 Model-Optimizer 涉及的核心技术点、选型逻辑、实操步骤和踩坑经验讲清楚尽量做到看完就能上手试。需要先说明一点模型优化没有银弹。量化可能掉点剪枝可能破坏结构蒸馏需要额外训练成本。每个手段都有它的适用边界关键是搞清楚你的瓶颈到底在哪再对症下药。2. 量化最直接也最容易踩坑的压缩手段2.1 量化的本质是把浮点数映射到低位宽整数量化说白了就是用更少的比特来表示原本的浮点参数和激活值。FP32 是 32 位INT8 是 8 位理论上模型体积能压到原来的四分之一内存带宽需求也同步下降。但这个过程不是简单地把小数截断成整数而是要通过一个映射关系real_value scale * (quantized_value - zero_point)。scale 是缩放因子zero_point 是零点偏移这两个参数决定了量化的精度损失程度。为什么需要 zero_point因为浮点数的分布不一定关于零对称。比如 ReLU 之后的激活值全是非负的如果强行用对称量化一半的整数范围就浪费了。非对称量化能更充分地利用有限的整数区间代价是计算稍微复杂一点。实际做量化的时候你会遇到两个层面的选择量化什么以及怎么量化。量化什么指的是权重量化、激活量化还是两者都做。只量化权重相对安全因为权重是静态的可以离线统计分布激活量化难度更大因为激活值随输入变化需要校准数据集来估计动态范围。怎么量化指的是训练后量化PTQ和量化感知训练QAT。PTQ 不需要重新训练拿训练好的模型直接转速度快但精度损失可能较大QAT 在训练过程中模拟量化误差让模型提前适应精度更好但需要额外的训练资源和时间。2.2 PTQ 的实操流程与校准集选择PTQ 的典型流程分四步准备模型、准备校准数据、运行校准、导出量化模型。以常见的深度学习框架为例大致是这样的# 伪代码示意不同框架 API 不同 from optimizer import Quantizer quantizer Quantizer(model, backendint8) quantizer.set_calibration_data(calib_loader, num_samples500) quantizer.calibrate() quant_model quantizer.convert() quant_model.save(model_int8)校准集的选择是 PTQ 里最容易被忽视但影响很大的环节。很多人随手拿训练集的一个 batch 就去校准结果量化后精度崩了。校准集应该尽量覆盖真实推理时的输入分布样本数量一般在 100 到 1000 之间。太少统计不准太多没必要且浪费时间。我自己的经验是如果做图像分类从验证集里分层采样保证每个类别都有足够样本如果做检测或分割要确保校准集里包含各种尺度的目标如果是 NLP 任务序列长度的分布要贴近实际推理场景。校准集选得好PTQ 的精度损失通常能控制在 1% 以内。2.3 QAT 什么时候值得上QAT 不是必须的但有些情况下不上不行。判断标准很简单先跑 PTQ如果精度掉得超过可接受范围再考虑 QAT。具体来说以下几种情况 PTQ 往往不够用模型本身比较小参数冗余少量化误差没有缓冲空间任务对精度极度敏感比如医学图像分割、金融风控量化位宽低于 8 位比如 INT4 或二值化模型包含大量深度可分离卷积或注意力结构这些对量化更敏感QAT 的核心是在前向传播中插入伪量化节点模拟量化带来的舍入误差反向传播时用直通估计器STE把梯度传过去。训练时通常先用较高的学习率微调几个 epoch再降下来精细调整。整个 QAT 过程一般需要原始训练 10% 到 20% 的算力。注意QAT 训练时的伪量化节点在导出时要正确折叠进权重否则推理时会多出额外的计算开销。不同框架的折叠逻辑不一样导出后务必用数值对比验证一遍。2.4 量化踩坑实录那些文档里不会写的问题第一个坑是算子不支持。不是所有算子都有量化实现遇到不支持的算子框架通常会回退到浮点计算导致量化模型里混着 FP32 算子加速效果大打折扣。解决办法是提前查框架的量化算子支持列表或者把不支持的算子替换成等价的支持算子。第二个坑是精度评估方式不对。量化后不能只看整体指标要分类别、分场景看。我遇到过一次整体准确率只掉了 0.3%但某个关键类别掉了 8%这种问题在整体指标里完全看不出来。第三个坑是校准数据的预处理不一致。训练时的归一化参数、resize 方式、通道顺序在校准时必须和推理时完全一致。差一个均值或标准差量化范围就偏了。3. 剪枝去掉冗余参数的艺术3.1 结构化剪枝与非结构化剪枝的分野剪枝的思路是把模型中不重要或冗余的参数去掉。但去掉的方式不同带来的效果差异巨大。非结构化剪枝是把单个权重置零产生稀疏矩阵。理论上压缩率可以很高但通用硬件对稀疏矩阵的加速支持有限实际推理速度提升往往不明显。除非你有专门支持稀疏计算的硬件或库否则非结构化剪枝更多是理论上的压缩。结构化剪枝是直接去掉整个通道、整个头或整个层。这样得到的模型是稠密的通用硬件都能加速。代价是剪枝粒度粗可能误伤重要结构精度损失相对更大。实际工程中结构化剪枝用得更多因为它能真正带来推理加速。非结构化剪枝主要用于研究或特定硬件场景。3.2 重要性评估怎么判断哪些参数该剪剪枝的核心问题是怎么衡量一个参数或一个通道的重要性常见的方法有几种。基于权重大小的方法最简单绝对值小的权重被认为不重要。这个假设在很多模型上成立但并非总是可靠。有些小权重可能对特定输入影响很大。基于梯度的方法看参数对损失的敏感度梯度大的参数重要。这需要在训练集上算梯度计算成本较高。基于激活的方法统计通道输出的方差或均值输出变化小的通道可能冗余。这个方法需要跑一遍数据但比梯度方法便宜。还有基于 BN 层缩放因子的方法在带 BN 的网络上特别方便BN 的 gamma 系数接近零的通道可以直接剪掉因为后续的缩放几乎不起作用。我通常的做法是先用 BN 缩放因子做粗剪再用激活统计做细调。两步走比一步到位更稳。3.3 剪枝后的微调策略剪枝一定会掉精度关键是掉多少以及能不能补回来。微调是标准操作但怎么微调有讲究。学习率不能太大否则被剪掉的结构还没来得及重新平衡模型就发散了。一般用原始训练学习率的十分之一到百分之一。微调的 epoch 数取决于剪枝比例剪得越多需要越多轮次恢复。有个技巧是渐进式剪枝不要一次剪到位而是分多轮每轮剪一点然后微调再剪再微调。这样模型有缓冲时间最终能达到更高的压缩率而不崩。比如目标剪 50%可以分五轮每轮剪 10%。另一个技巧是层间剪枝比例差异化。浅层特征通常更通用剪多了伤基础深层特征冗余度更高可以多剪。按经验浅层剪 10% 到 20%深层剪 40% 到 60% 比较合理。3.4 剪枝的边界什么时候不该剪剪枝不是万能的。如果模型本身已经很小很紧凑剪枝空间有限强行剪只会掉点。如果任务对精度要求极高剪枝带来的收益可能抵不上精度损失。如果推理瓶颈不在计算量而在内存带宽或 IO剪枝帮助也不大。判断是否值得剪枝先做个简单的计算剪枝后理论 FLOPs 下降多少实际推理速度提升多少精度掉了多少。三个数字放在一起看划算就做不划算就换别的优化手段。4. 知识蒸馏让小模型学会大模型的本事4.1 蒸馏的基本框架与温度参数的作用知识蒸馏是让一个小模型学生去模仿一个大模型教师的输出。核心思想是教师输出的软标签soft label比真实硬标签包含更多信息比如类别之间的相似性关系这些信息能帮助学生更好地学习。蒸馏损失通常由两部分组成学生输出和真实标签的交叉熵以及学生输出和教师输出的 KL 散度。温度参数 T 控制软标签的平滑程度。T 越大概率分布越平滑类别间的相对关系越明显T 越小越接近硬标签。T 的选择没有固定公式一般从 2 到 10 之间试。任务类别越多T 可以适当大一些。蒸馏损失和真实标签损失的权重也需要调通常蒸馏损失占大头比如 0.7 到 0.9。4.2 特征蒸馏与注意力蒸馏的进阶玩法只蒸馏输出层是最基础的做法。进阶做法是蒸馏中间层的特征或注意力图。特征蒸馏是让学生中间层的输出去逼近教师中间层的输出。但两者维度可能不一样需要加一个投影层做对齐。投影层可以是简单的线性变换也可以是小型的卷积网络。注意力蒸馏是让学生模仿教师的注意力分布。这在 Transformer 类模型上特别有效因为注意力图直接反映了模型关注哪些位置。蒸馏注意力图比蒸馏最终输出能传递更结构化的知识。实际用的时候不必所有层都蒸馏。选择关键层比如每个 stage 的最后一层或者注意力最集中的几层效果往往比全蒸馏更好计算成本也更低。4.3 蒸馏实操中的常见问题第一个问题是教师不够强。如果教师本身精度就不高学生学到的上限也有限。蒸馏的前提是教师足够好最好是同任务上的 SOTA 或接近 SOTA 的模型。第二个问题是容量差距过大。学生太小教师太大学生学不动。一般建议学生参数量不低于教师的十分之一。差距太大时可以先蒸馏一个中间模型再从中等模型蒸馏到小模型分步走。第三个问题是训练数据不匹配。蒸馏用的数据分布要和实际任务一致。如果拿通用数据蒸馏一个特定领域的模型效果会打折扣。有条件的话用领域数据做蒸馏。5. 图优化与算子融合不改变数值的加速5.1 计算图层面的优化在做什么图优化是在不改变模型数值结果的前提下通过重组计算图来减少计算量和内存访问。常见的手段包括常量折叠、死代码消除、算子融合、内存复用等。常量折叠是把能在编译期算出来的部分提前算好。比如卷积层的 BN 参数可以折叠进卷积权重推理时就少了一次 BN 计算。这个操作在推理框架里通常是自动做的但你要知道它存在才能理解为什么导出的模型和训练时的结构不一样。死代码消除是去掉对输出没有贡献的节点。剪枝之后经常会有一些孤立的节点图优化会把它们清理掉。算子融合是把多个小算子合并成一个大算子。比如 Conv BN ReLU 可以融合成一个算子减少内核启动次数和中间张量的读写。这个对 GPU 推理的加速效果很明显因为 GPU 上内核启动和内存访问的开销往往比计算本身还大。5.2 融合的边界与验证方法算子融合不是越多越好。有些融合会改变数值精度比如把多个小算子融合成一个大算子后中间结果的精度可能下降。有些融合会限制后续优化的空间比如融合后无法再做某些图变换。验证融合是否正确最直接的方法是对比融合前后的输出。用同一批输入跑两个模型逐层对比输出差异。如果差异在可接受范围内比如 1e-5说明融合没问题。如果差异很大就要定位是哪个融合步骤出了问题。提示图优化通常在推理框架的转换工具里完成比如导出 ONNX 后再用推理引擎加载。不同推理引擎的优化策略不同同一个模型在不同引擎上的加速效果可能差很多。选引擎时不能只看 benchmark要拿自己的模型实测。5.3 内存复用与布局优化内存复用是让不同的张量共享同一块内存前提是它们的生命周期不重叠。这个优化对显存受限的场景特别有用能显著降低峰值显存占用。布局优化是调整张量在内存中的排列方式让访存更连续。比如 NHWC 和 NCHW 两种布局在不同硬件上的性能差异可能很大。GPU 上通常 NHWC 对卷积更友好因为通道维度连续便于向量化读取。这些优化通常是推理框架自动做的但你可以通过调整输入形状、batch size 等参数来影响框架的优化决策。比如固定输入形状能让框架做更激进的优化动态形状则限制优化空间。6. 优化策略选型先诊断再开药6.1 定位瓶颈计算密集还是访存密集优化之前先搞清楚瓶颈在哪。用 profiling 工具跑一遍模型看时间花在哪些算子上。如果大部分时间花在卷积或矩阵乘上说明是计算密集量化、剪枝、蒸馏都有帮助。如果时间花在内存拷贝、格式转换、小算子启动上说明是访存密集或调度密集图优化和算子融合更对症。还有一个简单判断方法看模型的算术强度即每字节内存访问对应的浮点运算次数。算术强度高的是计算密集低的是访存密集。Transformer 类模型在长序列下往往是访存密集CNN 在中大分辨率下往往是计算密集。6.2 组合拳多种优化手段的叠加顺序实际项目中很少只用一种优化手段。组合使用时顺序很重要。一般建议先做图优化和算子融合这是无损的先拿到免费收益再做剪枝去掉冗余结构让后续量化更容易然后做量化进一步压缩和加速如果精度不够用蒸馏补回来或者用 QAT 替代 PTQ这个顺序不是绝对的。如果剪枝后精度掉太多可以先蒸馏再剪枝。如果量化对结构敏感可以先量化再剪枝。关键是根据实测结果调整。6.3 精度与速度的权衡表优化手段典型压缩率典型加速比精度损失额外成本INT8 PTQ4x2-4x0.5-2%低INT8 QAT4x2-4x0.1-0.5%中结构化剪枝 50%2x1.5-2.5x1-3%中知识蒸馏取决于学生取决于学生1-5%高算子融合无1.2-2x无低这张表是经验值具体数字因模型、任务、硬件而异。用的时候把它当参考实际以实测为准。7. 我在实际项目里总结的几条经验第一条不要过早优化。模型还没调好就去搞量化剪枝等于在流沙上盖房子。先把模型精度做到满意再考虑优化。第二条每次只改一个变量。同时上量化和剪枝精度掉了都不知道是谁的锅。一个一个来每个手段单独评估再组合。第三条保留完整的评估流水线。优化后的模型要用和原始模型完全相同的评估脚本、相同的测试集、相同的指标计算方式。任何不一致都会导致误判。第四条关注端到端指标。算子级别的加速不等于端到端加速。预处理、后处理、数据传输都可能成为新瓶颈。优化后一定要测端到端延迟和吞吐。第五条做好版本管理。每个优化版本对应的模型文件、配置文件、评估结果都要存档。优化过程往往是反复试错没有版本管理会乱成一团。最后分享一个我常用的检查清单每次优化后过一遍精度指标是否在可接受范围端到端延迟是否下降峰值显存是否下降模型文件大小是否下降是否有算子回退到浮点不同 batch size 下性能是否稳定边界输入空输入、极值输入是否正常这套流程走下来基本能保证优化是有效的而不是自欺欺人的。模型优化这件事说到底是在约束条件下找最优解约束可能是显存、延迟、精度或成本搞清楚约束是什么优化方向自然就清晰了。