上个月把一个 7B 的开源对话模型压到 INT8 之后显存占用基本砍半推理吞吐也提了一截。量化这两个字放在半年前我还会犹豫怕掉点怕部署踩坑现在我的习惯是接到部署任务先想能不能先量化一版试试。这里说的量化不是金融领域那个量化交易而是把深度学习模型的权重和激活从 FP32/FP16 降到 INT8 甚至更低精度。量化最大的意义不是“牺牲精度换速度”而是在大多数场景下用很小的精度代价换取部署成本的直线下降。这篇文章是“模型部署与推理优化”系列的第二篇重点拆解 INT8 矩阵乘、校准、QAT 和 LLM 量化这几个核心环节同时把我在实际部署中踩过的一些坑一并写出来。不管你是刚开始做模型转换还是已经在用 TensorRT、ONNX Runtime 调优这篇文章应该都能给你一些参考。1. 量化原理先搞清楚我们在优化什么1.1 部署时为什么要动数值精度先算一笔账。一个 FP32 模型1 亿参数就是 400MB 权重如果是 7B 参数的大模型FP32 差不多要 28GBFP16 也要 14GB。显存和内存容量是一方面更重要的是推理过程中的访存带宽。GPU 或 CPU 在执行矩阵乘时需要不断把权重和中间激活从显存/内存搬到计算单元数据位宽越宽搬运时间越长计算单元空等的概率越高。所以量化解决的其实是两个问题一是把模型“塞进去”二是让推理“跑得快”。把 FP32 换成 INT8 之后权重体积直接变成原来的四分之一带宽压力同样降低。很多现代 GPU 还专门为 INT8 准备了 TensorCore 或类似单元INT8 矩阵乘的峰值算力往往是 FP32 的好几倍。这样一来同样一次矩阵乘计算时间和访存时间都有希望明显下降。不过量化不是免费的午餐。把 32 位浮点数压缩到 8 位整数本质上是在做有损压缩。我们需要知道损失来自哪里才能控制它。1.2 INT8 矩阵乘的数学原理与实际计算量化最常见的映射是对称量化。假设有一组浮点数值 r我们想把它转成 INT8 的 q范围是 [-127, 127]。先找到这组数据的绝对值最大值算出缩放系数 scalescale max_abs / 127 q round(r / scale)反量化的时候再用 q 乘以 scale 还原成浮点近似值r_approx q * scale这个过程可以理解成“拿一把尺子去量一个连续变化的值”尺子的刻度就是 scale。刻度越粗量化误差越大。非对称量化还要引入 zero point也就是浮点 0 对应的整数偏移。它的公式是scale (max_val - min_val) / (q_max - q_min) zero_point round(q_min - min_val / scale)实际推理里我们做的往往是矩阵乘 Y X W。如果 X 和 W 分别量化成 qX 和 qW理论上可以把整个矩阵乘放在整数域完成import numpy as np def quantize_symmetric(x): scale max(abs(x.min()), abs(x.max())) / 127.0 q np.clip(np.round(x / scale), -127, 127).astype(np.int8) return q, scale def quantized_matmul(qX, qW, sx, sw): # 用 int32 累加防止 int8 乘积溢出 qY qX.astype(np.int32) qW.astype(np.int32) Y qY * (sx * sw) return Y为什么累加要用 int32因为两个 INT8 相乘最大是 127×12716129再加一批结果单个 INT8 根本装不下。常见做法是整数矩阵乘在 INT8 输入下做但以 INT32 累加最后再乘一个标量系数还原。你不需要在每一步都反量化回浮点这样才能省掉大量不必要的转换开销。1.3 FP16、BF16、INT8、FP32 到底差在哪很多新手第一个问题是FP16 也是 16 位BF16 也是 16 位INT8 只有 8 位是不是 FP16 一定比 INT8 好其实不是。它们的数据表示方式完全不同。精度位宽大致范围主要用途推理加速潜力FP3232±3.4e38训练与推理基准对照基准FP1616±65504混合训练、推理有 TensorCore 时可接近翻倍BF1616与 FP32 接近大模型训练稳定性好一般不是首选INT88-128 ~ 127推理压缩存储和带宽收益最大FP16 和 BF16 都是浮点但 BF16 把更多位留给了指数动态范围大尾数精度低训练大模型时不容易溢出。INT8 则是纯整数动态范围有限但表示简单、计算密度高。对纯推理而言INT8 是性价比最高的一条路但前提是目标硬件支持 INT8 算子否则可能被反量化到浮点拖慢速度这个后面会细说。2. 校准量化误差的“源头控制”2.1 校准集怎么选、选多少权重的量化范围可以直接由权重数值决定但激活值的范围是模型推理时动态产生的必须靠喂一批真实数据去统计。这个过程就是校准。校准结果直接决定 scale 和 zero point 给多少选不好模型掉点可能非常离谱。校准集第一个原则是“贴近真实部署分布”。比如你部署的图像分类模型最终要处理夜间监控截图校准集就不要全用标准白天图片。第二个原则是样本量适中我一般取 100 到 500 条之间。太少了统计出的范围容易漏掉少数关键特征太多了校准时间变长收益却不明显。还有一个容易忽略的点校准阶段的数据预处理必须跟推理完全一致包括归一化参数、输入尺寸、通道顺序任何不一致都会让统计失真。不建议直接拿完整训练集做校准训练集分布虽然全面但可能包含大量与真实场景不符的样本反而把 scale 拉偏。比较稳的做法是从验证集里随机抽一批有代表性的子集或者按照真实请求日志抽样本。2.2 四种常用校准方法对比量化范围不是简单看 min 和 max 就行。统计激活值后常用的校准方法有四种MinMax直接使用激活值的最小最大值确定范围。简单但只要出现一个异常大值scale 就会被拉大正常小数值的精度全被牺牲。Percentile取比如 99.99% 分位点作为最大值。对离群值更鲁棒实际项目里最常用。MSE在给定范围内尝试不同裁剪点选择让量化前后误差最小的那个。一般效果不错但计算稍贵。KL 散度TensorRT 的经典校准方式衡量原始浮点分布和量化整数分布的 KL 散度选择信息损失最小的范围。这些方法不是越复杂越好。如果激活分布比较均匀MinMax 就够用如果明显有长尾Percentile 和 KL 更安全。实际工程中我习惯先跑一遍 Percentile再看关键层精度如果局部层掉点再针对这些层单独调整。2.3 校准阶段的隐蔽坑偏置、归一化和精度分布校准不只是喂数据还牵涉到模型结构的预处理。我在项目里吃过三次亏都值得拿出来讲。第一次是 BatchNorm 没有融合。推理时 BN 可以折叠进卷积层但很多量化工具不会自动做这一步。如果不先融合相当于把一组额外的参数留成了浮点量化后的分布会跟期望不一致。PyTorch 里可以用torch.ao.quantization.fuse_modules先把 ConvBNReLU 融合再做校准。第二次是权重用 per-tensor 校准。卷积层不同输出通道的权重范围差异可能非常大如果整个层只用一个 scale大范围通道会把小范围通道压得很惨。对权重尽量用 per-channel激活通常用 per-tensor两者组合在多数框架里都有支持。第三次是校准集和验证集太“像”。校准过程本身会轻微过拟合到校准数据上如果验证集跟校准集过于接近量化后的精度看起来很好一到线上就崩。最好留一部分数据不参与校准专门用来做量化后精度验证。3. 从 PTQ 到 QAT精度不够时的两条路3.1 PTQ训练后量化的完整套路PTQ 的全称是 Post-Training Quantization也就是训练完成后直接量化。它不需要重新训练模型流程短、成本低是绝大多数项目的第一选择。基本步骤是准备一个已经收敛的模型和校准数据根据权重直接计算 scale 和 zero point跑一遍校准数据统计各层激活范围把模型转换成量化版本并验证精度。在 PyTorch 里做静态量化代码大致是import torch model.qconfig torch.ao.quantization.get_default_qconfig(qnnpack) torch.ao.quantization.prepare(model, inplaceTrue) # 这里喂入校准数据跑若干 batch torch.ao.quantization.convert(model, inplaceTrue)这段只是示意实际还要先做算子融合并且不同设备要选对应 qconfig。ONNX Runtime 里也有类似的静态量化工具核心思想一致。PTQ 的优点是快几分钟能出结果缺点是如果模型分布特殊精度损失可能无法接受。3.2 QAT让模型学会“容忍”量化误差当 PTQ 掉点明显比如分类任务掉超过 1 个点检测任务 mAP 掉超过 2 个点就需要考虑量化感知训练也就是 QAT。QAT 的思路是在训练阶段就模拟量化的效果。前向传播时模型把权重和激活强制过一遍伪量化节点也就是先量化再反量化让模型在迭代中“感受到”量化噪声。反向传播时由于量化过程不可导一般用直通估计器简单说就是把梯度原样传过去相当于把量化节点当恒等函数处理。实际操作时不需要从头训练模型。通常是在一个已经训练好的模型基础上用较低学习率做几个 epoch 的微调。学习率太大会破坏原有权重太小又不足以让模型适应量化误差。我一般从正常训练学习率的十分之一开始观察验证集精度曲线。QAT 对权重和激活都会带来显著改善尤其适合边缘设备部署。QAT 代码和普通训练很接近只是要预先设置好 qconfig并在训练循环里让量化模型跑完整的前反传。核心不是代码多复杂而是你得理解QAT 不是“把模型练得更准”而是“让模型适应低精度”。3.3 怎么判断该用 PTQ 还是 QAT我见过不少同事在一开始就上 QAT结果训练几天收益和 PTQ 差不多。效率最高的判断方式是先做一轮 PTQ用真实验证集测精度然后再决定。场景推荐方案常规分类模型数据集分布稳定PTQ目标检测、分割指标敏感PTQ 先试掉点多想 QAT模型特别容易过拟合QAT 可能反而能提升鲁棒性LLM 大模型一般用 GPTQ、AWQ 或 GGUF不走传统 QAT边缘设备硬件算子受限QAT 特定框架量化只要时间允许我建议把 PTQ 作为基线再针对高频掉点层做 QAT这是一种比较省钱的组合。4. LLM 量化大模型的特殊挑战与主流方案4.1 为什么 LLM 量化比想象中更难把 CNN 量化那套思路直接套到 LLM 上第一轮往往会被打懵。LLM 的激活分布不像图像特征那样平滑而是存在大量离群值尤其是某些特征通道的数值会高出其他通道好几个数量级。这些离群通道数量不多但足以把整体 scale 拉大量化后绝大多数正常数值都被压缩到极低的整数精度损失自然严重。另一个不同点在于推理方式。LLM 是自回归生成每一步都要读取全部 KV Cache访存开销比计算更突出。因此量化 LLM 的收益主要来自“把权重和缓存变小”而不只是让矩阵乘更快。同时生成过程中激活分布会随上下文变化静态校准很难覆盖所有位置所以纯依赖传统校准方法往往效果不稳定。4.2 GPTQ、AWQ 和 GGUF三种主流实践路线现在开源社区里讨论最多的方案有三个GPTQ、AWQ 和 GGUF。GPTQ 的基本思路是逐层量化权重利用模型二阶 Hessian 信息把量化误差分配到尚未处理的通道上。它不需要重新训练数据量需求也很小量化完成后在 GPU 上加载运行INT4 权重下模型体积极具吸引力。AWQ 则更关注激活分布。它会计算每个通道对激活变化的重要性量化时对重要程度不同的通道区别对待保留少数重要通道精度其余通道压到低比特。AWQ 避免了对 Hessian 的复杂计算速度和通用性都不错。GGUF 是 llama.cpp 生态发展出来的格式与其说它是一种量化算法不如说它是一套把量化搭配和推理引擎封装好的方案。GGUF 提供 Q4_K_M、Q5_K_M、Q8_0 等很多档位底层有的用类 GPTQ 的量化思路有的用 k-quant主要为了适配 CPU 和混合设备。很多模型平台直接提供 GGUF 量化文件下载后在本地就能跑。方案适用设备是否要训练主要特点GPTQGPU否利用二阶信息适合 4bit 权重AWQGPU否感知激活分布处理离群值较好GGUFCPU/GPU 混合否格式与档位丰富部署方便4.3 LLM 量化的实际收益与选型建议以 7B 模型为例FP16 权重大概 14GBINT8 权重接近 7GBINT4 权重接近 4GB加上 KV Cache 也能压半显存占用会明显下降。实测在批量推理场景中INT8 权重的吞吐往往比 FP16 高而 INT4 在长上下文中优势更大。选型建议上先看部署目标。如果只在 GPU 上跑首选 GPTQ 或 AWQ量化精度高加载也方便如果要在 CPU 或者 Mac 这类混合设备跑GGUF 更省心。量化档位也不是越高越好比如同体积下 Q4_K_M 和 Q5_K_M 在不同任务上各有胜负最好用自己的验证集跑一遍评估指标别只看排行榜。5. 问题排查与经验实录5.1 定位掉点层逐层敏感性分析整模型量化后精度不达标第一步不是盲目调参而是定位到底哪些层在拖后腿。常用方法是逐层敏感性分析先让整个模型量化然后每次把一个层或一个模块恢复到浮点重新跑验证集看精度回升多少。如果一个模块恢复后精度大幅回升就说明它是最脆弱的层。实际操作中我见过很多掉点集中在 embedding、输出层或者某些带长尾分布的 attention 层。把这些层设成 FP16 混合精度其他层保持 INT8往往能在精度和速度之间找到平衡点。现在也有基于 Hessian 敏感度分析的自动化工具但逐层试错依然是最直观的起点。5.2 实战案例一个 ONNX 模型的 INT8 量化上个月把一个视觉模型从 ONNX FP32 转 INT8走了完整流程。用 ONNX Runtime 的静态量化接口需要自己准备一个校准数据读取器。from onnxruntime.quantization import quantize_static, CalibrationDataReader, QuantType class MyDataReader(CalibrationDataReader): def __init__(self, dataloader): self.iterator iter(dataloader) self.input_name input def get_next(self): batch next(self.iterator, None) if batch is None: return None return {self.input_name: batch.numpy()} quantize_static( model.onnx, model_int8.onnx, MyDataReader(calibration_dataloader), quant_formatQuantType.QDQ, )转完之后我先对比模型输出的最大绝对误差再跑真实验证集。第一次结果差 3 个点查下来是校准集里混了几张异常亮度的图把 scale 拉大了。换掉异常样本后掉点降到 0.5 个点以内。经验是校准集质量对结果的影响比量化方法选择还大。5.3 量化部署避坑速查表现象常见原因处理方式精度严重下降校准集分布与部署不一致换成真实场景样本推理速度没提升算子不支持 INT8走了反量化检查执行引擎和算子支持输出 NaN/Inf部分层在低精度下溢出对该层用混合精度或 BF16显存没降多少动态量化与静态量化混用统一用静态量化量化后准确率时好时坏scale 校准不稳定增加校准样本并做多次校准某些层掉点特别厉害激活分布长尾明显尝试 per-channel 或混合精度量化这件事做一轮很容易做好很难。我自己踩过最多的坑是对校准集不重视、对掉点层没有细查结果花了一整天调参不如换一个接近真实分布的数据集来得有效。如果你也要上手量化建议从 PTQ 开始把校准集和误差分析做扎实再考虑 QAT 或 GPTQ/AWQ。最后还有一个小技巧部署到硬件前先确认目标设备对 INT8 的算子支持情况——支持的算子可以量化不支持的要么混精度要么换引擎能提前省掉大量踩坑时间。