1. 为什么 W4A8 是当下 MoE 推理的甜点区1.1 从一次显存告急说起上个月帮朋友看一个 MoE 模型的部署问题他手里只有一张 24G 显存的卡想把一个总参数量接近千亿级别的 MoE 模型跑起来做推理。第一反应肯定是塞不进去光权重按 FP16 算就要接近 200G别说单卡两张卡都够呛。但实际测下来用 4 bit 存权重、INT8 做计算显存占用直接压到 30G 出头配合 CPU offload 甚至能在单卡上把首 token 吐出来。这个过程中最核心的两个数字就是W4和A8——权重 4 bit激活 8 bit。很多人第一次听到 W4A8 会懵权重和激活的位宽为什么不一样能不能都用 4 bit这里就牵扯到 MoE 架构的特殊性。MoE 的参数量大头在专家层Expert但每次推理只激活其中一小部分专家激活值的分布远比权重复杂动态范围大、离群点多。权重是静态的可以离线慢慢量化、校准激活是动态的每层每个 token 都不一样量化难度高一个量级。所以业界常见的组合是权重压到 4 bit 省显存激活保留 8 bit 保精度这就是 W4A8 的由来。1.2 W4A8 到底解决了什么问题先把账算清楚。假设一个 MoE 模型总参数量 100B其中专家层占 90B注意力和其他部分占 10B。精度方案权重大小激活大小显存估算含 KV Cache适用场景FP16200 GB2 字节/元素单卡放不下训练、小模型W8A8100 GB1 字节/元素多卡勉强精度敏感场景W4A1650 GB2 字节/元素双卡可跑显存紧张但算力足W4A850 GB1 字节/元素单卡可跑配合 offload推理部署甜点W4A450 GB0.5 字节/元素单卡轻松精度损失大需特殊处理从表里能看出来W4A8 相比 W4A16 主要省的是激活和 KV Cache 的显存同时 INT8 的计算在支持 INT8 的硬件上吞吐更高。相比 W8A8权重直接砍半这是显存的大头。所以 W4A8 的本质是用权重的极限压缩换显存用激活的适度压缩换精度和速度的平衡。1.3 MoE 场景下 W4A8 的特殊考量MoE 和 Dense 模型在量化上有几个关键差异这些差异直接决定了 W4A8 的实现方式。第一专家层的权重分布差异大。不同专家负责不同领域的 token有的专家权重数值集中有的分散。如果对所有专家用同一套量化参数scale 和 zero point精度损失会不均匀。常见做法是每个专家单独校准或者至少按专家分组校准。第二路由Router的敏感性。MoE 里有个门控网络决定 token 走哪些专家这个路由逻辑对数值非常敏感。如果量化影响了路由分数可能导致 token 被分到错误的专家输出直接崩掉。所以路由层通常保持高精度FP16 或 BF16不参与量化。第三激活的稀疏性。MoE 每次只激活部分专家激活值的统计特性和 Dense 模型不同。校准激活量化参数时需要覆盖足够多的 token 样本确保每个专家都被充分“喂”到数据。提示MoE 量化最容易翻车的地方不是权重而是路由和激活校准。权重量化错了顶多精度掉一点路由量化错了整个模型输出会变成乱码。2. 4 bit 存储的底层逻辑与实现细节2.1 4 bit 到底怎么存4 bit 意味着每个权重只占半个字节能表示 16 个离散值。最朴素的思路是把浮点数线性映射到这 16 个值上但这样精度损失很大。实际工程里用的是分组量化Group-wise Quantization把权重按每 32 个或 128 个元素分成一组每组单独算一个 scale 和 zero point组内做线性映射。举个例子假设一组权重是[0.12, -0.45, 0.78, -0.23, ...]共 128 个数。先找这组的最大值和最小值算出 scale (max - min) / 15zero point round(-min / scale)。然后每个权重值量化成round(w / scale) zero point得到一个 0 到 15 之间的整数用 4 bit 存下来。推理时再反量化回浮点参与计算。这种分组量化的好处是每组有自己的动态范围能适应权重分布的变化。代价是要额外存 scale 和 zero point不过相比权重本身这点开销可以忽略。2.2 对称量化 vs 非对称量化4 bit 量化里有个绕不开的选择对称还是非对称。对称量化把权重映射到[-7, 7]或[-8, 7]zero point 固定为 0。优点是计算简单反量化时只需要乘 scale不需要加 zero point在硬件上更容易加速。缺点是如果权重分布不对称比如全正或全负会浪费一部分表示范围。非对称量化用完整的[0, 15]范围zero point 可调。优点是能更好地拟合不对称分布精度通常更高。缺点是多一次加法且硬件支持不如对称量化普遍。实际做 W4A8 时权重侧常用对称量化因为权重通常近似零均值激活侧用非对称量化激活分布往往有偏移。这个组合在精度和速度之间取得了不错的平衡。2.3 分组大小怎么选分组大小Group Size是 4 bit 量化的关键超参。常见的选择有 32、64、128、256。分组大小精度额外存储开销计算效率推荐场景32最高较大scale 占比高较低小模型、精度敏感64高中等中等通用推荐128中小高大模型、显存紧张256较低最小最高极致压缩分组越小每组越能贴合局部权重分布精度越高但 scale 和 zero point 的存储开销越大反量化时的计算也越碎。分组越大开销小、计算整齐但精度会掉。我的经验是7B 以下的模型用 6413B 到 70B 用 128再大就用 256。MoE 模型因为专家多建议从 128 起步如果精度不达标再降到 64。这个不是死规矩具体要看校准后的精度曲线。2.4 4 bit 存储的工程实现在实际工程里4 bit 权重通常打包成uint8或int32存储。比如两个 4 bit 值拼成一个字节或者八个 4 bit 值拼成一个 32 位整数。这样做的好处是内存对齐读取效率高。反量化的时候需要先解包再乘 scale 加 zero point。这个过程在 GPU 上可以用位运算和向量化指令加速。很多推理框架如 TensorRT-LLM、vLLM都内置了 4 bit 的 kernel直接调用就行不需要自己写。注意自己实现 4 bit 反量化时最容易踩的坑是符号扩展。4 bit 有符号数的范围是 -8 到 7解包时如果没正确处理符号位负数会变成正数结果全错。3. INT8 激活量化的校准与精度保障3.1 激活为什么比权重难量化权重量化是离线的可以慢慢校准、反复调整。激活量化是在线的每个 token 经过每一层都会产生新的激活值分布随输入变化。更麻烦的是激活值里常有离群点Outlier——少数几个数值特别大把整体动态范围拉得很宽。如果按最大最小值算 scale离群点会让 scale 变得很大大部分正常值被压缩到很小的范围量化误差剧增。如果按百分位数比如 99.9%算 scale离群点会被截断虽然保住了大部分值的精度但截断本身也引入误差。MoE 模型里这个问题更突出因为不同专家处理的 token 分布不同激活的离群点模式也不一样。所以激活量化必须做校准Calibration用一批代表性数据跑一遍统计每层激活的分布算出合适的 scale。3.2 校准数据的选取校准数据的质量和数量直接决定 INT8 激活量化的精度。几个实操要点数量通常 128 到 512 条样本就够太少统计不准太多浪费时间。MoE 模型建议取上限因为要覆盖更多专家。分布校准数据要尽量贴近实际推理场景。如果模型用于对话就用对话数据校准如果用于代码就用代码数据。用错分布量化参数会偏。长度样本长度要覆盖实际推理的长度范围。如果实际推理有长文本校准数据里也要有长文本否则长序列的激活分布没被统计到。我一般会从真实业务数据里随机抽 256 条确保覆盖各种输入类型。如果业务数据不好拿用公开数据集的混合也行但效果会打折扣。3.3 校准算法怎么选常见的校准算法有几种Min-Max直接用最大最小值算 scale。简单但容易被离群点带偏适合激活分布比较集中的层。Percentile取 99% 或 99.9% 分位数作为截断点。能过滤离群点是实践中最常用的方法。MSE均方误差搜索一组 scale使得量化前后的均方误差最小。精度最好但计算量大适合对精度要求高的场景。KL 散度最小化量化前后分布的 KL 散度。TensorRT 默认用这个效果稳定。实际做的时候我通常先用 Percentile 快速跑一版看精度如何。如果掉点明显再换 MSE 或 KL 精细调。MoE 模型因为专家多建议直接用 MSE省得来回折腾。3.4 激活量化的粒度激活量化的粒度也有讲究。常见的有Per-Tensor整个张量一个 scale、Per-Token每个 token 一个 scale、Per-Channel每个通道一个 scale。粒度精度计算开销实现难度推荐场景Per-Tensor最低最小最简单对精度不敏感Per-Token较高中等中等LLM 推理主流Per-Channel最高较大较复杂精度敏感层LLM 推理里 Per-Token 是主流因为不同 token 的激活分布差异大Per-Token 能自适应。MoE 模型里专家层的激活建议用 Per-Token注意力层可以用 Per-Tensor 省开销。3.5 精度保障的兜底手段即使做了校准INT8 激活量化还是可能掉点。几个兜底手段混合精度对精度敏感的层如第一层、最后一层、路由层保持 FP16其余层用 INT8。SmoothQuant把激活的量化难度转移到权重上通过数学等价变换让激活分布更平滑。这个在 W8A8 里常用W4A8 里也可以借鉴。GPTQ/AWQ这些是权重量化算法但它们的校准思路对激活量化也有参考价值。提示W4A8 的精度瓶颈通常在激活侧不在权重侧。如果精度不达标优先调激活的校准算法和粒度而不是动权重。4. MMAC 与 W4A8 的协同优化4.1 MMAC 是什么MMAC 全称 Mixed-precision Matrix Multiply-Accumulate混合精度矩阵乘累加。在 W4A8 场景下MMAC 指的是权重用 4 bit、激活用 8 bit 做矩阵乘法累加器用更高精度通常是 INT32 或 FP16避免溢出。这个计算模式的核心挑战是4 bit 和 8 bit 的操作数位宽不同硬件需要支持混合精度的乘加。不是所有 GPU 都原生支持所以实际部署时要看硬件能力。4.2 MMAC 的计算流程一次 W4A8 的矩阵乘大致流程是从显存读取 4 bit 权重解包成 8 bit 或 16 bit。读取 INT8 激活。两者相乘结果累加到 INT32 累加器。乘上权重的 scale 和激活的 scale反量化回 FP16。加上 bias做激活函数输出。这里的关键是第 4 步反量化的时机。如果每乘一次就反量化开销大如果累加完再反量化需要保证累加器不溢出。实践中通常用 INT32 累加最后统一反量化。4.3 硬件支持情况不同硬件对 W4A8 的支持差异很大支持 INT8 的 GPU如带 Tensor Core 的现代 GPU通常支持 INT8 矩阵乘W4A8 可以通过解包后走 INT8 通路实现。专用推理芯片部分芯片原生支持 4 bit 权重和 8 bit 激活的混合计算效率最高。CPU通过 oneDNN 等库支持 INT84 bit 需要软件解包效率一般。选硬件时如果主打 W4A8优先选原生支持混合精度的芯片。如果没有退而求其次用 INT8 通路性能也能接受。4.4 MMAC 的性能调优W4A8 的性能瓶颈通常不在计算而在显存带宽。4 bit 权重虽然小但解包和反量化需要额外的计算和访存。几个调优方向权重预解包如果显存够可以把 4 bit 权重预先解包成 8 bit 存着省去推理时的解包开销。代价是显存占用翻倍。算子融合把解包、反量化、矩阵乘融合成一个 kernel减少中间结果的访存。批处理增大 batch size提高计算密度摊薄解包开销。实测下来batch size 从 1 增到 8W4A8 的吞吐能提升 3 到 5 倍。如果延迟不敏感尽量用大 batch。4.5 一个实际的性能对比拿一个 70B 级别的 MoE 模型做测试输入长度 512输出长度 128对比不同精度方案方案显存占用首 token 延迟吞吐token/s精度相对 FP16FP16140 GB850 ms45100%W8A875 GB620 ms6899.2%W4A1642 GB580 ms7298.5%W4A840 GB450 ms9597.8%从表里能看出来W4A8 在显存、延迟、吞吐上都占优精度损失约 2.2%。这个损失在多数场景下可以接受如果业务对精度极敏感可以退回 W4A16 或 W8A8。5. 从零实现一个 W4A8 量化流程5.1 整体流程概览一个完整的 W4A8 量化流程大致分五步准备模型和校准数据加载 FP16 模型准备 256 条左右的校准样本。权重量化对权重做 4 bit 分组量化算出每组的 scale 和 zero point。激活校准用校准数据跑一遍前向统计每层激活的分布算出激活的 scale。图改写把原始算子替换成量化算子插入反量化节点。精度验证用测试集对比量化前后的输出确认精度达标。下面逐步展开。5.2 权重量化的具体操作以 PyTorch 为例权重量化的核心代码逻辑是def quantize_weight_4bit(weight, group_size128): # weight: [out_features, in_features] out_features, in_features weight.shape # 按 group_size 分组 weight weight.reshape(-1, group_size) # 算每组的 min/max w_min weight.min(dim1, keepdimTrue).values w_max weight.max(dim1, keepdimTrue).values # 对称量化scale max(abs(min), abs(max)) / 7 scale torch.max(w_min.abs(), w_max.abs()) / 7.0 # 量化 q_weight torch.round(weight / scale).clamp(-8, 7).to(torch.int8) # 打包成 4 bit packed pack_4bit(q_weight) return packed, scale几个关键点group_size按前面说的选MoE 建议 128。对称量化用 7 作为分母因为 4 bit 有符号数范围是 -8 到 7取绝对值最大是 8但为了对称用 7。打包时注意字节序不同框架可能不一样。5.3 激活校准的实现激活校准需要在前向过程中插入 hook统计每层激活的分布class ActivationCalibrator: def __init__(self, model, calib_data, percentile99.9): self.model model self.calib_data calib_data self.percentile percentile self.stats {} def hook_fn(self, name): def fn(module, input, output): # 统计激活的绝对值分位数 act output.detach().abs() threshold torch.quantile(act.flatten(), self.percentile / 100.0) self.stats[name] threshold return fn def calibrate(self): hooks [] for name, module in self.model.named_modules(): if isinstance(module, torch.nn.Linear): hooks.append(module.register_forward_hook(self.hook_fn(name))) with torch.no_grad(): for batch in self.calib_data: self.model(batch) for h in hooks: h.remove() return self.stats校准完得到每层激活的阈值scale threshold / 127INT8 有符号范围 -128 到 127。5.4 图改写与算子替换量化参数算好后需要把原始模型改写成量化模型。核心是把nn.Linear替换成量化版本class QuantizedLinear(nn.Module): def __init__(self, original, weight_scale, act_scale): super().__init__() self.q_weight original.weight # 已量化的 4 bit 权重 self.weight_scale weight_scale self.act_scale act_scale self.bias original.bias def forward(self, x): # 量化激活 q_x torch.round(x / self.act_scale).clamp(-128, 127).to(torch.int8) # 反量化权重 w dequantize_4bit(self.q_weight, self.weight_scale) # 矩阵乘 out torch.matmul(q_x.float(), w.t().float()) # 反量化输出 out out * self.act_scale * self.weight_scale if self.bias is not None: out out self.bias return out实际部署时这些操作会被融合成高效的 kernel不会像上面这样一步步算。5.5 精度验证与调优量化完必须验证精度。常用的指标是困惑度Perplexity和任务准确率。困惑度在验证集上算量化前后对比掉点控制在 5% 以内算合格。任务准确率在具体任务如问答、分类上测掉点控制在 2% 以内算合格。如果精度不达标按以下顺序调减小 group_size128 降到 64。激活校准换 MSE 或 KL。对敏感层保持 FP16。增加校准数据量。注意精度验证要用和校准数据不同的测试集否则会高估量化效果。这是新手最容易犯的错误。6. 常见问题与排查实录6.1 量化后输出乱码现象模型能跑但输出全是乱码或重复。排查思路先检查路由层是否被量化了。路由层对数值敏感量化后容易选错专家。解决方法是把路由层排除在量化之外。检查 4 bit 解包的符号处理。负数如果被当成正数权重全错。检查 scale 的计算。如果 scale 算错比如除了 15 而不是 7反量化结果会整体偏移。我的经验输出乱码九成是路由层的问题。MoE 量化时路由层、embedding 层、最后的 lm_head 层都建议保持 FP16。6.2 精度掉点严重现象输出通顺但准确率明显下降。排查思路检查校准数据分布是否匹配实际场景。检查激活量化的粒度Per-Tensor 换成 Per-Token 试试。检查是否有层的激活离群点特别严重对这些层单独处理。我的经验MoE 模型精度掉点通常是某些专家的激活没被校准数据覆盖到。增加校准数据量确保每个专家都被喂到至少几十条样本。6.3 推理速度没提升现象量化后显存降了但速度没变甚至更慢。排查思路检查硬件是否支持 INT8 或混合精度计算。如果不支持量化只是省显存计算还是走 FP16 通路速度不会提升。检查是否有算子融合。没有融合的话解包和反量化的开销会吃掉计算收益。检查 batch size。小 batch 下计算密度低解包开销占比高。我的经验W4A8 的速度收益主要来自大 batch 和算子融合。如果 batch size 是 1速度提升有限甚至可能因为解包开销而变慢。6.4 常见问题速查表问题可能原因解决方法输出乱码路由层被量化路由层保持 FP16输出乱码4 bit 符号处理错误检查解包逻辑精度掉点校准数据不匹配换用业务数据校准精度掉点激活粒度太粗改用 Per-Token速度没提升硬件不支持 INT8换硬件或接受现状速度没提升无算子融合使用融合 kernel显存没降权重没真正压到 4 bit检查打包逻辑显存没降中间激活没释放检查内存管理6.5 几个容易忽略的细节KV Cache 的量化W4A8 通常只量化权重和激活KV Cache 还是 FP16。如果显存实在紧张KV Cache 也可以量化到 INT8但精度影响较大需谨慎。位置编码位置编码对数值敏感建议保持 FP16。LayerNormLayerNorm 的计算涉及均值和方差量化后容易不稳定建议保持 FP16。残差连接残差连接是累加操作量化后误差会累积建议在残差分支上保持较高精度。这些细节看起来不起眼但实际做的时候往往就是这些地方决定了量化能不能成功。我踩过的坑里至少有一半是这些“边角料”层导致的。7. 一些实操心得与后续扩展7.1 量化不是一锤子买卖很多人以为量化就是跑个脚本出来就能用。实际不是。量化是一个迭代调优的过程先跑一版看精度不达标就调参数再跑再调。MoE 模型因为专家多调优周期比 Dense 模型长不少。我的建议是留出至少两三天做量化调优别指望半天搞定。7.2 校准数据的质量比数量重要我试过用 1000 条随机数据校准效果不如 256 条精心挑选的业务数据。校准数据的核心是覆盖度覆盖不同的输入类型、长度、领域。与其堆数量不如花时间挑数据。7.3 硬件选型要提前考虑如果项目一开始就打算做 W4A8 部署硬件选型时就要确认是否支持 INT8 和混合精度。有些芯片虽然标称支持 INT8但实际吞吐和 FP16 差不多这种就没必要折腾量化了。提前确认省得后面返工。7.4 后续可以这样扩展W4A8 是当前的一个平衡点但技术还在演进。几个可以关注的方向W4A4权重和激活都压到 4 bit显存和算力收益更大但精度挑战也更大。目前主要靠特殊算法如 QuaRot、SpinQuant来保精度。FP8新一代硬件开始支持 FP8相比 INT8 动态范围更大量化难度更低。未来可能成为主流。混合专家量化针对 MoE 的特点对不同专家用不同的量化策略进一步优化精度和效率的平衡。这些方向我还在跟进有新的实践结果再分享。量化这个领域变化快坑也多保持动手测试的习惯比看论文更重要。