上个月我想把自己那个内部问答小助手搬到手机上去跑图的就是隐私——数据不出设备看起来又酷又安全。一开始我也没想太多想着现在大家都在喊端侧大模型,什么 7B 模型压缩到 4 个比特就能塞进旗舰机里我照着最火的 INT4一种把权重压到 4 比特精度的量化格式方案来就完了。结果真跑起来效果让我差点把手机摔了。先说最直观的一件事同一个模型同一个问题我在服务器上跑 FP1616 位浮点没压缩的原始精度答得有板有眼一换成 INT4 的 GGUF 版本就开始胡言乱语。一开始我以为是下载错了文件翻来覆去地重新转了好几遍最后才反应过来问题不在文件在量化本身。你可能听说过INT4 量化损失几乎可以忽略这种说法对不对我第一次看到这个结论的时候也是这么想的毕竟各家博客都在晒 benchmark性能基准测试表格看着精度损失就一两个点。可等我自己真把模型压下去才发现这套说法有个特别大的前提人家测的是平均损失。平均数这东西最会骗人它把大多数没咋掉的样本和少数掉得稀碎的样本糊在一起给你一个好看的中间值。我拿自己那批真实问题去测掉得最狠的恰恰是最难的那一类。普通闲聊、常识问答压成 INT4 几乎没感觉可一旦碰上需要多步推理、或者牵扯到具体数字的题模型就开始飘。有一次我拿张师傅 40 岁他儿子的年龄是他的一半问儿子出生那年张师傅几岁这种题去试FP16 版本稳稳地算出来INT4 版本直接给你答了个错的还自信满满。你说它傻吧它语气还挺肯定这才是最气人的。后来我查了查量化相关的论文和实现才算把这里面的道理琢磨明白。量化的本质是压缩把原来用 16 个比特表示的权重硬塞进 4 个比特里这中间要丢掉的信息量是实打实的。它对大多数分布正常的权重影响不大可对少数几个关键但数值敏感的权重打击几乎是毁灭性的。大模型推理里有些权重承担的角色特别吃精度一旦被压缩整个链路就出问题——这就跟你把一张高清照片压成低清看整体还行可一旦放大到某个细节糊的就是糊的补不回来。我一开始还想靠换更大的量化位数来兜底觉得 INT4 不行那就 INT8 呗。可后来发现这也只是缓解不是根治。真正让我想通的是我退回去重新想了下自己到底要什么我在手机上跑这个模型图的不是它啥都能干而是那几种我最常用的、高频的、对精度要求不高的任务。于是我把策略从一个量化模型全包改成按任务分场景——简单的问答用压缩版碰到真需要动脑子的复杂推理宁可把它接回云端跑原始精度也别在端上硬撑。这不是我技术多厉害是踩了坑之后学乖了。这里还有个我特别想提醒你的事量化之前务必拿你自己的真实数据做一轮验证别拿那些公开的 benchmark 说话。因为公开测试集跟你的业务场景隔着一层它测出来的平均损失恰恰会把你最在意的那些场景给平均掉。我后来养成的习惯是每次量化完先把我日常真的会问的那几十个问题跑一遍亲眼看看掉没掉再决定要不要上生产。这一步看着麻烦但能省掉太多上了线才发现模型傻了的尴尬。另外即便同一个INT4三个字不同量化方案之间的差距也比你想象的大。有的方案对权重均匀砍有的会做分组缩放、专门照顾那些敏感权重还有的干脆把注意力层单独保留更高精度。我换了好几个实现最后发现精度表现天差地别所以别只看是不是 INT4这个标签得看它到底怎么量、在哪一层量。我一度天真地以为这些细节无关紧要现在才知道端侧部署这东西差之毫厘谬以千里。我今天写这么多不是劝你别做端侧、别用量化——恰恰相反我很看好端侧这条路隐私和离线能力是真金白银的价值。我是想让你在往手机里塞模型之前先别急着跟风喊INT4 就够用多花点时间想清楚你的场景真的能容忍那点精度损失吗你测试过自己真正的数据吗还是说你也和我一样是摔了一跤才想起来这些的现在轮到你了。你有没有在端侧或者量化上踩过类似的坑是损失精度后发现平均一下也没那么糟还是早就用一套自己的办法把关键场景保住了评论区聊聊我特别想听听是不是也有人在量化这条路上跟我一样交过一笔看起来很小、实际很贵的学费。