同一个模型跑FP32爆显存换FP16勉强塞进去再压到INT4速度是上去了回答却开始胡说八道。这个场景我见过太多次很多朋友一上来就问“该买什么卡”其实真正要回答的是另一个问题同一个模型精度和硬件之间到底是什么关系怎么搭配才算匹配。把这事聊透之前先给个判断标准精度决定了这个模型“要占多大空间”硬件决定了“这些空间能不能装下、跑多快”而两者的交点就是你能用的最大模型和能接受的推理速度。这篇文章不讲玄学就讲怎么算、怎么测、怎么选以及我踩过的坑。1. 精度不是越高越好先搞清楚每个精度到底“大”在哪1.1 FP32、FP16、BF16到底差在哪先说最基础的浮点格式。FP32是单精度浮点用32位表示一个数其中1位符号位、8位指数位、23位尾数位。FP16就是16位1位符号位、5位指数位、10位尾数位。BF16也是16位但它是1位符号位、8位指数位、7位尾数位。这里关键差异是FP16的指数范围和尾数精度都缩小了数值稍大一点就会溢出BF16保留了和FP32一样的8位指数所以动态范围几乎不变只是尾数精度砍得更狠。这也是为什么很多大模型训练用BF16而不是FP16——训练过程中梯度数值波动很大FP16动不动就变成NaNBF16至少不太会炸。内存占用直接用位数换算就行FP32是4字节FP16和BF16是2字节INT8是1字节INT4是0.5字节。一个7B参数的模型FP32就要28GBFP16只要14GBINT8是7GBINT4压缩到3.5GB左右。刚入门的朋友可以把这串数字背下来后面聊硬件全用得上。1.2 整数量化不是“减小数字”而是重新理解模型INT8和INT4严格来说不是浮点而是定点整数量化。做法是把浮点权重映射到一个小范围的整数上比如INT8能表示-128到127INT4能表示-8到7。量化不是单纯把数字变小而是把原始权重分布压缩到整数网格里所以一定会引入误差尤其是当某些权重出现极端离群值的时候。我打一个比方原本每个人身高用厘米带小数记录现在只用“高、中、矮”三个档来记录信息肯定损失。但模型有一定的容错性如果量化方法好、校准数据合适损失就能控制在可接受范围内。这也是为什么同样叫INT8有的模型量化后几乎不掉点有的模型直接变智障。1.3 当前最常用的精读组合哪个配哪个实操角度我给一个不成文的参考矩阵精度格式每参数字节数典型场景硬件友好度FP324训练、调试对照通用但贵FP162训练、高精度推理NVIDIA友好BF162大模型训练、推理NVIDIA/AMD新卡、部分CPUINT81推理加速、边缘部署各平台都友好INT40.5低显存/内存本地部署需要特定内核支持选精度的本质不是“选一个更好的”而是“选一个能跑的里面尽量好的”。这句话是我反复强调的。2. 硬件选型前先把显存和算力两本账算清楚2.1 显存计算公式7B、13B、70B到底各吃多少显存需求不只是权重文件大小推理时还有KV Cache、激活值和框架自身开销。我常用的近似公式模型权重显存 ≈ 参数量 × 每参数字节数 × 1.2预留因子这个1.2倍是我实测下来比较稳的经验值包含了推理时的激活和部分缓存。更精确的还要加上KV Cache它和序列长度、batch大小、层数、注意力头数量都有关。举个例子7B模型用FP16推理7×10^9 × 2字节 ≈ 14GB加上预留就是17GB左右。所以你拿一张16GB的卡跑7B FP16看着“刚好塞下”实际一跑长文本就OOM原因就是KV Cache那部分没算进去。换成INT4权重只要3.5GB就算加两倍预留也才10GB出头这就宽松很多了。13B模型FP16是26GB权重要加预留INT8是13GB权重加预留INT4只要6.5GB权重加预留。这么一拉一对比普通人用INT4在24GB显卡上跑13B模型是现实可行的用FP16就得两张24GB卡或者干脆换80GB的大卡。70B模型就别指望消费级单卡FP16了140GB权重对很多人的整套配置都是天文数字但如果是INT4大约35GB权重加入预留80GB的A100/H100或者两张48GB的卡就能跑这也是现在很多人在本地折腾70B的常见路线。2.2 算力账为什么同样的卡跑不同精度速度差这么多显存只是容量真正决定推理速度的还有两样东西计算量和访存量。大模型生成是每生成一个token就要把全部权重至少读一遍所以推理性能往往卡在显存带宽上而不是GPU的浮点算力上。现代GPU算力高得离谱但显存带宽有限。RTX 4090的显存带宽大约是1TB/s量级A100是2TB/sH100是3.35TB/s。如果你跑一个7B模型每生成一个token要读一遍3.5GBINT4或者14GBFP16的权重光读权重的时间就能估算出来。带宽越低读同样多数据花的时间越长速度自然越慢。这也是为什么很多人奇怪“我的CPU这么强为什么跑大模型那么慢”——CPU内存带宽一般只有几十GB/s和GPU差一到两个数量级模型权重读取这关就卡死了。跑大模型一个低频高带宽的内存系统往往比一个高频但带宽一般的内存系统更合适。2.3 内存带宽、计算量、时延之间的关系我习惯用一个更简单的公式估算理论推理速度单token理论时间 ≈ 模型显存占用 / 内存带宽7B模型FP16占14GB在RTX 4090上大约是14GB / 1TB/s 14ms加上计算和调度开销实际可能会到20-30ms也就是每秒能出30-50个token。同样模型INT4只有3.5GB理论时间变成3.5ms实际可以跑出每秒100个token以上。这个速度体感很明显50 token/s已经是流畅聊天的水平20 token/s也能接受10 token/s以下就开始让人烦躁。所以我给朋友建议的时候经常说先算算自己的设备带宽再决定上什么精度别单纯看显存够不够。3. 不同硬件平台怎么配精度直接照抄3.1 消费级NVIDIA显卡从1060到4090NVIDIA卡的优势是软件生态最全几乎每个推理框架都优先适配CUDA。但不同卡能跑的精度方案差异很大。老的10系、20系卡像GTX 10606GB显存FP16加速聊胜于无最好老老实实跑INT8或INT4的小模型。我之前在1060上跑过7B INT4模型速度也就5-8 token/s能用但谈不上流畅适合折腾技术验证不适合日常使用。RTX 3060 12GB是个分界线INT4下能跑13B模型FP16下只能跑7B很多人拿这张卡当入门甜点卡是有道理的。RTX 4070 Ti Super 16GB是当前性价比很高的选择INT4下跑13B和部分20B以下模型都够用FP16跑7B也宽裕。RTX 4090 24GB基本可以在INT4下挑战70B级别FP16/INT8下舒适跑13B。不过要注意消费级卡的显存带宽和散热/MIG之类还是有限制跑大上下文长文本依然会撞墙。3.2 数据中心卡A100、H100、L40S这些怎么选如果预算不只是单张卡那要考虑的就是量化精度、运行时的稳定性、多卡扩展性。A100 40GB和80GB版本是当前最常见的部署卡40GB版本跑13B FP16很稳跑70B INT4勉强能塞但上下文稍长就危险80GB版本就从容很多70B INT4或13B FP16加长上下文都行。H100的优势在于BF16算力大幅提升BF16推理时比FP16更容易压榨性能而且H100的NVLink和NVSwitch组网能力更强多卡并行时通信瓶颈更少。对纯推理业务A100性价比通常更高因为推理瓶颈在带宽不在纸面算力。这里面有个容易被忽略的点同样一张A100跑FP16推理时的吞吐量可能比INT8高不了多少因为显存带宽决定了一大半速度。很多人在A100上跑FP16模型已经很快了没必要强行量化反而可能因为量化内核优化不到位导致速度更慢。数据中心卡上怎么选精度要看框架的内核支持情况不能只看理论压缩比。3.3 Apple Silicon、AMD、Intel CPU和NPU的适配情况Apple Silicon是另一个热点方向M系列芯片统一内存架构让GPU能直接访问大容量内存所以M2 Ultra 192GB这种配置能跑很大的模型。但要注意统一内存不等于显存带宽一定高M系列的内存带宽和同代N卡还是有差距实测跑7B模型的速度大概在中等水平。Apple Silicon对FP16的支持很好对INT4的支持要看对应推理客户端是否优化到位。AMD显卡这边这几年有ROCm和Vulkan路线能用但生态成熟度比CUDA差一截。我自己测下来AMD新卡跑FP16和BF16都是可以的INT8/INT4就经常遇到算子不兼容要看具体框架版本。CPU推理则适合INT8/INT4加CPU指令集优化比如llama.cpp在PC上用AVX2/AVX512速度能跑出惊喜尤其适合4GB显存以下的机器。NPU和专用芯片情况就更分散一般要配套特定的量化格式和编译器通用性暂时还不高。4. 量化实操从“能跑”到“跑好”的完整流程4.1 先用脚本算清楚自己的显存需求我习惯拿到一个模型后先不急着配推理环境而是先用一段脚本估算多精度下的显存。这一行代码就能直接统计模型参数和字节数然后分别用4、2、1、0.5字节乘上去加上KV Cache预算最后和自己硬件的显存比对。这个步骤能避免90%的“装上去就爆显存”问题。KV Cache的计算也可以简单估算2K和V × 层数 × 注意力头维度 × 上下文长度 × 2字节就是单序列的KV缓存量。7B模型、2048上下文、大约1GB左右4K上下文就要2GB左右。所以长文本聊天比短对话吃显存多得多这也是很多人忽略了。4.2 校准数据集和PTQ、GPTQ、AWQ怎么选要做INT8或INT4量化最朴素的方案是后训练量化也就是PTQ。做法是拿模型在少量校准数据上跑一遍前向统计激活和权重的分布然后确定量化缩放因子。校准数据集的选择非常关键不能用训练集里的数据应该用贴近实际使用场景的样本比如中文对话模型就用中文对话样本代码模型用代码样本。GPTQ是目前比较流行的权重量化方法思路是在量化每一层权重时用Hessian矩阵来做误差补偿所以同等位数下效果通常比朴素PTQ好。AWQ则不是做误差补偿而是根据激活值重要性来保护一小部分更关键的权重通道让它们保持较高精度其他通道量化到低比特。两者各有特点GPTQ在通用场景更成熟AWQ在部分模型上掉点更少。实操中还有一个重要变量是否要保留某些层为FP16。比如位置编码、LayerNorm、某些Attention输出层这些对精度过于敏感强制量化后模型输出可能完全走样。不少推理框架会自动做这种混合精度处理但如果你自己踩坑了可以手动指定这些层不参与量化。4.3 不同推理引擎下的精度配置现在最常用的推理引擎我简单列一下llama.cpp / llama.cpp各前端Ollama、LM Studio、Jan适合本地单机部署GGUF量化格式最常用Q4_K_M、Q5_K_M、Q6_K、Q8_0这些文件后缀就是量化等级Q4_K_M在速度和效果间最平衡。vLLM适合服务端高并发推理支持FP16、INT8、INT4等用GPTQ/AWQ量化后加载吞吐量表现好。TensorRT-LLMNVIDIA专属支持FP16、INT8、FP8等适合专业部署优化空间大但配置繁琐。Transformers原生最方便但速度和内存效率不如专用推理引擎通常用来验证模型质量。如果你用Ollama这类工具下载模型时选择带q4_K_M或q5_K_M后缀的版本基本不会错。我自己实测Q4_K_M和FP16在多数对话任务上差别感觉不出来但在代码生成、数学推理这类高逻辑密度任务上会有一定差距。4.4 量化后如何做回归测试量化不是“压完就算完”必须做回归测试。我的测试套路是固定一组问题包含数学题、代码题、长文本总结、知识问答、多轮对话然后分别用FP16基准版本和量化版本跑一遍对比回答的一致性。如果量化版本在逻辑题目上明显变差优先尝试更大量化比特比如INT4换INT8或者换用AWQ量化。如果只是某几个案例有问题可能是校准数据不匹配可以重新校准。还有个经验是量化后“话变多”但内容空洞大概率是模型输出分布被压缩之后生成策略偏向了平滑词汇这时候可以调低温度、提高top_p但根源还是要调校精度。5. 配硬件和调精度的常见坑逐个排掉5.1 显存明明够为什么还是OOM这个问题我遇到过太多次。常见原因有三个一是上下文长度太长KV Cache指数级增长二是batch_size被框架默认调大多序列并发导致显存翻倍三是框架自身缓存和CUDA context占用2GB到4GB的底噪是常事。排查思路是先看显存占用曲线确认是权重占了大部分还是KV Cache占了大部分。如果权重占大头说明模型太大降精度或换小模型如果KV Cache占大头就缩短上下文长度或换支持PagedAttention的框架如果是底噪问题尝试设置环境变量限制CUDA缓存。5.2 明明做了量化为什么速度反而更慢很多人的第一直觉是“INT4总该比FP16快”其实不一定。低比特推理依赖算子优化如果你的硬件平台没有对应的低比特内核框架会把INT4权重先反量化回FP16再计算这样不仅没省时间还多了反量化开销。所以选推理引擎时要确认它是否支持你目标硬件的低比特内核。NVIDIA卡用TensorRT-LLM或vLLMCPU用llama.cpp这些是相对稳妥的路线。另外显存带宽不够时低比特优势会在长上下文场景更明显短对话场景差距反而不大。5.3 量化后模型输出明显变差常见原因包括校准数据领域偏差、量化位度过低、模型本身对量化敏感。解决办法按优先级排换更大量化位度比如从Q4_K_M到Q5_K_M或Q8_0换用AWQ或GPTQ调整校准数据让它们贴近实际场景最后还可以尝试混合精度量化把关键层保留为FP16。5.4 CPU推理速度过慢CPU推理慢的本质是内存带宽不足而不是算力不足。所以优化方向是优先用内存通道更多的主板、插满内存通道、选高带宽内存然后换用更激进的量化如INT4再调整线程数和批处理大小找到当前机器的甜点参数。跑7B级别以上的模型CPU只能作为兜底方案体验不要太乐观。5.5 多卡并行时显存不均衡多卡跑同一个大模型时如果框架对层切分策略不优化可能会出现一张卡满载另一张卡空闲的情况。排查方式是看每张卡的显存和利用率确认权重层是否均匀分配KV Cache是否均匀分配然后调整切分策略或尝试使用张量并行。6. 最后分享几个实用小技巧按理说这篇文章可以在问题排查那里收尾了不过既然聊到模型、精度和硬件这个组合我再补几条容易被忽略的实战经验全是踩坑换来的。第一如果你的显卡显存和模型权重大小相差不到2GB就别强行装原版FP16了直接选INT8或者Q6_K这种高比特量化体感差距很小但稳定性好很多。第二长文本场景不要只盯着模型大小KV Cache才是隐形杀手预算时要按你日常用的最长上下文来算不要按模型默认上下文来算。第三同一模型同一精度在不同推理引擎下的速度和显存占用能差两三倍不要因为某引擎默认设置就放弃其他方案。特别是在Windows下Ollama和LM Studio、llama.cpp的结果可能差别很大实测为准。第四你如果只是聊天娱乐不必过度追求“无损”Q4_K_M和FP16的差距大多数情况下感知不明显选择能流畅跑起来的配置远比纠结零点几个百分点的精度差异更重要。第五记录你的“选型清单”模型参数量、目标精度、显存需求、内存带宽、实测速度、实际上下文长度这是我每次调优都重做的功课。把这些数据整理成表下次换模型或加硬件时直接查表效率比从头试错高得多。这也是为什么我一直推荐大家把选型过程当成一套流程来做而不是临时拍脑袋。搞明白精度与硬件的关系本质上是搞清楚“数据从哪里来、数据怎么走、系统在哪卡住”。把这几件事算清楚了模型跑不动、速度慢、显存爆掉这些事就有了可排查的方向拿着这套方法去配机器至少不会把预算浪费在看起来很强但实际用不上的硬件上了。