前阵子帮朋友选深度学习主机他丢给我一张显卡参数表上面密密麻麻写着“算力 82.6 TFLOPS”“AI TOPS 1321”“FP16 330 TFLOPS”看得人一头雾水。这其实是个很典型的问题市面上的宣传册和评测文章都喜欢把算力数字写得越大越好但很少有人讲清楚这些数字到底是怎么算出来的又是在什么条件下测出来的。更坑的是如果你拿 FP16 的算力去对比 INT8 的算力或者拿稀疏算力去对比稠密算力那结论基本就是错的。我接触过不少搞 AI 部署和模型训练的朋友说实话能把这几个指标真正理解透的人并不多。今天这篇就把算力、TOPS、TFLOPS、FP32/FP16/INT8 这些概念彻底拆开揉碎讲清楚它们各自代表什么、之间怎么换算、在实际选型中应该怎么用最后再附上一些我在实际调参和压测过程中踩过的坑。内容不复杂但很实用。1. 算力的本质到底在算什么东西1.1 先搞清楚“算力”二字的物理含义算力英文叫 Compute Capability说人话就是“单位时间内能完成多少次数学运算”。这里的数学运算在 AI 场景下绝大多数是“乘加运算”Multiply-Accumulate简称 MAC。神经网络里的卷积、全连接、注意力机制本质就是一堆矩阵乘法而矩阵乘法最终会被拆成无数个“先乘后加”的原子操作。比如算一个长度为 4 的向量点积a1×b1 a2×b2 a3×b3 a4×b4这里面就有 4 次乘法、4 次加法。在 GPU 的硬件设计里乘法和加法通常被打包成一个 FMAFused Multiply-Add融合乘加指令一次 FMA 指令完成一次乘法和一次加法。所以在算“算力”的时候业界习惯把一次乘加即 2 次浮点操作作为基础计数单位。这就引出一个关键概念算力公式 运算单元数量 × 时钟频率 × 每周期每单元执行的运算次数 × 精度系数。举个例子一块 GPU 有 128 个流处理器每个流处理器每个时钟周期能跑 2 次浮点运算注意是浮点运算 FLOPs不是 FMA核心频率是 1.5GHz那么它的理论峰值算力大约是 128 × 2 × 2 × 1.5GHz 768 GFLOPS。为什么这里要乘两个 2因为“每周期每单元执行的运算次数”取决于硬件设计有些单元支持 FMA一次算 2 次操作另外精度不同支持 FP16 的 Tensor Core 一个周期能算的 FMA 次数远高于 FP32 的 CUDA Core。只有理解了公式你才能看懂为什么同一块芯片在不同精度下算力差异巨大——因为精度决定了运算单元是否满负荷工作、是否能走专用加速路径。1.2 从 CPU 到 GPU再到 NPU/TPU很多人对算力的理解还停留在 CPU 时代觉得主频高就是算力强。但 AI 计算的特点是大规模并行、高吞吐、对单个任务的延迟要求相对宽松。CPU 的设计思路是“低延迟、复杂控制”单个核心很强但核心数量不可能做到上千个GPU 的设计思路是“高吞吐、简单控制”核心数量动辄几千个虽然单核能力弱但合在一起处理矩阵运算的效率碾压 CPU。到了 NPU、TPU 这类 AI 专用芯片干脆砍掉了很多通用计算逻辑把大量晶体管直接用在做矩阵乘法的 MAC 阵列上。以 Google TPU v4 为例其片上矩阵乘法单元MXU可以在一拍内完成 128×128 的矩阵乘加这种设计让它在特定精度下的算力远超同功耗的 GPU。这里有个特别容易忽略的点CPU、GPU 的算力通常用 FLOPS每秒浮点运算次数来表示而 NPU、端侧芯片、自动驾驶芯片更爱用 TOPS每秒万亿次整数运算。背后的原因是AI 推理阶段为了速度和显存占用模型权重经常被量化成 INT8 甚至 INT4 整数格式整数算力更容易宣传、数字也好看。但训练阶段几乎必须用浮点FP32、FP16、BF16所以 GPU 的浮点算力指标更通用。2. TOPS 与 TFLOPS一对容易混淆的亲兄弟2.1 单位换算背后的精度鸿沟TOPS 全称 Tera Operations Per Second即每秒万亿次操作TFLOPS 全称 Tera Floating-point Operations Per Second即每秒万亿次浮点操作。只看字母两者就差一个“F”但背后的精度要求完全不同。TOPS 测量的通常是 INT8 整数运算TFLOPS 测量的是 FP16/FP32 浮点运算。由于整数运算没有浮点运算复杂的对齐、舍入逻辑同样的硬件做 INT8 的速度往往比 FP32 快 4 倍、比 FP16 快 2 倍。这就导致了一块 GPU 产品的 TOPS 数值指 INT8 算力看起来是 TFLOPS指 FP16 算力的 2 倍左右。那么 TOPS 和 TFLOPS 能不能直接换算可以粗略换算TOPSINT8 TFLOPSFP16× 2或者以操作次数为单位看1 TFLOPS 的 FP16 在单位换算成 OPS 时等于 2 TOPS。听起来有点绕我给你一个例子NVIDIA A100 显卡FP32 算力19.5 TFLOPSFP16/TF32Tensor Core算力312 TFLOPSFP16 稠密/ 624 TFLOPS稀疏INT8Tensor Core算力624 TOPS稠密/ 1248 TOPS稀疏看到这里你应该明白了A100 的 FP16 算力 312 TFLOPS 对应 INT8 算力 624 TOPS正好是 2 倍关系。因为 FP16 一个操作占 2 字节INT8 一个操作占 1 字节理论上同样的带宽和处理单元INT8 的吞吐就是 FP16 的 2 倍。2.2 为什么自动驾驶芯片爱标 TOPS你在看智能驾驶域控制器时一定会看到类似“总算力 254 TOPS”的宣传话术。这个数字怎么来的以一颗常见的自动驾驶芯片为例它内置了 CPU、GPU、NPU 三种计算单元宣传的 254 TOPS 一般指的是 NPU 在 INT8 精度下的峰值算力不含 CPU 和 GPU。自动驾驶的场景有个特点模型训练好之后需要部署到车端做实时推理输入的是摄像头图像、激光雷达点云输出的是目标框、可行区域。推理阶段的数据格式经过量化后基本以 INT8 为主所以用 TOPSINT8来衡量端侧芯片性能是合理的。而且自动驾驶对功耗有硬约束一颗芯片往往限制在 30W-50W 的功耗区间用 TOPS/W每瓦算力对比各芯片能效更科学。但你要是拿它和 A100 这类数据中心 GPU 比“谁算力高”就属于关公战秦琼了。A100 标称 624 TOPSINT8时功耗是 400W而一颗车规芯片标称 254 TOPS 时功耗可能只有 30W。二者面向的场景、支持的精度、可用框架完全不重叠。所以我的建议是不要只记住一个数字一定要问清楚“这个算力是哪个精度、稠密还是稀疏、什么功耗下测出来的”这才是专业做法。3. FP32、FP16、BF16、INT8精度决定算力天花板3.1 各种精度格式的本质区别浮点数在计算机里的表示遵循 IEEE 754 标准由符号位、指数位、尾数位组成。以 FP32单精度浮点为例1 位符号 8 位指数 23 位尾数总共 32 位。它可以表示约 7 位有效十进制数字范围大致在 ±3.4×10^38。FP16半精度浮点是 1 位符号 5 位指数 10 位尾数总共 16 位。有效十进制数字约 3 位范围在 ±65504 左右。BF16Brain Floating Point是 Google 在 TPU 上力推的格式1 位符号 8 位指数 7 位尾数总共 16 位。它的指数范围与 FP32 一致但尾数精度比 FP16 还低。好处是做混合精度训练时不容易溢出或者下溢对梯度更新比较友好。INT88 位整数就是总共 8 位能表示 -128 到 127有符号或 0 到 255无符号。没有指数表示范围很窄需要做“量化”也就是把浮点权重映射到整数区间。那么精度的不同如何影响算力核心原因是硬件资源利用率。同一个运算单元处理 FP32 需要完整的 32 位通道处理 FP16 可以塞进两个 16 位通道处理 INT8 可以塞进四个 8 位通道。加上 Tensor Core 这类专用矩阵单元在不同精度下支持的乘加次数不同算力就出现了倍数级差异。为了直观我列一张常见精度格式的参数对比表格式总位数指数位尾数位十进制有效位典型应用与FP32算力比FP3232823约7位传统科学计算、CPU训练1xTF3232810约3位混合精度训练的过渡格式8xTensor CoreFP1616510约3位混合精度训练、推理2xBF161687约2位大模型分布式训练2xINT88无无—推理部署、量化加速4xINT44无无—极限推理优化、端侧部署8x这张表只是近似关系不同架构的 GPU、NPU 实际倍数略有差异但总体规律一致精度越低硬件可并行的数据量越大算力越高。3.2 混合精度训练为什么 FP16 能当主力很多同学训练模型时有个误区怕精度下降只敢用 FP32。实际上从头训练深度神经网络时权重分布基本在 -1 到 1 之间FP16 的 10 位尾数完全够用。但 FP16 的范围窄最大 65504梯度在反向传播时容易溢出。解决方法是混合精度训练Mixed Precision Training前向和反向计算时权重、激活值用 FP16梯度更新时用 FP32 的“主权重副本”损失缩放Loss Scaling在反向传播之前把损失值放大一定倍数比如 1024 倍避免小梯度在 FP16 下被舍入为 0更新完权重后再缩回去。这套方案已经是 PyTorch 里的标准操作了你用 torch.amp 或者英伟达的 AMP自动混合精度包就能轻松开启。实际跑起来FP16 相比 FP32 训练不仅能把速度翻倍因为算力翻倍显存占用也会降一半左右对大模型训练和加大 batch size 都有明显收益。判断该不该用混合精度主要看你的模型对数值精度是不是敏感。卷积神经网络CNN一般非常稳用 FP16 几乎无损超大词表的语言模型、一些强化学习场景需要人工检查梯度分布必要时在部分层保持 FP32。这需要在实践中慢慢积累手感。3.3 Tensor Core 和 CUDA Core专用电路带来的算力跃升提到精度就绕不开 Tensor Core。从英伟达 Volta 架构开始GPU 内部除了通用 CUDA Core还多了一组专门做矩阵乘法的 Tensor Core。CUDA Core 是一个时钟周期做一次 FP32 乘加而 Tensor Core 一个时钟周期能做 4×4 矩阵的乘加操作相当于 64 次 FMA。以 A100 为例它每个 SM流处理器里有 4 个 Tensor Core专门服务 FP16/BF16/INT8/INT4 这类低精度矩阵运算。当模型跑 FP16 时Tensor Core 火力全开跑 FP32 时 Tensor Core 反而帮不上忙A100 引入了 TF32 精度的 Tensor Core 支持但这也是一种截断格式。这就是为什么 A100 的 FP16 算力是 FP32 的 16 倍、INT8 是 FP32 的 32 倍——大数来自 Tensor Core 的专用加速。数据中心 GPU 和消费级 GPU 的差距也体现在这里。消费级卡也有 Tensor Core但规模和显存带宽差了一大截导致实际训练和推理时的影响远不止纸面算力差异。选卡时不能只看 FLOPS 数字还要看 Tensor Core 规模、显存带宽、互联速度这几点我后面会详细讲。4. 查算力表、选卡、买算力云的实操指南4.1 看懂显卡算力表与厂商的宣传口径厂商发布算力指标时一般会给出多行数据告诉你 FP32、FP16、INT8 分别是多少。以几款常见卡为例整理成表显卡/芯片功耗FP32 (CUDA Core)FP16 (Tensor Core)INT8 (Tensor Core)备注NVIDIA RTX 4090450W82.6 TFLOPS165 TFLOPS稀疏330 TOPS稀疏消费卡游戏轻量AINVIDIA L20275W40.6 TFLOPS119 TFLOPS稠密238 TOPS稠密准专业AI推理卡NVIDIA A100 40GB400W19.5 TFLOPS312 TFLOPS稠密624 TOPS稠密上一代数据中心主力NVIDIA H100 SXM700W67 TFLOPS989 TFLOPS稠密1979 TOPS稠密当前高性能训练主流某自动驾驶芯片30W——254 TOPS车规级NPU算力看见没旗舰游戏卡 RTX 4090 的 FP32 算力82.6 TFLOPS比 A10019.5 TFLOPS还高但如果你拿它做大规模模型训练显存、稳定性、互联都会被 A100 按在地上摩擦。游戏卡和计算卡的分野从来不只是算力高低而是硬件的可用性、多卡扩展和规模化部署能力。厂商宣传还有个常见花招用“稀疏”Sparse算力标榜最大性能。稀疏算力假设模型里一半的权重是零利用硬件跳过零值计算从而在理想情况下达到稠密算力的 2 倍。但没有任何模型能真正让权重有一半精确为零即使用了剪枝技术实际加速也远达不到 2 倍。所以对比时一定要认准稠密算力或者干脆自己用工具实测。4.2 实测压测拿真实任务算算需要多少算力理论算力只是上限实际应用能跑到理论值的 30%-60% 就不错了。有一个很实用的估算方法估一次训练或一次推理要多久反向推算需要的算力规模。比如我想跑一个 70 亿参数的大语言模型微调LoRA 方案下实际需要参与计算的参数量可能只剩 1 亿左右大部分层被冻结。训练数据是 100 万条文本每条平均 512 个 token那么总 token 数 1,000,000 × 512 5.12 亿。粗略估算训练总浮点操作数 6 × 模型参数量 × token 数 6 × 100,000,000 × 512,000,000 307,200,000,000,000,000 ≈ 307 PFLOPSPetaFLOPS10^15 次方。如果我用一张 H100FP16 稠密算力约 989 TFLOPS假设实际效率是 45%那么每秒有效算力约 445 TFLOPS训练时长 307 / 445 ≈ 0.69 秒这显然不对因为大模型训练要做大批次、多轮 epoch307 PFLOPS 只是单 epoch 的前向计算量真实训练时长还要考虑反向传播乘 2~3 倍、日志记录、数据加载、梯度同步等待等开销。通常 7B 模型用 1 张 H100 做 LoRA 微调100 万条数据跑 3 个 epoch实际耗时在 20~40 小时之间。这里我只是演示算力估算的逻辑先算出理论 FLOPs再除以实际有效算力最后乘上 3~5 倍的工程开销系数。推理场景也可以用类似方法估算。假如一个 7B 模型在 A100 上用 FP16 推理输入输出总 token 数为 2000。前向计算量约 2 × 模型参数 × token 数 2 × 7,000,000,000 × 2000 28 TFLOPS。A100 单卡 FP16 算力 312 TFLOPS实际利用率按 30% 算约 93.6 TFLOPS那么一次推理的理论耗时约 0.3 秒。这个估算结果和常见的 7B 模型单卡推理首 token 时延是吻合的。如果换成 INT8 量化模型A100 的 INT8 算力 624 TOPS对应百万 token 吞吐量会明显提升。4.3 算力云怎么选、API 密钥权限怎么管实际工作中不是每个人都有几张 A100 放在家里。更多人用的是算力云平台或者大模型的 API 接口。这里有几个实操层面的体会一是租卡看“可用算力”别只看“标称算力”。很多云平台标注“RTX 4090 算力增强型”但实际多用户共享时可能拿到的是碎片化算力。租卡之前先跑一下nvidia-smi看显卡是否被独占、显存是否真实可用或者直接跑一个 10 分钟的小模型压测计算实际吞吐量。二是 API 接口调用时密钥权限管理经常被忽视。我见过不止一次公司内部把 API Key 硬编码在代码仓库里或者团队成员共用一个超级权限 Key。这样做不仅埋下安全风险还可能导致误操作超额计费。比较规范的做法是用环境变量或密钥管理服务KMS存储 Key不要在代码里写死按项目申请不同的 Key分配最小必要权限例如只读模型、可写、可调训练任务等分离开设置调用限额和费用告警避免测试脚本不小心把几百万 token 刷完这块虽然和“算力指标”本身无关但算力好不好用、贵不贵很多时候取决于怎么合理地申请和调度资源。把权限控制好成本至少省 20%。5. 常见问题与踩坑实录5.1 算力对比时最容易踩的坑踩坑一用稀疏算力对比稠密算力。厂商宣传页上写着“FP16 750 TFLOPS”你以为这张卡是所有场景都能跑满这个数其实那是稀疏模式。对比必须看小字。比如你需要实打实的稠密 FP16 计算直接找表格里标着“Dense”的那一行没有就默认它是 Sparse。踩坑二混淆 TOPS 和 TFLOPS 的基准精度。有人拿一张卡的“INT8 300 TOPS”对比另一张卡的“FP16 150 TFLOPS”然后得出前者算力强一倍。换算一下FP16 150 TFLOPS 的 INT8 算力约 300 TOPS两者实际同一水平。所以对比之前先统一精度。踩坑三忽略显存带宽的限制。我之前跑一个视觉大模型标称算力足够但推理速度就是上不去。后来定位发现瓶颈在显存带宽模型的权重从显存搬到计算单元的速度远远慢于计算速度。这就好比一个厨师刀工再好但备菜员递菜太慢整体出餐速度也上不来。高算力卡一定要配高带宽显存比如 H100 的 HBM3 带宽达到 3.35TB/s而 RTX 4090 的 GDDR6X 只有 1TB/s 左右。跑大模型吞吐量的差距带宽影响甚至超过计算单元。踩坑四拿 TFLOPS 判断游戏性能。显卡的游戏表现主要看光栅化、纹理填充、几何处理等图形管线能力这些都在 FP32 的 CUDA Core 上运行但不同代际架构执行效率差异极大。比如 AMD 和 NVIDIA 的显卡 FP32 数字接近游戏帧率却差很多。所以游戏选卡看评测帧率不要看算力表。5.2 精度切换后的异常定位思路一次我在做模型量化时从 FP16 切到 INT8 后准确率突然掉了 8%。排查步骤供参考第一步检查量化校准数据集是否足够有代表性。用 100 张图片做校准和用 10000 张图片做校准量化参数差别很大后者明显更稳。第二步查看激活值分布。如果某些层的激活值范围极宽属于 Hard Outlier这时候 INT8 量化会严重失真。解决办法是采用混合精度只把容易量化的层切到 INT8敏感层保持 FP16。第三步确认有没有开启量化感知训练 QAT。常规的 PTQ训练后量化方便但效果不如 QAT 稳。如果是上线模型尽量提前把 QAT 流程加进训练阶段。这些思路适用于所有“从高精度降到低精度”的迁移场景。核心原则就是哪里有问题就把它切回高精度逐步定位不要一次全量切。5.3 一份实用的选型自检清单综合以上所有内容我把选型时该问的问题整理成清单照着回答一遍基本不会买错我的核心任务是训练还是推理训练选 FP16/BF16 算力高的卡推理优先看 INT8 算力和显存带宽模型参数量多大7B、13B 这种模型A100 40GB 能跑单卡推理70B 就得考虑多卡并行或量化到 4bit是否需要多卡互联多卡训练必须关注 NVLink 带宽和拓扑结构光看单卡算力没用单卡功耗和散热能否承受一台机器塞 8 张 450W 的显卡散热设计和电源都得重新规划预算能覆盖多少有时候租云比买整机更划算特别是临时跑实验的情况下。这套清单换成算力云也一样适用你先确认自己需要的卡型、显存、卡数再对比不同平台的实际算力产出而不是单纯看“1 张卡多少钱一小时”。我个人在实际操作中最深的体会是算力指标最大的价值不是用来横向 PK 谁强谁弱而是帮你在有限预算和功耗约束下估算出“这个任务到底需要什么规模的资源、大约要跑多久”从而做出更理性的决策。看不懂这些数字你只能被宣传文案牵着走理解了精度和算力的关系你就掌握了按需选配的主动权。最后再分享一个小建议下次拿到一张新卡或者开通一个算力实例不要只盯着标称参数先跑一个标准 benchmark 模型比如 ResNet-50、BERT-base记录下 FP32、FP16、INT8 三种精度的真实吞吐量。把这组数据存在自己的小本子上用不了多久你就会形成一套属于自己的“算力感知”以后再谈选型部署心里就有底了。