1. 从一颗芯片的发布聊起为什么算力倍数值得关注阿里平头哥发布真武 V900 芯片官方口径是算力达到 M890 的 3 倍。这条消息在圈子里传开之后我第一反应不是去看那个3 倍的数字而是去翻它的定位——因为做芯片这行的人都知道算力倍数是最容易被误读的一个指标。同样叫3 倍可能是同精度下的 3 倍也可能是换了数据格式之后的 3 倍还可能是特定稀疏场景下的 3 倍。这三种情况对实际业务的意义完全不同。先把背景交代清楚。平头哥是阿里旗下的芯片设计团队之前已经有过倚天、含光等系列产品线M890 是它此前的一颗芯片真武 V900 是新一代。从命名和发布节奏看这大概率是面向云端推理或者数据中心场景的产品而不是端侧的小芯片。这一点很关键因为云端芯片和端侧芯片对算力的定义、对精度的取舍、对功耗和散热的容忍度完全是两套逻辑。这篇文章我想做的事情很具体把算力达 M890 的 3 倍这句话拆开讲清楚一颗芯片的算力到底是怎么算出来的、3 倍这个数字背后可能藏着哪些前提条件、以及作为开发者或者技术选型的人看到这类发布消息时应该关注哪些真正影响落地的参数。不管你是做模型部署、做异构算力调度还是单纯对芯片行业感兴趣这套拆解思路都能用得上。我尽量不堆术语遇到必须解释的概念会用生活化的类比讲明白。毕竟算力这个东西说穿了就是单位时间内能做多少次特定运算跟一台机器一小时能拧多少个螺丝是一回事只是螺丝换成了矩阵乘法。2. 算力这个数字到底是怎么算出来的2.1 从每秒多少次运算说起芯片算力最常见的单位是 TOPS也就是每秒万亿次操作Tera Operations Per Second。注意这里用的是操作而不是浮点运算因为不同精度下的一次操作含金量差别巨大。一个 INT8 的乘加运算和一个 FP32 的乘加运算硬件上消耗的资源可能差四倍甚至更多。所以当你看到算力是某某的 3 倍时第一个要问的问题就是这个 3 倍是在哪个精度下测的如果 M890 的标称算力是 INT8 下的某个值而 V900 的 3 倍是在 INT4 或者稀疏模式下测出来的那这个对比就不太公平。行业里比较规范的做法是标注清楚精度比如INT8 算力 XXX TOPS但宣传口径往往会模糊处理。我整理了一个常见的精度对照方便你建立直觉精度格式单次运算资源消耗相对典型应用场景算力标注常见度FP32最高科学计算、训练较少用于推理标称FP16/BF16中等大模型训练与推理很常见INT8较低量化推理主力最常见INT4最低极致量化、边缘推理逐渐增多从这张表能看出来同一块硬件在 INT4 下的理论算力可能是 FP16 下的 4 倍甚至更多。所以3 倍这个数字如果没标精度参考价值要打折扣。2.2 稠密算力和稀疏算力的区别还有一个特别容易被忽略的点稀疏算力。现在很多芯片宣传的峰值算力是在模型权重或者激活值高度稀疏的前提下测出来的。所谓稀疏就是矩阵里有很多零硬件可以跳过这些零不做计算从而白捡一部分算力。打个比方你要数一个停车场里有多少辆车如果车位大部分是空的你扫一眼就知道结果不用一个个格子去看。稀疏计算就是这个道理——跳过空位速度自然快。但问题是真实业务里的模型不一定那么稀疏很多稠密模型根本享受不到这个加速。所以看到3 倍的时候第二个要问的问题是这是稠密算力还是稀疏算力如果是稀疏算力翻 3 倍而你的业务模型稀疏度不高那实际能拿到的加速可能远低于 3 倍。这一点在做容量规划的时候特别致命我见过不少团队按宣传峰值买卡结果实际吞吐只有预期的三分之一。2.3 峰值算力和有效算力的鸿沟即便精度和稀疏度都对齐了还有一个绕不开的现实峰值算力永远拿不满。芯片标称的 TOPS 是理论峰值实际跑模型时受限于内存带宽、数据搬运、算子调度、框架适配等因素能跑到峰值的 30% 到 60% 就算相当优秀了。这里有个很形象的类比芯片的算力单元像是一群工人内存带宽像是给他们送原料的传送带。工人再多传送带送料跟不上大家也只能干等着。这就是所谓的内存墙问题。很多芯片算力标得很高但内存带宽没跟上实际表现就拉胯。所以评估一颗芯片不能只看算力数字还要看算力与带宽的比值。这个比值太低说明芯片容易饿着算力发挥不出来。真武 V900 如果算力真的翻了 3 倍那它的内存带宽有没有同步提升就是一个非常关键的观察点。如果带宽没跟上那 3 倍算力在实际业务里可能只能兑现一部分。3. 3 倍算力对不同角色的实际意义3.1 对做模型部署的人意味着什么如果你是在一线做模型部署的工程师看到3 倍算力最该关心的不是数字本身而是单位算力的成本和迁移成本。算力翻 3 倍如果价格也翻 3 倍那对你来说没有任何意义如果价格持平甚至更低那才是真正的红利。迁移成本这块经常被低估。一颗新芯片要真正用起来需要框架支持、算子库完善、量化工具链成熟、社区踩坑经验积累。这些东西不是发布当天就齐活的。我自己的经验是一颗新芯片从发布到能稳定跑生产业务通常需要半年到一年的生态成熟期。这期间你会遇到各种算子不支持、精度对不齐、性能不达预期的问题。所以对部署工程师来说理性的态度是关注但别急着上生产。可以先拿小规模业务做验证跑通几个典型模型测一下实际吞吐和延迟跟现有方案做个对比。等生态成熟了再考虑规模化替换。3.2 对做算力调度平台的人意味着什么如果你在做异构算力调度比如把不同厂商、不同型号的芯片统一管理起来那新芯片的加入对你来说是个幸福的烦恼。幸福在于算力池又多了一种资源烦恼在于异构调度又复杂了一层。不同芯片的算力特性不一样有的擅长高吞吐的批量推理有的擅长低延迟的单请求有的对某些算子有特殊优化。调度平台要做的是根据任务特征把请求分发到最合适的硬件上。这需要你对每种芯片的性能画像有清晰的认知。我建议的做法是建立一套标准化的基准测试集新芯片进来先跑一遍把它的性能画像量化出来。测试集要覆盖你业务里最常见的模型类型和输入尺寸这样得到的画像才有参考价值。别直接用厂商给的跑分那些跑分往往是挑过的跟你的真实业务场景可能差很远。3.3 对技术选型决策者的意义如果你是做技术选型决策的那3 倍算力这个信息对你的价值在于议价筹码和战略备份。多一个供应商就多一个谈判的筹码也多一条供应链备份路径。这在当前的大环境下战略意义可能比单纯的性能提升更重要。但决策的时候要冷静。一颗芯片能不能进你的采购清单取决于一整套因素性能、成本、生态、供货稳定性、长期维护承诺、以及跟你现有技术栈的兼容性。算力只是其中一项。我见过太多因为跑分高就仓促选型结果被生态问题拖垮的案例。4. 看到芯片发布消息时我实际会去查的几件事4.1 精度、稀疏、场景三件套前面反复强调了精度和稀疏度这里再补一个场景。芯片算力往往是在特定场景下测的比如特定 batch size、特定序列长度、特定模型结构。脱离场景谈算力就像脱离路况谈汽车油耗没有意义。我通常会去找发布方的技术白皮书或者详细的 benchmark 数据看它标注的测试条件。如果只有一句3 倍没有细节那这个数字就只能当个参考不能作为决策依据。4.2 内存带宽和互联能力算力之外内存带宽和芯片间互联能力是决定实际性能的两大隐性因素。大模型推理尤其吃带宽因为每一层都要把权重从显存搬到计算单元。带宽不够算力再高也是空转。互联能力则决定了多卡扩展的效率。单卡再强如果多卡之间通信慢那做大模型并行的时候就会卡在通信上。这两项参数在发布消息里经常被一笔带过但对实际业务的影响可能比算力数字还大。4.3 软件栈和生态成熟度这一项是最难量化但最影响落地体验的。我会去看支持哪些主流框架算子覆盖度如何量化工具链是否完善有没有活跃的开发者社区文档质量怎么样这些信息在发布初期往往不完整但可以通过一些侧面信号判断。比如有没有开源部分工具链、有没有跟主流框架官方合作、有没有公开的开发者文档站点。生态这东西急不来但方向对不对早期就能看出苗头。5. 从这颗芯片延伸出去的算力认知框架5.1 算力不是孤立指标而是一组约束下的结果聊到这里其实可以提炼出一个更通用的认知框架算力从来不是孤立指标它是一组约束条件共同作用的结果。这些约束包括精度、稀疏度、内存带宽、互联带宽、功耗、散热、软件栈成熟度等等。任何一颗芯片的算力都是在这组约束下取得的一个平衡点。有的芯片牺牲精度换算力有的牺牲通用性换特定场景的性能有的牺牲单卡性能换多卡扩展性。理解了这个框架你再看任何芯片发布消息都能快速定位它的取舍逻辑。5.2 评估算力需求的实操方法反过来如果你要评估自己业务需要多少算力也有个实操方法。先算清楚你的业务量每天多少请求、每个请求的平均计算量、能容忍的延迟上限。然后拿一个已知性能的硬件做基准测出它在你的业务上的实际吞吐再按比例推算需要多少算力。这个过程里实测永远优于理论推算。因为理论推算会忽略太多现实因素。我自己的习惯是任何容量规划都留 30% 到 50% 的余量用来应对突发流量和性能波动。5.3 算力成本的多维度核算最后说说成本。算力成本不只是芯片采购价还包括机房电力、散热、运维人力、软件适配投入、以及因为生态不成熟导致的效率损失。这些隐性成本加起来有时候比芯片本身还贵。所以做算力选型的时候我建议算一笔**总拥有成本TCO**的账而不是只比芯片单价。这笔账算清楚了很多看似性价比高的方案就会现出原形。6. 我个人的几点实操体会真武 V900 这颗芯片具体表现如何现在下结论还太早得等实际拿到手跑过才知道。但围绕算力倍数这个话题我踩过的坑和总结的经验是实打实的。第一永远不要相信没有标注条件的算力数字。精度、稀疏度、batch size、模型结构这些条件缺一个数字的可比性就要打问号。养成追问条件的习惯能帮你避开很多选型陷阱。第二生态成熟度比峰值算力更影响落地体验。一颗算力稍低但生态完善的芯片实际用起来往往比一颗算力高但处处踩坑的芯片更省心。这个道理做过部署的人都懂。第三容量规划一定要留余量。理论峰值和实际有效算力之间的鸿沟比你想象的大。按峰值做规划生产环境一定会出问题。第四多供应商是战略不是备胎。在算力这件事上保持多个可选方案既是议价筹码也是风险对冲。但每个方案都要真正跑通验证过纸面上的备选不算数。这颗芯片后续如果有更详细的技术资料出来我会再结合实际测试数据做一轮更具体的分析。在那之前保持关注、保持理性比急着下判断更有价值。