1. 算力研究框架的底层逻辑从一颗芯片到一张产业网聊AI算力这件事最容易犯的毛病就是一上来就盯着GPU型号和算力数字看。我见过太多人张口就是“H100多少TFLOPS”“A100显存多大”但真到了要评估一个训练任务需要多少算力、或者要判断一个算力集群的瓶颈在哪就说不清楚了。算力研究框架的核心不是背参数表而是建立一套从需求到供给、从硬件到软件、从单卡到集群的完整分析链路。1.1 算力需求的本质为什么大模型是个“算力吞金兽”要理解算力产业先得搞清楚算力到底被谁吃掉了。大语言模型的训练和推理本质上是一连串矩阵乘法在支撑。一个千亿参数级别的模型单次前向传播就要做上千亿次乘加运算训练阶段还要加上反向传播和梯度更新计算量再翻两三倍。这还没算上训练过程中需要反复迭代几十个epoch、每个epoch要过几万亿token的数据量。我习惯用一个简单的估算公式来建立直觉训练总计算量 ≈ 6 × 参数量 × 训练token数。这个6是怎么来的前向传播一次是2NN为参数量反向传播大约是4N加起来就是6N。假设一个1000亿参数的模型用1万亿token训练那总计算量就是6 × 10¹¹ × 10¹² 6 × 10²³ FLOPs。这个数字是什么概念一张A100的FP16算力大约是312 TFLOPS也就是3.12 × 10¹⁴ FLOPS每秒。理论上单卡跑完需要大约6 × 10²³ / 3.12 × 10¹⁴ ≈ 1.9 × 10⁹秒差不多60年。当然实际训练会用几千张卡并行但即便用4096张A100理想情况下也要跑将近130小时实际因为通信开销和利用率问题往往要翻倍。这就是为什么算力成了大模型竞赛的硬门槛。你可以有最好的算法、最牛的数据但没有足够的算力连验证想法的机会都没有。1.2 算力供给的层次从芯片到集群的四层架构算力供给不是简单的“买显卡”三个字能概括的。我把它拆成四个层次来看每一层都有不同的技术门槛和产业逻辑。第一层是芯片级算力也就是CPU、GPU、ASIC、FPGA这些计算芯片本身。GPU是目前AI训练和推理的绝对主力英伟达在这个领域占了超过八成的市场份额。CPU负责逻辑控制和数据预处理虽然算力密度远不如GPU但整个系统的调度离不开它。ASIC是专用集成电路谷歌的TPU就是典型代表针对特定算子做了硬件优化能效比很高但通用性差。FPGA则是可编程逻辑门阵列灵活性介于GPU和ASIC之间适合算法快速迭代的场景。第二层是板卡级算力也就是把芯片做成加速卡配上显存、散热、供电和高速接口。这一层的核心指标不只是芯片算力还包括显存带宽、显存容量、卡间互联带宽。比如A100的显存带宽是1555 GB/sH100提升到了3350 GB/s这个带宽直接决定了数据喂给计算单元的速度很多时候比纯算力数字更影响实际性能。第三层是服务器级算力把多张加速卡集成到一台服务器里通过NVLink或PCIe做卡间互联。一台典型的8卡A100服务器NVLink带宽能到600 GB/s而PCIe 4.0 x16只有64 GB/s差了将近十倍。这就是为什么同样八张卡NVLink版本比PCIe版本贵那么多也是为什么大模型训练必须用NVLink互联的服务器。第四层是集群级算力把成百上千台服务器用高速网络连起来配上分布式存储和调度系统。这一层的核心挑战是通信瓶颈。当模型大到单卡放不下必须做张量并行、流水线并行和数据并行时卡间、机间、机架间的通信效率就成了决定训练速度的关键。英伟达的DGX SuperPOD和InfiniBand网络就是为解决这个问题设计的。1.3 算力评估的常见误区别被峰值数字忽悠了很多人评估算力就看芯片的峰值FLOPS这其实是个大坑。峰值算力是在理想条件下测出来的实际跑模型的时候能达到峰值的60%就算不错了。影响实际算力的因素太多了显存带宽够不够、算子优化得好不好、batch size设得合不合理、通信开销占了多少、甚至数据加载速度都可能成为瓶颈。我一般用有效算力利用率MFU这个指标来衡量。MFU 实际达到的FLOPS / 峰值FLOPS。大模型训练里MFU能到50%以上就算优化得很好了很多团队实际跑下来只有30%到40%。所以你在规划算力的时候不能按峰值算得按有效算力算不然预算肯定超。还有一个误区是只看训练不看推理。训练是一次性的投入推理是持续性的消耗。一个模型训练完上线后每天要处理几百万甚至上亿次请求推理算力的总消耗可能远超训练。而且推理对延迟敏感对算力的要求跟训练完全不一样。训练可以慢慢跑推理必须秒级响应。所以算力研究框架里训练算力和推理算力要分开看不能混为一谈。2. 产业链全梳理从上游材料到下游应用算力产业链条很长从最上游的半导体材料和设备到中间的芯片设计、制造、封装再到服务器整机、网络设备、数据中心最后到云服务和AI应用每一环都有不同的玩家和竞争格局。我按上中下游拆开来讲重点说清楚每个环节的核心价值和关键玩家。2.1 上游芯片设计与制造卡脖子的地方在哪上游最核心的环节是芯片设计。GPU领域英伟达是绝对霸主AMD在追赶但差距不小英特尔也在做独立显卡但主要面向消费级市场。国内这边华为昇腾系列走的是ASIC路线寒武纪、壁仞、摩尔线程等公司也在做AI加速芯片但生态和软件栈跟英伟达的CUDA比还有明显差距。芯片设计之上是EDA工具和IP核。EDA是电子设计自动化软件没有它连芯片都画不出来。这个市场被Synopsys、Cadence、Siemens EDA三家垄断国产EDA还在起步阶段。IP核方面ARM的CPU架构IP和Imagination的GPU IP是很多芯片公司的选择但高端AI芯片的IP往往需要自研。芯片制造是另一个卡脖子环节。台积电在先进制程上遥遥领先5nm、4nm、3nm工艺基本垄断了高端AI芯片的代工。三星虽然也有先进制程但良率和产能跟台积电有差距。国内中芯国际在成熟制程上没问题但先进制程受设备限制短期内很难突破。制造之后是封装测试。先进封装技术越来越重要因为芯片制程逼近物理极限后通过封装把多个芯粒集成在一起成了提升性能的重要路径。台积电的CoWoS封装产能直接决定了英伟达H100的出货量这个环节的瓶颈效应非常明显。2.2 中游服务器与网络设备算力落地的物理载体中游是把芯片变成可用算力的环节。AI服务器跟普通服务器最大的区别在于加速卡的集成密度和互联方式。一台8卡A100服务器光GPU成本就占整机成本的八成以上所以服务器厂商的利润空间其实很薄主要赚的是集成和服务的钱。服务器厂商里浪潮、戴尔、HPE、联想是传统大厂超微在AI服务器领域增长很快。国内这边浪潮信息在AI服务器市场份额很高华为通过昇腾生态也在推自己的服务器产品。但不管哪家核心芯片都得外购自主可控程度有限。网络设备是容易被忽视但极其关键的环节。大模型训练集群里服务器之间的通信带宽直接决定了并行效率。英伟达收购Mellanox后InfiniBand成了AI集群的主流网络方案带宽从200G到400G再到800G不断升级。以太网方案虽然成本低但在低延迟和高带宽上跟InfiniBand有差距。国内做高速网络设备的厂商也在追赶但高端交换芯片还是依赖博通等海外厂商。2.3 下游云服务与AI应用算力变现的最终出口下游是算力变成钱的环节。云服务商把算力打包成实例卖给客户按小时或按年收费。AWS、Azure、谷歌云是海外三巨头国内阿里云、腾讯云、华为云占据主要份额。云服务商的优势在于规模效应和弹性调度但毛利率受制于硬件折旧和电力成本。除了通用云服务还有专门做GPU算力租赁的平台。这类平台针对AI训练和推理场景做了优化提供预装环境的GPU实例用户开箱即用。AutoDL就是国内比较有代表性的算力云平台主打高性价比的GPU租用适合学生和中小团队做实验。海外这边CoreWeave、Lambda Labs等公司专注GPU云服务估值涨得很快。最下游是AI应用层包括大模型公司、AI绘画、AI视频、智能客服、自动驾驶等等。这些应用直接消耗算力也直接产生收入。但应用层的竞争格局还很不稳定今天火的產品明天可能就被替代所以对算力的需求波动也大。2.4 产业链的利润分配谁在赚钱谁在陪跑算力产业链的利润分配极度不均。英伟达一家拿走了AI芯片市场绝大部分利润毛利率超过60%净利率超过30%。台积电作为代工厂毛利率在50%左右也很赚钱。但到了服务器厂商这一层毛利率往往只有10%到15%净利率更低。云服务商虽然收入规模大但资本开支也大自由现金流并不好看。这种利润分配格局的根源在于技术壁垒。芯片设计和先进制造的技术壁垒最高所以利润最丰厚。服务器集成和云服务的壁垒相对低竞争更激烈利润就薄。下游应用层虽然想象空间大但大部分公司还在烧钱阶段真正盈利的没几家。对从业者来说这个格局意味着两件事一是核心芯片和制造环节的岗位薪资最高但门槛也最高二是应用层机会多但风险大适合有差异化能力的团队。中间环节的服务器和云服务更适合有规模优势和成本控制能力的玩家。3. 核心技术点拆解GPU、ASIC与算力集群架构聊完产业链回到技术本身。AI算力的核心技术点集中在三个层面计算芯片的架构差异、算力集群的互联方案、以及软件栈的优化能力。这三个层面决定了算力的实际可用性和效率。3.1 GPU vs ASIC通用性与专用性的永恒博弈GPU和ASIC是AI算力的两条主要技术路线各有优劣适用场景也不同。GPU的优势在于通用性。英伟达的CUDA生态经过十几年积累几乎所有主流深度学习框架都原生支持开发者写代码不用考虑底层硬件细节。GPU的编程模型相对灵活同一个硬件既能做训练又能做推理既能跑CV模型又能跑NLP模型。这种通用性让GPU成了AI算力的默认选择。但GPU的通用性是有代价的。为了支持各种不同的计算模式GPU芯片里有很多冗余电路能效比不如专用芯片。而且GPU的显存带宽和容量有限大模型训练时经常遇到显存不够的问题需要做各种并行切分增加了工程复杂度。ASIC走的是另一条路。谷歌TPU是典型代表针对矩阵乘法做了专门的硬件优化能效比远超GPU。TPU v4的算力能达到275 TFLOPSBF16功耗却比同算力的GPU低不少。但ASIC的缺点是灵活性差只适合跑特定类型的模型算法一变硬件就可能不适用。而且ASIC的软件生态需要从头建设开发者迁移成本高。国内这边华为昇腾走的是ASIC路线达芬奇架构针对AI计算做了优化昇腾910的FP16算力能达到320 TFLOPS。但昇腾的软件栈CANN跟CUDA比还有差距算子覆盖度和易用性都需要提升。我的判断是短期内GPU仍然是AI算力的主力尤其是在训练环节。ASIC会在推理环节逐步渗透因为推理场景相对固定对能效比更敏感。长期看两者会共存GPU做通用计算ASIC做专用加速形成异构计算架构。3.2 算力集群的互联架构NVLink、InfiniBand与以太网单卡算力再强也扛不住大模型的参数规模。千亿参数模型必须做并行训练而并行的效率取决于卡间和机间的互联带宽。卡间互联方面英伟达的NVLink是事实标准。A100的NVLink 3.0带宽是600 GB/sH100的NVLink 4.0提升到了900 GB/s。相比之下PCIe 4.0 x16只有64 GB/s差了十几倍。这就是为什么8卡A100服务器必须用NVLink互联不然卡间通信会成为严重瓶颈。机间互联方面InfiniBand和以太网是两条路线。InfiniBand的延迟更低、带宽更高但成本也更高。英伟达的Quantum-2 InfiniBand交换机支持400Gbps端口配合SHARP技术能做网络内计算进一步降低通信开销。以太网方案成本低但需要RoCEv2等协议做RDMA调优复杂度高。集群规模越大互联架构的重要性越突出。一个千卡集群里如果网络带宽不够GPU利用率可能从80%掉到30%以下。所以大厂建AI集群时网络设备的投入占比很高有时候能到总投入的两三成。3.3 软件栈CUDA的护城河与国产替代的难点英伟达真正的护城河不是硬件是CUDA。CUDA经过十几年迭代积累了大量的库和工具cuBLAS做矩阵运算、cuDNN做深度学习算子、TensorRT做推理优化、NCCL做多卡通信。开发者用PyTorch写模型底层自动调用这些库根本不用关心硬件细节。国产芯片要替代英伟达最大的难点不是硬件算力是软件生态。华为的CANN、寒武纪的Neuware、壁仞的BIRENSUPA都在努力建设自己的软件栈但算子覆盖度、框架适配度、社区活跃度都跟CUDA有差距。开发者迁移到新平台往往要重写大量代码还要踩很多坑。我实际测试过一些国产芯片的平台跑标准模型还行但遇到自定义算子或者特殊网络结构就容易出问题。而且调试工具不完善性能调优很困难。这个差距不是一朝一夕能追上的需要持续投入和生态建设。3.4 算力精度FP32、FP16、INT8到底怎么选算力精度是很多人容易忽略但实际很关键的技术点。FP32是单精度浮点32位存储精度高但算力消耗大。FP16是半精度浮点16位存储算力翻倍但精度损失可控。INT8是8位整数算力再翻倍但精度损失明显。训练阶段一般用FP32或混合精度FP16FP32。混合精度训练是现在的主流做法前向和反向用FP16算梯度更新用FP32保持精度。这样既能享受FP16的算力优势又能避免精度损失导致的训练不稳定。推理阶段可以根据场景选精度。对精度要求高的场景用FP16对延迟敏感的场景用INT8。INT8量化能把模型大小压缩到四分之一推理速度提升两三倍但精度可能掉几个百分点。实际部署时要做好精度和速度的权衡。英伟达A100的FP16算力是312 TFLOPSINT8算力是624 TOPS差了整整一倍。所以同样的卡用INT8推理能比FP16快一倍。但INT8量化需要校准不是所有模型都能无损量化这个工程细节很考验团队能力。4. 实操过程与核心环节实现从零搭建算力评估方案前面聊了框架和产业链这一章讲点实在的怎么从零开始做算力评估和方案设计。我按实际项目流程来拆每一步都给出可操作的方法和参数。4.1 第一步明确算力需求别拍脑袋定规模算力评估的第一步不是看有什么卡是搞清楚要跑什么模型、多大规模、什么时间要求。训练场景要算三个数模型参数量、训练数据量、目标训练时间。用前面说的6ND公式估算总计算量再除以目标时间和有效算力利用率得到需要的卡数。比如1000亿参数模型、1万亿token数据、目标两周训完总计算量6×10²³ FLOPs两周是1.2×10⁶秒有效算力利用率按40%算需要的峰值算力是6×10²³ / (1.2×10⁶ × 0.4) ≈ 1.25×10¹⁸ FLOPS。一张A100的FP16峰值是3.12×10¹⁴ FLOPS所以需要大约4000张A100。这个估算很粗但能快速判断量级。推理场景要算的是吞吐量和延迟。先估算每天的请求量和每个请求的平均计算量得到总计算需求再根据单卡的推理吞吐算出需要的卡数。推理还要考虑峰值流量按峰值算而不是按均值算不然高峰期会崩。4.2 第二步硬件选型GPU型号怎么挑确定算力规模后选具体硬件。GPU选型主要看四个指标算力、显存、互联带宽、功耗。训练场景优先选显存大、互联带宽高的卡。A100 80GB比40GB版本贵不少但大模型训练时80GB能减少并行切分的复杂度实际效率更高。H100比A100贵一倍多但算力提升三倍互联带宽也更高大规模训练时性价比反而更好。推理场景优先选能效比高、成本低的卡。A10、L4、T4这些推理专用卡算力不如A100但功耗低、价格便宜适合大规模部署。如果模型不大消费级显卡比如RTX 4090也能用单卡24GB显存能跑不少模型性价比很高。国产卡方面昇腾910B在训练场景有实际部署案例但软件适配需要投入人力。推理场景可以用昇腾310功耗低适合边缘部署。选择国产卡要有心理准备软件栈的坑不少需要团队有较强的工程能力。4.3 第三步集群组网别让网络成为瓶颈硬件选好后组网方案决定了集群的实际效率。小规模集群8卡以内用NVLink互联就够了服务器内部通信带宽足够。中等规模几十到几百卡需要InfiniBand或高速以太网做机间互联带宽至少200Gbps起步。大规模集群千卡以上要用胖树或DragonFly拓扑配合SHARP等网络内计算技术降低通信开销。存储也不能忽视。训练数据要能快速喂给GPU存储带宽不够会导致GPU等数据。NVMe SSD做本地缓存分布式存储做数据湖配合GPUDirect Storage技术让数据直接从存储传到显存绕过CPU和系统内存。4.4 第四步软件环境搭建PyTorch安装与多卡配置软件环境是实操中最容易出问题的环节。我以PyTorch为例说下标准流程。先装驱动和CUDA Toolkit。驱动版本要跟CUDA版本匹配CUDA版本要跟PyTorch版本匹配。比如PyTorch 2.1推荐CUDA 11.8或12.1驱动版本要对应。装完用nvidia-smi确认驱动正常用nvcc --version确认CUDA正常。然后装PyTorch。官方推荐用conda或pip安装命令在PyTorch官网能查到。装完用torch.cuda.is_available()确认GPU可用用torch.cuda.device_count()看卡数。多卡训练用DistributedDataParallelDDP比DataParallel效率高很多。启动脚本用torchrun指定--nproc_per_node为卡数。通信后端选NCCL这是英伟达优化的多卡通信库比Gloo快很多。4.5 第五步性能调优把GPU利用率拉上去环境搭好后实际跑起来GPU利用率往往不高需要调优。先看瓶颈在哪。用nvidia-smi看GPU利用率用nvtop看显存和计算负载用PyTorch Profiler看算子耗时。如果GPU利用率低但显存占用高可能是batch size太大导致OOM或者数据加载慢。如果GPU利用率波动大可能是通信开销大或者数据加载不均匀。常见调优手段包括增大batch size提高计算密度、用混合精度训练减少显存占用和加速计算、用梯度累积模拟大batch、优化数据加载用多进程和预取、调整并行策略减少通信量。这些手段要组合使用没有银弹。我实际调优的经验是先把数据加载搞定确保GPU不饿着。然后调batch size和并行策略找到通信和计算的平衡点。最后做算子级别的优化用TensorRT或TorchScript加速。整个过程要反复测每次只改一个变量不然不知道哪个改动起了作用。5. 常见问题与排查技巧实录实操中遇到的问题五花八门我整理了一些典型问题和排查思路做成速查表方便参考。5.1 训练常见问题速查问题现象可能原因排查方法解决方案GPU利用率低数据加载慢看DataLoader耗时增加num_workers、用预取显存OOMbatch size太大看显存占用曲线减小batch、用梯度累积训练loss不下降学习率不对看loss曲线调学习率、用warmup多卡训练慢通信瓶颈看NCCL耗时换NVLink、调并行策略训练不稳定混合精度问题看梯度范数用动态loss scaling5.2 推理常见问题速查问题现象可能原因排查方法解决方案延迟高模型太大看单次推理耗时量化、剪枝、蒸馏吞吐低batch太小看GPU利用率增大batch、用连续批处理精度下降量化损失对比量化前后输出校准、混合精度显存不够KV cache太大看显存占用用PagedAttention、减batch5.3 独家避坑技巧坑一别迷信峰值算力。厂商标的峰值算力是理论值实际能到60%就不错了。规划算力时按有效算力算留足余量。坑二网络比你想的重要。很多人预算全花在GPU上网络设备凑合用结果多卡训练效率极低。网络投入占比至少15%到20%。坑三软件栈的坑最深。国产芯片硬件参数好看但软件适配要花大量时间。选型时要把软件生态纳入评估别只看纸面算力。坑四推理优化是持续过程。模型上线只是开始后续要持续做量化、蒸馏、算子融合才能把推理成本降下来。坑五电力散热别忽视。千卡集群功耗上兆瓦电力和散热成本很高。选址时要考虑电价和气候不然运营成本会失控。5.4 算力租赁 vs 自建怎么选最后聊个实际问题算力是租还是买自建集群适合长期稳定需求、有专业运维团队、对数据安全要求高的场景。优点是可控性强、长期成本低缺点是前期投入大、技术门槛高、灵活性差。算力租赁适合短期项目、需求波动大、团队规模小的场景。优点是开箱即用、弹性伸缩、无运维负担缺点是长期成本高、数据安全依赖服务商、可能遇到资源紧张。我的建议是混合模式核心业务自建峰值需求租赁。这样既能保证基础算力又能应对突发需求。AutoDL这类平台适合做实验和中小规模训练大规模生产还是自建或找大厂云服务更稳妥。算力这件事说到底是个系统工程。单看芯片参数没意义要把芯片、网络、存储、软件、电力、散热全盘考虑才能把算力真正用起来。我见过太多团队买了最贵的卡结果因为网络瓶颈或者软件问题实际算力利用率不到30%。算力研究框架的价值就是帮你避开这些坑把钱花在刀刃上。