新闻详情

新闻详情

首页 / 资讯中心 / 详情

大规模异构 GPU 资源碎片治理:基于拓扑亲和与 Binpack 算法的调度优化

发布时间:2026/11/18 1:11:55来源:尧图网络
大规模异构 GPU 资源碎片治理:基于拓扑亲和与 Binpack 算法的调度优化
大规模异构 GPU 资源碎片治理基于拓扑亲和与 Binpack 算法的调度优化在管理上百节点、包含 A100、H800、L40 及国产异构加速卡的混合算力集群时最令人头疼的问题往往不是算力绝对总量的不足而是“显存碎片化”与“拓扑不匹配”。经常出现的情况是集群总空闲显存高达上千 GB但当一个需要 8 卡 NVLink 全互联的 70B 大模型任务提交上来时却没有任何一台物理机能够满足连续的 8 卡拓扑需求。原因在于之前的零散小任务随意分布在各个节点上把原本连续的 NUMA / NVLink 节点打得支离破碎。为了解决异构算力碎片化问题我们自研并落地了基于 Kube-Scheduler 框架的拓扑感知装箱Binpack调度插件。graph TD subgraph 待调度任务队列 TaskA[70B分布式推理 申请8卡互联] TaskB[LoRA微调 申请2卡] TaskC[Embedding 单卡切片] end Scheduler[拓扑感知调度器] TaskA -- Scheduler TaskB -- Scheduler TaskC -- Scheduler subgraph 节点拓扑与打分决策 Scheduler -- Filter[拓扑过滤器: 校验NVLink/PCIe Switch连通性] Filter -- Score[Binpack 打分器: 优先填充已有碎片节点] Score -- BestFit[选定最佳节点: 保留完整整机给大任务] end BestFit -- Node1[节点 1: 已满载] BestFit -- Node2[节点 2: 填充轻量任务] BestFit -- Node3[节点 3: 预留完整 8 卡拓扑]1. 物理拓扑感知从单卡数量到通信带宽矩阵在传统的 Kubernetes 默认调度器中GPU 只是一个无差别的标量资源如nvidia.com/gpu: 2。调度器只要看到节点剩余 GPU 数量大于等于 2就会把 Pod 调度过去。但在真实硬件中卡 0 和卡 1 可能通过高速 NVLink 直连带宽达到 600GB/s而卡 0 和卡 7 可能跨越了 CPU NUMA 节点通信只能走高延迟的 PCIe 总线带宽骤降至 32GB/s。如果让分布式张量并行Tensor Parallel跨越 NUMA 节点运行模型推理延迟会直接增加 3 倍以上。我们在调度插件中维护了节点硬件的物理拓扑掩码Topology Maskpackage scheduler import ( context fmt v1 k8s.io/api/core/v1 k8s.io/kubernetes/pkg/scheduler/framework ) type GPUTopologyPlugin struct { handle framework.Handle } const PluginName GPUTopologyBinpack func (p *GPUTopologyPlugin) Name() string { return PluginName } // Filter 阶段不仅检查卡数更校验是否存在满足通信带宽的连续卡组合 func (p *GPUTopologyPlugin) Filter(ctx context.Context, state *framework.CycleState, pod *v1.Pod, nodeInfo *framework.NodeInfo) *framework.Status { reqGPUs : getRequestedGPUs(pod) if reqGPUs 1 { return framework.NewStatus(framework.Success) } node : nodeInfo.Node() topologyData, exists : node.Annotations[topology.gpu.internal/matrix] if !exists { return framework.NewStatus(framework.Unschedulable, 节点缺少 GPU 拓扑元数据) } if !hasContiguousTopology(topologyData, reqGPUs) { return framework.NewStatus(framework.Unschedulable, fmt.Sprintf(节点无满足带宽的 %d 卡连续拓扑, reqGPUs)) } return framework.NewStatus(framework.Success) } // Score 阶段采用 Binpack 策略倾向于将碎任务挤入同一个 NUMA 节点尽量空出整机 func (p *GPUTopologyPlugin) Score(ctx context.Context, state *framework.CycleState, pod *v1.Pod, nodeName string) (int64, *framework.Status) { nodeInfo, err : p.handle.SnapshotSharedLister().NodeInfos().Get(nodeName) if err ! nil { return 0, framework.NewStatus(framework.Error, err.Error()) } usedGPUs, totalGPUs : getNodeGPUUsage(nodeInfo) if totalGPUs 0 { return 0, framework.NewStatus(framework.Success) } // 计算装箱分数已有使用率越高打分越高加速填满单机 utilization : float64(usedGPUs) / float64(totalGPUs) score : int64(utilization * 100) return score, framework.NewStatus(framework.Success) }2. 碎片主动整理与低优先级任务抢占静态调度只能保证任务入场时的合理性但随着不同任务生命周期的异步结束集群不可避免地会再次产生碎片。为了动态消除碎片平台引入了周期性碎片整理与智能重排控制器apiVersion: config.k8s.io/v1beta3 kind: KubeSchedulerConfiguration leaderElection: leaderElect: true profiles: - schedulerName: gpu-topology-scheduler plugins: filter: enabled: - name: GPUTopologyBinpack score: enabled: - name: GPUTopologyBinpack weight: 100 reserve: enabled: - name: GPUTopologyBinpack控制器每隔 15 分钟扫描一次全集群。当发现某台 8 卡机器上只运行了一个单卡低优先级批处理任务而其他节点有能力容纳该任务时控制器会自动向该任务发送安全迁移信号优雅终止并在另一节点重建从而将整台 8 卡机器释放出来为后续的高优先级大模型任务保留黄金算力槽位。3. 生产调优成效与避坑总结通过拓扑感知与装箱调度的结合我们在生产环境中取得了显著的收益集群整卡可用率提升8 卡连通任务的调度成功率从 61% 提升至 94%消除了“有空闲卡却调不动大任务”的窘境。算力装箱率显著提高在混合运行微调、轻量推理与批量计算的集群中整体算力碎片率下降了近 40%。避免过早调度锁定在 Score 阶段必须同时结合 CPU、内存与 RDMA 网络的分配情况防止因 GPU 绑定成功但宿主机网络带宽打满造成的性能次生灾害。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉