新闻详情

新闻详情

首页 / 资讯中心 / 详情

浪潮数据AS13000G7拿下MLPerf训练场景双第一:给大模型训练装上“自动存档“

发布时间:2026/11/16 18:02:19来源:尧图网络
浪潮数据AS13000G7拿下MLPerf训练场景双第一:给大模型训练装上“自动存档“
训练一个大模型到底有多难想象几千甚至上万张GPU卡要连续跑上几周、甚至几个月才能完成一轮大模型训练。中间任何一次服务器故障、网络中断都可能让前面的努力全部归零——除非系统提前存了档。这个存档动作在 AI 领域叫Checkpoint检查点。它每隔一段时间就把训练进度完整保存下来。一旦出问题不用从头再来从最近一次存档点接着跑就行。听起来很简单难就难在这个存档极其频繁、数据量极大而且训练越大的模型越考验存储的速度。存得太慢几千张 GPU 就得停下来干等——每一秒等待都是真金白银的算力浪费。这就是今天要讲的故事浪潮数据如何解决大模型训练存档慢这道难题。01一张来自国际权威评测的成绩单近日国际权威AI基准评测组织MLCommons公布MLPerf® Storage V3.0测试成绩。在大模型训练最核心的 Checkpoint场景Llama3.1-70B 模型负载中浪潮数据AI存储 AS13000G7拿下多项单节点、单U读写带宽双第一单节点读带宽269 GiB/s单U读带宽134 GiB/s单节点写带宽195 GiB/s单U写带宽97 GiB/s浪潮数据在CheckpointingLlama3.1-70B负载下测试成绩翻译成大白话就是它一秒钟能读入的数据相当于200多部高清电影。而MLPerf® Storage之所以被全球智算中心、大模型企业当作选型标尺正是因为它的考试方式很刁钻——要求连续完成10轮循环读写、每轮都是TB级数据灌入全程不掉速才算合格。靠临时调优刷出来的一次性高分在这里行不通。单节点、单U两个维度同时登顶对客户意味着两件事单节点性能越强集群里需要的存储节点就越少采购和运维成本越低单U性能密度越高越能节省宝贵的机房空间和长期电费——性能和成本两头都占。02高分背后三个看不见的功夫很多人以为跑分高就是堆了几块好硬盘。但这次成绩的看点恰恰在于硬件只是地板软件架构才决定你能摸到多高的天花板。AS13000G7搭载浪潮数据自研的InData AIOS靠的是三招内功。第一招数据不绕路直接上高速传统存储架构里数据写入要先经过一层中转站控制节点再落盘路径绕、效率低——就像快递要先送到分拣中心再发往目的地。玄同架构把指挥和搬运彻底分开指挥系统只管调度数据本身不再经过中转直接写入硬盘。路径短了速度自然就上来了。玄同架构下数据路径示意图第二招一次搬运连签收单一起搞定存储数据时系统还要额外记录一份校验信息用来确保数据没写错。传统做法要分两次操作完成等于搬一次货、签两次单。AS13000G7把这套流程合并成一次数据连同校验信息一次落盘I/O交互次数减少50%写延迟被明显压低。别小看这 50%——在每轮TB级数据、连续10轮的高压测试里省下的每一次往返都实实在在地转化成了带宽优势。原生全闪存数据布局技术优化前后对比第三招给每块硬盘配个智能调度员一个存储节点里有很多块硬盘。传统方案按固定规则分配数据容易旱的旱死、涝的涝死——有的盘累到打满有的盘闲到发慌整体速度被拖垮。InData AIOS里的智能负载均衡像一位实时盯着路况的调度员哪块盘有空闲数据就往哪走让每一块硬盘都跑满性能谁也别闲着。智能负载均衡功能优化前后对比图03跑分之外客户真正得到什么榜单上的数字最终要落回客户的机房里。Checkpoint速度提上来之后客户得到的是一连串实打实的好处训练更稳存档快故障恢复就快长周期训练不再提心吊胆GPU不空等数据供得上昂贵的算力资源每一秒都花在刀刃上成本更优同样的带宽需求用更少的存储节点就能满足。大模型训练是一场马拉松而存储决定的是——你中途停下来喝水存档时需要多久才能重新跑起来。浪潮数据用这套从架构到调度的全栈自研能力让每一次存档都快人一步。浪潮数据将持续深耕AI存储技术让算力不等待、让训练不掉速为千行百业的大模型落地筑牢数据底座。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉