数据流向硬盘-内存-显存一、核心名词定义 相互关系面向模型训练 / 本地部署先一句话总览CPU通用计算总管适用于复杂的逻辑运算GPU并行计算加速器跑模型主力适用于简单的并行计算例如矩阵计算内存 (RAM)CPU 使用的临时空间存放数据集、代码、模型元信息显存VRAMGPU 专属内存存放神经网络权重、中间张量训练最吃它硬盘永久存储放数据集、模型文件、环境安装包读写速度影响加载快慢算力GPU 每秒能做的浮点运算数量决定前向 / 反向传播计算快慢类比 CPU 餐厅店长什么杂活都能干但一次处理任务数量少 GPU 一大批后厨厨师每个人只做简单重复操作适合大批量并行运算 内存 店长手边操作台显存 厨师面前的案板 硬盘 仓库算力 厨师团队总干活速度。1显存 VRAM深度学习最容易瓶颈的硬件,RTX2060 6G归属只属于 GPUCPU 不能直接访问作用模型权重、输入图片 / 张量、梯度、优化器参数全部要放在显存里才能用 GPU 加速影响场景✅ 训练显存不够 →Out of Memory(OOM)直接报错。模型越大、batch size 越大占用显存越高✅ 推理本地部署只需要模型权重 输入张量不需要存梯度显存消耗远小于训练举例一个 7B 大模型FP16 精度权重就要占用约 13GB 显存如果你显卡只有 8G 显存训练直接 OOM推理也要做量化才能跑。2内存 RAM电脑主内存双8G归属CPU 使用作用存放数据集、预处理数据、python 代码、操作系统。当显存不够有人会把数据丢到内存但是速度会暴跌影响内存太小数据集加载阶段会卡如果内存爆掉程序直接被杀掉。举例你有 10 万张图片数据集训练时一次性全部读进内存内存不够直接崩溃。一般做法是分批读取。3硬盘SSD / HDD,512G闪存1T机械作用永久保存文件数据集、模型权重、CUDA、代码区别SSD 固态硬盘速度远快于机械 HDD影响只影响数据加载速度不影响模型训练计算速度。举例HDD 读取图片很慢训练时 GPU 算完一批要等硬盘读下一批GPU 空闲等待叫IO 瓶颈。SSD 可以缓解这个问题但不能解决显存不足。4算力TFLOPS含义GPU 浮点运算能力衡量 GPU 做矩阵乘法神经网络本质就是大量矩阵乘有多快注意算力高≠一定能训练大模型。显存是门槛算力是速度。举例一张显卡算力很强但显存只有 4G。大模型根本塞不进显存算力再高也没法训练。 通俗理解案板显存太小放不下食材厨师算力再多也没法开工。5CPU深度学习任务里职责读取硬盘数据、做数据预处理图像增强、转张量调度任务把张量送到 GPU 显存控制训练循环、日志记录短板并行能力弱不适合大规模矩阵运算只用 CPU 训练模型会慢几十上百倍。场景CPU 太差会出现GPU 空闲一直在等 CPU 处理数据也就是数据预处理瓶颈。6GPU深度学习主力神经网络前向传播、反向传播更新权重全部交给 GPU 并行计算。限制受制于显存大小。二、硬件之间互相制约关系重点课程训练 / 部署必看显存是训练第一道门槛显存不够 → OOM程序直接崩显存充足才轮到看算力决定训练快慢。内存不能远小于显存 内存太小数据集加载失败如果内存 显存也容易爆内存。硬盘速度只影响数据加载不影响模型计算速度CPU 性能弱会拖慢数据预处理造成 GPU 等待GPU 利用率上不去GPU 利用率看 nvidia-smi理想训练硬件搭配 足够显存的 GPU 匹配大小内存 SSD 硬盘 中端 CPU 即可不需要顶级 CPU。三、训练 vs 本地部署硬件关注点差异模型训练阶段优先级显存容量 GPU 算力 内存大小 硬盘速度 CPU需要保存梯度、优化器参数显存开销巨大需要源源不断读取数据集对 IO 有要求模型本地部署推理阶段优先级显存 GPU 算力不需要计算梯度显存占用大幅下降很多场景还可以量化FP16→INT8进一步降低显存占用低配显卡也能跑。四、常见坑举例显卡算力很高但显存小可以跑小模型训练大模型只能推理无法训练。显存足够但机械硬盘训练时 GPU 经常空闲速度慢但不会 OOM。显存足够内存很小读取大数据集直接内存报错。显存、内存、硬盘都很好CPU 很差数据预处理跟不上GPU 利用率低训练速度上不去。五、快速一句话总结GPU 负责核心计算显存是 GPU 的临时工作台内存是 CPU 的工作台硬盘是仓库算力是 GPU 计算速度。 训练模型首先看显存够不够放下模型 梯度其次看算力快慢本地部署显存压力小很多