YOLOv11 四卡训练卡住不动切换单卡却正常一次多 GPU DDP 训练排查记录一、问题现象最近在云训练机上训练 YOLOv11 自定义工业缺陷数据集时我原本准备使用四张 GPU 加快训练训练指令大致如下yolo detect train data./yaml/xxx.yaml modelyolo11m.pt epochs200 patience30 imgsz2048 batch32 device0,1,2,3但是启动训练后程序一直停在多卡初始化阶段训练没有正常进入第一个 epoch。等待一段时间后日志也没有继续明显刷新看起来像“卡住不动”。后来把参数改为单卡device0训练就可以正常启动并进入 epoch。也就是说模型、数据集、标签和基本训练参数并没有完全失效真正出问题的环节大概率出现在多 GPU 训练额外触发的 DDP 分布式环境上。二、为什么单卡正常多卡却会卡住很多人会以为多卡训练只是把device0改成device0,1,2,3实际上并不是这么简单。单卡训练时YOLO 只需要启动一个训练进程直接调用一张显卡即可。而多卡训练时Ultralytics 会启动 DDPDistributed Data Parallel分布式数据并行模式。简单理解就是每张显卡都会对应一个训练进程多个进程之间需要同步模型参数、梯度、数据和训练状态。所以只要其中一张卡、一个子进程或某个通信环节出问题其他进程就可能一直在等待最终表现为日志停在 DDP 初始化附近GPU 利用率不高甚至一直为 0显存看似占了一点但训练不进入 epoch单卡训练正常多卡训练失败或卡住。因此单卡能跑通并不代表四卡环境一定正常它只能说明模型、数据和基础训练流程大概率没有致命问题。三、多卡训练卡住时先不要急着重装环境遇到这种情况我建议按下面顺序排查而不是一上来就重装 CUDA、PyTorch 或系统。1. 先确认单卡能否正常训练先使用device0如果单卡可以正常进入训练并且 loss、mAP 等指标正常变化那么可以初步排除以下问题数据集路径完全错误yaml 文件无法读取标签格式整体异常模型文件无法加载当前训练参数完全不可用。这一步很重要因为它能把问题范围从“整个训练流程”缩小到“多卡 DDP 环境”。2. 查看每张显卡是否都正常可用在训练机终端执行nvidia-smi重点看下面几项四张显卡是否都能识别是否有某张卡已经被其他训练任务占用每张卡的显存是否差异很大是否有残留 Python 进程没有退出GPU 利用率是否长期为 0。如果其中一张 GPU 被其他任务占用、显存不足或者状态异常多卡训练就可能无法正常初始化。3. 注意 batch 和显卡数量是否匹配我这里使用四张 GPU设置的是batch32 device0,1,2,3理论上平均下来就是每张卡处理 8 张图这种设置通常比较合理。但如果总 batch 太小、不能被 GPU 数量整除或者图片尺寸很大导致某张显卡显存先爆也可能导致多卡训练异常。例如2048 分辨率下模型显存压力明显比 640 或 1024 大得多。即使总 batch 看起来不大多卡训练时仍然需要结合显存情况逐步测试。建议按下面顺序尝试# 先测试两张卡 device0,1 batch16确认两张卡正常后再测试四张卡device0,1,2,3 batch32不要直接认为“有四张卡就一定要四张卡全部开满”。4. DataLoader 也可能导致看似“多卡卡住”YOLO 训练除了 GPU 外还会启动数据加载进程读取图片、标签并进行增强。如果数据量很大、图片分辨率很高或者数据中混有损坏图片、异常标签、路径问题多卡下的 DataLoader 会比单卡更容易暴露问题。排查时可以先降低 workersyolo detect train data./yaml/xxx.yaml modelyolo11m.pt epochs200 imgsz2048 batch16 device0,1 workers2如果降低workers后可以正常启动说明问题可能和数据读取、多进程加载或服务器 CPU 资源有关。同时建议检查是否有损坏图片图片和标签是否一一对应标签中是否存在空行、类别编号越界数据路径是否包含特殊字符网络盘或挂载磁盘读取是否稳定。5. 自定义模块和 DDP 兼容性也要注意如果使用的是官方原版 YOLO一般 DDP 兼容性会相对好一些。但如果项目里加入了自定义网络模块、自定义数据增强、自定义 Trainer、改过数据集读取逻辑多卡训练时就可能出现问题。原因是多卡 DDP 需要启动多个子进程而部分自定义对象无法被正常传递到子进程中。单卡不需要处理这个问题所以可能单卡正常、多卡异常。因此如果项目加入过自定义模块建议先用官方模型和最基础参数测试多卡环境yolo detect train data./yaml/xxx.yaml modelyolo11n.pt epochs2 imgsz640 batch16 device0,1如果这个最小测试能跑通再逐步恢复自己的模型、分辨率和训练参数。四、我这次的处理方式这次训练时多卡模式没有正常进入训练流程但切换成单卡后可以正常运行。因此我没有继续在当下任务里反复消耗时间排查四卡而是先使用单卡完成当前训练保证模型迭代不被卡住。后续如果确实需要提升训练速度再单独安排时间排查多卡环境建议顺序如下单卡确认模型和数据正常两卡、小 batch、低分辨率进行最小测试检查nvidia-smi中每张 GPU 的状态降低workers检查 PyTorch、CUDA、驱动版本是否匹配最后再恢复四卡、2048 分辨率和正式 batch。这样排查效率会比“直接四卡硬跑”高很多。五、结论YOLOv11 多卡训练卡住、单卡却正常通常不是模型本身突然坏了而是多卡 DDP 训练比单卡多了一层进程通信、显卡同步和数据加载的问题。对于实际项目来说优先级应该是先让模型稳定训练再追求多卡加速。尤其是工业缺陷检测项目数据分辨率大、训练周期长、客户现场问题多。与其为了开满显卡浪费半天时间不如先用单卡把模型跑出来、验证效果再单独处理多卡环境问题。六、快速排查清单单卡device0是否能正常训练nvidia-smi是否识别到所有 GPU是否有其他进程占用显卡batch 是否适合当前显卡数量和显存是否尝试过先用两张卡测试是否降低过workers数据集中是否有损坏图片、空标签或异常标签是否使用了自定义模块、Trainer 或数据增强PyTorch、CUDA、驱动版本是否匹配是否先用最小模型、低分辨率跑通 DDP参考资料Ultralytics YOLO 训练文档Model Training with Ultralytics YOLO | UltralyticsPyTorch Distributed 文档Redirecting…