新闻详情

新闻详情

首页 / 资讯中心 / 详情

RHEL 8版深度学习AMI的AWS部署优化实战:GPU训练性能调优与分布式扩展

发布时间:2026/11/21 19:42:11来源:尧图网络
RHEL 8版深度学习AMI的AWS部署优化实战:GPU训练性能调优与分布式扩展
在AWS上跑机器学习训练我最常打交道的镜像就是Deep Learning AMI简称DLAMI尤其近两年切到RHEL 8之后整套部署和优化思路算是彻底理清了。很多人以为AWS给的深度学习镜像就是“启动即用”但真实业务里——大数据集、多卡训练、多节点并行——你如果不在部署前做好选型、不在系统层面做针对性优化训练任务很容易卡在莫名其妙的地方。这篇文章就把我在RHEL 8上部署并优化Deep Learning AMI的完整路径写出来从选择理由到具体操作再到性能和可扩展性的调整都尽量讲清楚“为什么这么做”而不只是给一串命令。内容适合机器学习工程师、算法工程师以及负责云上基础设施的运维同学。即使你之前习惯用Ubuntu切换过来也有很强的参考价值因为很多坑其实是跨发行版通用的只是RHEL 8在某些细节上表现得更“倔强”一些。1. 选型背后的逻辑为什么是 RHEL 8 版本的 Deep Learning AMI1.1 Deep Learning AMI 到底是什么AWS Deep Learning AMI是Amazon官方提供的预装深度学习环境的虚拟机镜像。底层是某个Linux发行版上面已经帮你装好了NVIDIA驱动、CUDA、cuDNN以及TensorFlow、PyTorch、Apache MXNet这些主流框架还附带一堆数据科学常用的Python库。你要做的事情基本就是启动实例、切换conda环境、开始训练不需要重新走一遍“装驱动-配CUDA-编译框架”的漫长流程。对于有经验的人来说这一步省下来的时间可能只是一两天但对团队协作来说省下来的是“所有人环境保持一致”这个最难办的事。它分两种形态一种是带图形界面的开发版本适合做调试和可视化另一种是纯命令行的生产版本没有桌面环境镜像更小、启动更快、系统开销更低。我强烈建议生产环境的训练任务都用后者。实际选择时在控制台搜索Deep Learning AMI然后按发行版和版本号筛选就行如果用CLI下面第3章会有具体命令。1.2 为什么指定 RHEL 8 而不是默认的 Amazon Linux 2这个问题我当初也纠结过AWS默认推荐的是Amazon Linux 2轻量且更新快但如果你的业务有明确的系统基线要求RHEL 8往往才是那个“不得不选”的答案。第一是企业合规和统一运维。很多公司内部已经有RHEL订阅、统一的安全基线、合规审计流程规定服务器必须跑RHEL。这种情况下即便Amazon Linux 2更省心你也得遵守规范。RHEL 8有明确的十年生命周期承诺CVE修复和内核补丁都有官方保障对生产级训练任务来说稳定性和可预测性比“开箱即用”重要得多。第二是生态兼容性。RHEL 8使用dnf作为包管理器软件仓库很全深度学习社区的大部分安装脚本对它都有不错的支持。尤其在企业内部很多机器学习平台组件调度系统、监控agent、日志采集器可能只维护了RHEL/CentOS系的rpm包你如果用Ubuntu反而要自己做适配。第三是SELinux。RHEL 8默认启用SELinux且处于Enforcing模式这对深度学习环境来说确实会带来一些权限上的麻烦后面我会专门提到怎么处理。但换个角度看这种强制安全机制在通过等保或SOC2审计时是个加分项而Amazon Linux默认的SELinux策略相对宽松。当然RHEL 8也有代价。AWS对DLAMI的镜像更新里RHEL版本通常比Amazon Linux版本晚一些新驱动、新框架版本可能要等几天。我的策略是生产训练集群稳定优先用RHEL 8真有尝鲜需求再开一台Ubuntu或Amazon Linux的实例跑原型验证没问题再回来改基线。1.3 和自建环境、容器方案的对比自建环境、DLAMI、容器方案是三条不同的路我把它们的区别整理成一张表方便你根据团队情况选型方案环境搭建成本维护成本灵活性多节点扩展适用场景自建环境手动装驱动/框架高1-2天起步高驱动和框架升级都要手动处理最高通信库要自己配有强定制需求、不差时间的团队Deep Learning AMI低启动后基本即用低AWS会同步更新镜像中预装NCCL/EFA相关组件大多数训练任务的稳妥选择容器方案EKS/ECS中需要维护镜像和编排中但可移植性好高天然适合微服务化、多团队共享GPU的场景实际上它们不是互斥的。我目前的做法是把DLAMI当作底层环境然后在里面跑Docker容器。DLAMI保证驱动和框架依赖是好的容器保证训练代码和运行环境能干净封装将来要迁到EKS也比较平滑。你可以把DLAMI理解为“地基”容器是“楼层”叠加使用效果最好。提示如果团队长期做训练建议基于DLAMI用Packer做自定义AMI。这样扩容时启动的是验证过的固定环境而不是每次手动装包这个我在可扩展性章节会展开。2. 部署前的准备工作实例、存储、网络怎么定有很多人跳过这步直接启动实例结果训练跑不动却找不到原因。部署前的选型决定了性能上限我按优先级讲。2.1 GPU 实例选型的核心参数选GPU实例本质上就是选GPU。AWS上常用的训练实例大概分这几个档位p3系列NVIDIA V100显存16GB或32GB。中等规模训练的主力代表机型p3.2xlarge1卡、p3.8xlarge4卡、p3.16xlarge8卡。p4d系列NVIDIA A100显存40GB带NVSwitch互连。适合大模型和显存需求极高的场景p4d.24xlarge是8卡配置天生为分布式训练设计。g4dn系列NVIDIA T4显存16GB。推理为主轻度训练也能用性价比高。g5系列NVIDIA A10G显存24GB。比g4dn性能强不少价格也适中很多中小团队用g5跑常规训练。我的选型经验是先看显存再看算力。如果模型单卡显存超过16GB就不该选V100 16GB的实例要么上A100要么做模型并行把显存压力分散到多卡。如果单卡能放下优先考虑g5或p3别一上来就p4d成本差好几倍。还要提醒一个容易被忽略的点GPU实例的vCPU和内存配比。p3.2xlarge只有8个vCPU和61GB内存如果代码里还有大量CPU预处理数据增强、音频解码、图像缩放CPU会变成瓶颈。这时候要么选g5.12xlarge这种CPU与GPU配比更均衡的机型要么把预处理拆成独立的数据管线跑在CPU实例上GPU实例只做训练。2.2 存储规划决定数据加载上限存储这块我踩过的坑最多。先说结论训练数据不是塞进系统盘就完事数据读取的吞吐直接决定训练性能尤其是每个epoch都要重新读一遍全量数据的场景。AWS的存储选项按性能排列大概是这样实例存储Instance Store速度最快但数据不持久化实例停机就丢。适合放临时中间产物或checkpoint的副本。EBS块存储持久化存储推荐gp3或io2。gp3是性价比之王基线3000 IOPS、125MB/s吞吐可以在线调高到16000 IOPS和1000MB/s吞吐不用换磁盘很适合训练数据场景。EFS文件系统NFS协议多实例共享同一个文件系统。需要多节点共用一份数据时最方便但单客户端吞吐有上限海量小文件下性能下降明显。FSx for LustreAWS的并行文件系统专门为HPC和机器学习设计吞吐能做得非常高适合大规模训练数据的读取。我现在的标准配置是系统盘用gp3容量150GB起步。RHEL 8加DLAMI的软件占用不小装完依赖后几十GB就没了。训练数据如果只有几百GB放同一个gp3卷上IOPS调到6000以上如果数据量到了TB级别用FSx for Lustre挂载S3作为数据源训练时直接从Lustre读吞吐很稳。这里还要提一句RHEL 8默认文件系统是XFS分区格式化直接用系统默认即可。网络文件系统方面RHEL 8默认支持NFSv4.2和EFS、FSx for Lustre的兼容性都不错。2.3 网络安全组与节点通信分布式训练对网络的要求比单机高得多。单机多卡只需要看GPU之间的NVLink/NVSwitch这个AWS已经集成好了但一旦进入多机多卡节点间通信就是最大的变量。安全组至少放行SSH22端口和训练框架的通信端口。以NCCL为例默认TCP端口范围是41010到41049左右多节点训练超时先检查安全组有没有放行这段端口。Horovod还需要节点间SSH全通因为它依赖免密SSH来启动子进程。如果你用的是p4d这类支持EFAElastic Fabric Adapter的实例强烈建议启用EFA。EFA绕过内核直接与硬件交互延迟比普通TCP低很多对分布式训练提升非常明显。启用后系统里会出现独立的efa设备用fi_info -p efa可以确认状态。另外如果训练集群规模较大建议使用放置组Placement Group把实例放在同一个可用区的低延迟物理区域内可以有效减少节点间通信的延迟和抖动。3. 部署实操从启动实例到环境验证现在进入正题。我以命令行方式为主控制台操作逻辑一样给你一套可以直接用的步骤。3.1 查找并启动 RHEL 8 版本的 Deep Learning AMI第一步是找AMI ID。DLAMI的镜像名称通常会带上发行版和框架信息直接去控制台翻容易看花眼我更习惯用CLI按名称过滤把最近发布的几个RHEL 8版本一次列出来aws ec2 describe-images \ --owners amazon \ --filters Namename,ValuesDeep Learning AMI*RHEL*8* \ --query sort_by(Images, CreationDate)[-5:].{Name:Name,ImageId:ImageId,CreationDate:CreationDate} \ --region us-east-1 \ --output table注意两点第一区域不同AMI ID也不同必须先指定--region第二注意Name字段里有没有GPU标识有的镜像只面向CPU实例装了也用不了GPU这个细节很多人踩过。拿到AMI ID后启动实例。我给出一个带存储配置的完整示例aws ec2 run-instances \ --image-id ami-0a1b2c3d4e5f67890 \ --instance-type p3.2xlarge \ --key-name my-training-key \ --security-group-ids sg-0123456789abcdef0 \ --subnet-id subnet-0123456789abcdef0 \ --block-device-mappings \ [{DeviceName:/dev/sda1,Ebs:{VolumeSize:200,VolumeType:gp3,Iops:5000,Throughput:400}}] \ --placement GroupNamemy-placement-group \ --tag-specifications \ ResourceTypeinstance,Tags[{KeyName,ValueDLAMI-RHEL8-Training}] \ --region us-east-1块设备映射里我指定了200GB的gp3IOPS设为5000吞吐400MB/s这个配置对大多数CV/NLP训练任务够用如果数据量大建议把数据单独挂载一个卷不要都压在系统盘上。--placement里指定放置组对分布式训练很重要它能把实例放在物理靠近的位置减少节点间通信延迟。3.2 登录后的初始化与驱动检查实例起来之后SSH登录。RHEL 8的DLAMI默认用户一般是ec2-user不确定的话从控制台“连接”页面看提示ssh -i my-training-key.pem ec2-user实例公网IP登录后第一件事确认GPU驱动和CUDA状态nvidia-smi正常会列出GPU型号、驱动版本和CUDA版本。如果显示No devices were found先别慌大概率是实例类型不对或驱动没加载。用dmesg | grep -i nvidia查内核日志看看驱动模块是不是被拒载了。SELinux在Enforcing模式下偶尔会拦NVIDIA驱动模块遇到这种情况先sudo setenforce 0临时放行确认问题后再用semanage fcontext调整策略不要直接永久关闭SELinux。深度学习环境都在conda环境里。查看可用环境conda env list会看到类似tensorflow_p39、pytorch_p39这样的名字数字一般代表Python版本。切换环境后再验证框架conda activate pytorch_p39 python -c import torch; print(torch.__version__, torch.cuda.is_available())输出True说明PyTorch能用CUDA。TensorFlow同理conda activate tensorflow_p39 python -c import tensorflow as tf; print(tf.__version__, tf.config.list_physical_devices(GPU))看到物理设备列表里有GPU环境就基本可用了。3.3 跑通第一个训练任务的验证方法环境验证不能只看import有没有报错我建议跑一个最小但完整的训练任务把数据加载、前向、反向、参数更新整个链路都走一遍。写一个最简单的PyTorch脚本import torch import torch.nn as nn import torch.optim as optim model nn.Linear(1024, 128) x torch.randn(1024, 1024, devicecuda) target torch.randn(1024, 128, devicecuda) criterion nn.MSELoss() optimizer optim.SGD(model.parameters(), lr0.01) model model.cuda() for step in range(100): optimizer.zero_grad() output model(x) loss criterion(output, target) loss.backward() optimizer.step() if step % 10 0: print(fstep {step}, loss: {loss.item():.4f})保存为smoke_test.py在conda环境里执行python smoke_test.py如果100步能跑完说明GPU计算、显存分配、梯度反传全部正常。这个测试花不了一分钟但能排除大部分“环境看起来没问题一跑就崩”的隐患。跑完再顺手执行一次nvidia-smi确认GPU利用率有变化就基本到位了。4. 性能优化实战把 GPU 和 IO 压榨到位环境起来只是第一步真正的差异在优化。这一章我按影响从大到小讲你可以逐条对照自己的训练任务调整。4.1 GPU 层面的优化先说显存。GPU显存吃紧的典型表现是OOM但很多人不知道PyTorch的显存分配是懒惰且带缓存的。你释放tensor之后显存不会立刻还给GPU而是留在缓存里等下次分配。调试时可以用torch.cuda.empty_cache()手动清理但训练循环里频繁调用反而拖慢速度这个函数更适合用来排查显存碎片问题。更大的优化空间在混合精度。深度学习模型参数和中间激活值默认是FP32每个值占4字节。改用混合精度训练后前向和反向用FP16主权重和累计梯度用FP32保存显存占用接近减半。而且FP16在V100、A100上有Tensor Core专门加速训练速度经常能提升2到3倍这个收益在CV和NLP任务里都很可观。PyTorch的实现方式from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for step, data in enumerate(dataloader): optimizer.zero_grad() with autocast(): output model(data) loss criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()TensorFlow里的等价写法是from tensorflow.keras.mixed_precision import set_global_policy set_global_policy(mixed_float16)注意混合精度不是无脑开的。如果模型里有一些对数值范围极敏感的操作比如某些归一化层或Attention的softmax可能出现NaN或精度退化这种情况要在关键层强制保持FP32。CPU侧也有优化空间。训练脚本可以通过torch.set_num_threads()或OMP_NUM_THREADS控制线程数一般设为vCPU的物理核数就好而不是逻辑核数。EC2实例的vCPU数通常等于逻辑线程数如果开了超线程物理核数要除以2用lscpu确认一下。4.2 数据 IO 与存储优化GPU利用率上不去很大一部分原因是数据加载跟不上。怎么判断看nvidia-smiGPU利用率在0%和100%之间剧烈跳变显存占用却很高大概率就是数据IO卡住了。单机场景最简单的优化是给DataLoader开多进程并启用prefetchdataloader DataLoader( dataset, batch_size64, num_workers8, prefetch_factor4, pin_memoryTrue )num_workers不是越大越好。我在8vCPU的实例上实测6到8个worker比较合理超过之后反而因为进程切换导致吞吐下降。pin_memoryTrue配合GPU训练时能走DMA通道减少一次数据拷贝这一行值得加上。如果数据在S3上不要训练时直接对S3做对象读取尤其大量小文件会把IOPS打爆。更稳的做法是先把S3数据同步到本地EBS再训练。大文件同步用s5cmd这种高并发工具比aws cli快很多s5cmd sync s3://my-bucket/training-data /data/training-data/数据需要多节点共享时EFS是简单的方案但单客户端吞吐有上限正式的多节点训练我更推荐FSx for Lustre。它可以把S3作为数据源节点间并行读同一个文件系统吞吐能到几十GB/s数据预处理省下来的时间非常可观。4.3 框架参数与模型训练策略框架本身的参数设置也会显著影响性能这里说三个最常见的方向。第一batch size和学习率的配合。很多人想用大batch size提速又直接按原学习率训练结果发散。建议使用线性缩放法则batch size翻倍学习率也乘接近2的系数同时加一段warmup让优化器逐步过渡到目标学习率。第二TensorFlow的XLA编译。XLA能把计算图编译成高效的机器指令在CNN和Transformer上经常有20%-50%加速。开启方式很简单import tensorflow as tf tf.config.optimizer.set_jit(True)不过XLA编译时间随模型复杂度增加如果模型迭代频繁、每个版本只跑几十步开启XLA可能得不偿失。我一般只在长训练任务上开。第三PyTorch的torch.compile。这是PyTorch 2.0引入的编译模式底层用Triton做算子融合。对很多模型一行model torch.compile(model)就能带来直观加速而且兼容原有代码。要注意的是第一次运行会有几分钟编译预热生产环境要接受这个冷启动成本。另外用了torch.compile之后模型调试信息不那么直观定位bug时先关掉编译找到问题再打开。4.4 系统级内核参数调整系统层的调优容易被忽略但对长时间训练来说稳定性往往靠这些细节撑着。RHEL 8默认的一些网络内核参数对分布式训练影响很大。比如net.core.somaxconn默认只有128多节点训练建立大量TCP连接时容易排队溢出。可以临时调大sudo sysctl -w net.core.somaxconn65535 sudo sysctl -w net.core.netdev_max_backlog65535要持久化写入/etc/sysctl.d/99-ml-tuning.conf再执行sysctl --system。另一个容易踩坑的是文件描述符限制。GPU训练框架尤其是Dataloader会打开很多文件默认的1024根本不够。修改/etc/security/limits.conf* soft nofile 65535 * hard nofile 65535改完后要重新登录会话才会生效。如果训练脚本是用systemd跑的还得在service文件里加LimitNOFILE65535。CPU调频策略方面EC2默认的调速器是ondemand或schedutil但训练是持续高负载锁到performance模式反应更快sudo cpupower frequency-set -g performance这条命令在RHEL 8上需要先装kernel-toolssudo dnf install -y kernel-tools注意系统级优化不是抄了就有用建议在正式训练前用同一个模型分别开关对比数据最有说服力。5. 可扩展性设计从单机到多节点的平滑演进单机优化聊完了再看扩展。大多数团队的训练任务迟早会碰到“一台机器不够”的墙提前做好设计能省很多事。5.1 分布式训练的基础设施准备多节点训练的前提是网络、通信库、启动方式三者都准备好。网络层面首选EFA。p4d、p4de这类实例可以在启动时增加EFA接口RHEL 8的DLAMI已经预装了EFA驱动。登录后运行fi_info -p efa能看到设备信息就说明驱动正常。常见的问题是用了不支持EFA的实例类型或者安全组没放行对应端口。通信库层面NCCL是NVIDIA官方的多GPU通信库PyTorch DDP和Horovod底层都依赖它。排查问题时可以这样开日志export NCCL_DEBUGINFO export NCCL_SOCKET_IFNAMEeth0 export NCCL_IB_DISABLE0NCCL_DEBUGINFO能打印通信详细日志非常有用NCCL_SOCKET_IFNAME指定通信网络接口多网卡实例上不设置容易跑错网卡。启动方式上PyTorch 2.x推荐用torchrun。两台4卡实例为例节点1做主节点torchrun \ --nproc_per_node4 \ --nnodes2 \ --node_rank0 \ --master_addr10.0.0.10 \ --master_port29500 \ train.py节点2把--node_rank换成1即可。注意--master_addr要填节点1的私有IP别用公网IP跨公网的带宽又慢又贵。如果团队用Horovod启动方式horovodrun -np 8 -H host1:4,host2:4 python train.pyHorovod需要节点间免密SSH可以用ssh-copy-id把公钥分发到各节点。5.2 自动化扩缩容与自定义 AMI多节点训练最大的痛点是环境一致性。我强烈建议把环境固化成一个自定义AMI而不是每次都用原始DLAMI再手动装包。Packer是最顺手的工具source amazon-ebs custom { source_ami ami-xxxxxxxx instance_type p3.2xlarge region us-east-1 ssh_username ec2-user ami_name custom-pytorch-env }构建时在provisioner里把训练依赖、环境变量甚至训练代码都打进去。这样扩容、新节点接入都是秒级拉起同一个环境不会出现“那台机器能跑这台不行”的尴尬。集群自动扩缩容如果只是短任务我建议做一个轻量调度脚本用SQS队列收集训练请求后端常驻进程按队列长度调用aws ec2 run-instances拉起自定义AMI任务结束自动终止。这个方案轻量、可控不需要引入Kubernetes全家桶。等团队规模变大、任务类型变多再上EKS把训练任务包装成Kubernetes Job用节点组实现GPU节点的弹性伸缩。5.3 成本考量Spot、休眠与资源回收扩展性的另一个维度是成本可扩展。Spot实例价格通常只有按需的10%-50%训练任务非常合适前提是你能接受实例被回收。我的做法是训练脚本每N步保存一次checkpoint至少每10分钟一次。实例被回收后用最新checkpoint在新实例上续跑丢几步进度可以接受但绝不能从头再来。Spot中断前大约2分钟会有警告可以通过实例元数据服务探测curl -s http://169.254.169.254/latest/meta-data/spot/instance-action如果返回类似{action: terminate, time: 2025-01-01T12:00:00Z}说明即将回收。训练脚本可以监听这个端点主动保存checkpoint并退出比被强杀优雅得多。对非核心任务还可以利用EC2的休眠功能Hibernate。休眠会把内存内容写到EBS重启后原样恢复省去重新加载数据和模型的时间。不过休眠对实例类型、根卷容量有要求根卷必须足够容纳内存镜像用之前先查约束。提示不管用不用Spot训练代码里必须有checkpoint机制。我见过太多人训练到第三天实例挂掉心态崩了就是没做checkpoint。6. 常见问题与排查技巧实录最后把我在RHEL 8上跑DLAMI真实遇到的典型问题整理成速查表附带排查思路。6.1 驱动与 CUDA 版本不一致现象nvidia-smi正常但import torch报CUDA driver version is insufficient或者torch.cuda.is_available()返回False。原因conda环境里预装的CUDA工具包和GPU驱动支持的CUDA版本不匹配。比如驱动只支持CUDA 12.1但PyTorch编译的是CUDA 12.4。排查步骤先看nvidia-smi输出的Driver Version和CUDA Version再用conda list | grep cudatoolkit确认conda环境的CUDA版本。两者差距较大时要么升级驱动要么重建conda环境指定匹配版本。最省事的方案是创建新环境后按对应CUDA版本安装PyTorch比如pip install torch2.1.0cu121。6.2 GPU 显存溢出OOM现象训练跑一半抛torch.cuda.OutOfMemoryError或者进程直接被kill。原因与对策batch size太大。先把batch size减到显存能容纳再逐步增大找到临界值。显存碎片。设置PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128控制缓存块大小能明显缓解碎片问题。模型太大。考虑梯度累积每N个小batch累积一次梯度后再更新效果接近大batch但显存占用保持在小batch水平。6.3 分布式训练通信超时现象多机训练跑起来后NCCL报Timeout at NCCL或者unexpected error训练挂起。排查优先级先确认安全组放行了NCCL端口范围41010-41049和DDP的master端口。确认节点私有网络互通ping对端私有IP用nc -vz 10.0.0.10 29500测试端口。查看NCCL_DEBUGINFO日志确认NCCL选用的网络接口。有多个网卡时指定NCCL_SOCKET_IFNAME到正确接口。如果用了EFA检查EFA设备是否正常、实例类型是否支持。6.4 文件描述符与内核参数限制现象Dataloader或数据读取模块报Too many open files。原因Linux默认打开文件上限太低训练框架开了大量进程和socket。对策按4.4节调高limits.conf里的nofile值确认systemd service的LimitNOFILE已设置。排查命令ulimit -n cat /proc/pid/limits/proc/pid/limits能看到某个进程的实际限制值比闭眼调参数更有效。写到最后分享两个我实际操作中的体会。第一个是别把DLAMI当成“启动即完事”的一次性工具。它的价值在于给你一个稳定、可复现的起点剩下的优化、定制、自动化都需要你自己迭代。每次升级驱动或框架版本先在一台闲置实例上做冒烟测试确认没问题再推广到训练集群。这个习惯帮我避开了好几次“升级完第二天训练全崩”的惨剧。第二个是性能优化不要一上来就全铺开。先跑通一个带真实数据的训练任务用nvidia-smi、top、iostat收集基线数据然后一次只改一个变量记录前后的训练速度变化。我见过太多人一次改了一堆参数最后根本说不清哪些是真正起作用的。优化是工程活不是玄学把每次调整的前后对比记录下来你对自己系统的理解才会越来越深。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/21 14:14:45

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/21 14:14:26

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/20 20:45:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/21 19:02:25

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/21 14:13:11

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉