新闻详情

新闻详情

首页 / 资讯中心 / 详情

torchtune 多节点困惑度 PPL 同步计算完整指南

发布时间:2026/11/16 14:00:45来源:尧图网络
torchtune 多节点困惑度 PPL 同步计算完整指南
torchtune 多节点困惑度 PPL 同步计算完整指南【免费下载链接】torchtunePyTorch native post-training library项目地址: https://gitcode.com/GitHub_Trending/to/torchtune两机 16 卡跑完微调验证阶段各 rank 打印的 loss 却差出一个小数点后第三位——该信哪个或者单机的验证集太大一条 512K 的长上下文直接 OOM只能把数据拆到多台机器上。这就是分布式评估的典型场景torchtune 的多节点同步计算方案让每个 rank 只算自己分片的损失再通过 all_reduce 聚合成与单机一致的全局困惑度PerplexityPPL照下面三步流程照搬即可。 规模上来之后单机评估卡在哪把评估从 1 台机器挪到 N 台机器卡点集中在三处先认全再动手卡点单机的表现多节点的做法数据分片验证集 token 量大单卡串行 forward一次评估要跑数小时用StatefulDistributedSampler把数据集切给 dp 个 rank各算各的跨机聚合只有局部视图每个 rank 只看得见自己的平均 loss对「总损失」和「token 数」各做一次all_reduce(SUM)再求比值精度对齐fp32 累加器跑长循环误差随 token 数漂移聚合缓冲改用 float64最后一步才 exp 还原 PPL关键认知不能直接对各个 rank 的平均 loss求平均。每个 rank 分到的 batch 数、有效 token 数不一样长序列 padding 后差异更大直接平均会引入权重偏差。正确姿势是先把 loss 乘回 token 数聚合成全局的总损失 ÷ 总 token 数。三步完成全局 PPL 聚合分片计算 → all_reduce → 加权平均第 1 步分片计算。每个 rank 在自己的验证分片上 forward用交叉熵损失函数算出 batch 级平均 loss立刻把它乘上该 batch 的有效 token 数即labels ! -100的个数padding 不算得到总损失token 数单独累加。第 2 步all_reduce 求和。对两个累加器各发起一次全局 SUM。数据并行Data ParallelismDP场景下所有 rank 都是全量模型副本这一步没有额外计算量一次 NCCL 集合通信即可。第 3 步加权平均 exp 还原。全局总损失除以全局总 token 数得到加权平均 loss对它取 exp 就是 PPL。整个流程等价于下面 6 行# 1) 本地loss × token 数 → 总损失token 数单独累加 loss_sum float(batch_loss) * n_tokens token_sum n_tokens # 2) 全局各做一次 SUM dist.all_reduce(loss_sum); dist.all_reduce(token_sum) # 3) 加权平均exp 还原 PPL ppl torch.exp(loss_sum / token_sum)注意n_tokens必须排除 paddingloss_sum、token_sum建议建成 float64 缓冲——这是与recipes/full_finetune_distributed.py中validate()实现一致的做法只是把精度提到双精度以压缩多轮累加的漂移。快速跑通从进程组初始化到打印困惑度先初始化进程组。GPU 节点优先用 NCCL 后端跨机带宽利用率显著高于 glootimeout显式设到 180s避免节点多时握手超时直接崩进程import torch.distributed as dist from datetime import timedelta from torchtune.training._distributed import ParallelDims dist.init_process_group(backendnccl, timeouttimedelta(seconds180)) # 2 节点 × 4 卡 8 进程纯数据并行分片 dims ParallelDims(dp_replicate1, dp_shard8, tp1, cp1, world_size8) mesh dims.build_mesh(device_typecuda)ParallelDims在构造时就会校验dp_replicate * dp_shard * tp * cp world_size配错立刻报错而不是跑了一半才挂dp_shard写 -1 可以按world_size // (dp_replicate * tp * cp)自动补齐。纯评估场景把 tp、cp 留 1所有进程都走 dp_shard 即可。再锁种子、建分片加载器。调用 torchtune/training/seed.py 的set_seed(seed42)固定 CPU/CUDA 随机数数据侧用StatefulDistributedSampler(ds, num_replicasdp_degree, rankdp_rank, seed0)num_replicas传 dp 度而不是 world_sizesampler 的 seed 与 recipe 对齐仓库 recipe 中固定为 0保证 8 个 rank 的分片不重不漏。最后跑聚合循环并只在 rank 0 打印model.eval() loss_sum torch.tensor(0.0, dtypetorch.float64, devicedevice) token_sum torch.tensor(0.0, dtypetorch.float64, devicedevice) with torch.no_grad(): for batch in val_loader: n count_valid_tokens(batch) # labels ! -100 的个数 loss_sum float(loss_fn(model(batch), batch)) * n token_sum n dist.all_reduce(loss_sum); dist.all_reduce(token_sum) if dp_rank 0: print(PPL , torch.exp(loss_sum / token_sum).item())fp64 缓冲意味着all_reduce实际是双精度求和token 量到百万级时与单机直算的偏差也能压在 1e-6 量级只让dp_rank 0打印终端就不会刷出 8 行重复结果。若评估对象是用Int4WeightOnlyQuantizer(groupsize128)量化的模型PPL 天然高于原始精度权重先在同一份量化配置下单机跑一遍基线再判断多节点聚合本身有没有问题。 结果对不上时的排查清单如果出现各 rank 局部指标都正常、唯独全局 PPL 偏大先检查聚合缓冲的 dtype——fp32 在长循环里误差随 token 数累积把loss_sum/token_sum改成 float64 重跑对比。如果出现两机 PPL 与单机差值大于 1e-3先检查分片一致性num_replicas是否误传了 world_size、sampler seed 是否 0、有没有人绕过 sampler 手写了dataset[i::k]式切片。如果出现某个 rank 报 NCCL watchdog 超时退出先检查init_process_group的timeout建议 ≥180s并确认所有节点走同一后端——一端 nccl、一端 gloo 必然握手卡死。如果出现多次运行结果漂移先检查种子开跑前所有 rank 是否执行过set_seedresume 场景下 checkpoint 里记录的 seed 是否与配置一致recipe 恢复时会校验并报警。源码里看这几处就够模块路径一句话职责torchtune/training/_distributed.pyParallelDims维度校验、mesh 构建与分布式初始化入口recipes/full_finetune_distributed.pyvalidate()是 all_reduce 聚合损失与 token 数、算加权平均的参考实现torchtune/training/seed.pyset_seed固定全局随机数评估可复现性的基础torchtune/training/quantization.pyInt4WeightOnlyQuantizer等量化器低精度评估入口把分片、聚合、exp 三步串起来后多机与单机的口径就统一了剩下的只是选对后端和超时参数。常用入口如下docs/source/overview.rsttorchtune 项目总览与配置体系说明recipes/configs/llama3_1/evaluation.yaml评估任务的现成配置参考torchtune/training/分布式、种子、量化等训练工具集tests/recipes/test_full_finetune_distributed.py分布式 recipe 的回归测试聚合逻辑改动时可先跑它【免费下载链接】torchtunePyTorch native post-training library项目地址: https://gitcode.com/GitHub_Trending/to/torchtune创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉