人工智能深度学习机器学习预训练分布式训练微调【免费下载链接】pytorch-lightningPretrain, finetune ANY AI model of ANY size on 1 or 10,000 GPUs with zero code changes.项目地址https://gitcode.com/gh_mirrors/py/pytorch-lightning点击查看免费下载导读本文围绕 PyTorch Lightning 内置的 Profiler 体系展开系统讲解如何使用SimpleProfiler、AdvancedProfiler、PyTorchProfiler与XLAProfiler定位训练代码中的性能瓶颈覆盖训练循环钩子、Python 函数调用、PyTorch 算子、分布式多卡与 Cloud TPU 等多种粒度与场景并给出基于 Profiler 基类源码 的自定义 Profiler 实现方法。读完本文你将能根据问题特征选择正确的剖析工具、解读剖析报告并针对数据准备、训练循环与设备利用率分别完成瓶颈排查。为什么要做性能剖析Profiling性能剖析的核心目标是找到代码中的瓶颈。通过捕获某个函数耗时多少、某段代码占用多少内存等分析数据你可以快速定位拖慢训练的地方而不是凭感觉猜测。在 PyTorch Lightning 中剖析被设计为开箱即用只需在Trainer构造时传入profiler参数即可无需改动训练循环的任何逻辑。Trainer默认使用 PassThroughProfiler该类不记录任何数据start/stop均为空实现用于避免不必要的剖析开销。profiler参数支持两种传法# 方式一直接传入内置 Profiler 的名称字符串 trainer Trainer(profilersimple) # 方式二传入 Profiler 实例可携带更多自定义配置 from lightning.pytorch.profilers import SimpleProfiler trainer Trainer(profilerSimpleProfiler())内置 Profiler 统一从抽象基类Profiler见 profiler.py继承它们在__init__.py见 profilers/init.py中统一导出Profiler、PassThroughProfiler、SimpleProfiler、AdvancedProfiler、PyTorchProfiler、XLAProfiler。从源码结构看基类Profiler定义了贯穿全文的几个核心抽象start(action_name)/stop(action_name)分别定义动作开始与动作结束时的记录逻辑profile(action_name)一个上下文管理器进入with块自动调用start退出时自动调用stop是自定义剖析最常用的入口setup(stage, local_rank, log_dir)/teardown(stage)由Trainer在剖析前/后调用负责初始化与资源回收describe()在训练结束后输出剖析报告若设置了dirpath与filename报告会写入文件而不是打印到标准输出。基础篇用 SimpleProfiler 定位训练循环瓶颈用法与报告解读最基础的剖析是测量训练循环中Callbacks、DataModule 与 LightningModule的所有关键方法直接使用SimpleProfilertrainer Trainer(profilersimple)fit()运行结束后你会看到类似如下的报告FIT Profiler Report ------------------------------------------------------------------------------------------- | Action | Mean duration (s) | Total time (s) | ------------------------------------------------------------------------------------------- | [LightningModule]BoringModel.prepare_data | 10.0001 | 20.00 | | setup_train_dataloader | 2.893 | 2.893 | | run_training_epoch | 6.1558 | 6.1558 | | run_training_batch | 0.0022506 | 0.015754 | | [LightningModule]BoringModel.optimizer_step | 0.0017477 | 0.012234 | | [LightningModule]BoringModel.val_dataloader | 0.00024388 | 0.00024388 | | on_train_batch_start | 0.00014637 | 0.0010246 | | [LightningModule]BoringModel.teardown | 2.15e-06 | 2.15e-06 | | [LightningModule]BoringModel.on_train_start | 1.644e-06 | 1.644e-06 | | [LightningModule]BoringModel.on_train_end | 1.516e-06 | 1.516e-06 | | [LightningModule]BoringModel.on_fit_end | 1.426e-06 | 1.426e-06 | | [LightningModule]BoringModel.setup | 1.403e-06 | 1.403e-06 | | [LightningModule]BoringModel.on_fit_start | 1.226e-06 | 1.226e-06 | -------------------------------------------------------------------------------------------在上面的示例报告中最慢的函数是prepare_data说明数据准备拖慢了训练——接下来就该去检查数据下载、预处理或缓存逻辑。SimpleProfiler会自动测量训练循环中使用的所有标准方法包括但不限于on_train_epoch_start/on_train_epoch_endon_train_batch_start/on_train_batch_endmodel_backward/on_after_backwardoptimizer_stepon_training_end以及setup、teardown、prepare_data、各类*_dataloader等源码级实现细节参考 simple.py 的实现SimpleProfiler用time.perf_counter()记录每个动作的起止时间start时记下当前时间戳stop时计算差值并追加到recorded_durations[action_name]最终统计出每个动作的平均耗时与总耗时。它提供两个构造参数参数默认值说明dirpathNone报告文件的目录若为None但指定了filename则使用trainer.log_dir来自TensorBoardLoggerfilenameNone报告保存的文件名自动追加.txt扩展名不指定时报告打印到标准输出extendedTrue若为True报告额外增加调用次数 Num calls与占总时间百分比 Percentage %两列例如想要把报告落盘from lightning.pytorch.profilers import SimpleProfiler profiler SimpleProfiler(dirpath., filenameperf_logs) trainer Trainer(profilerprofiler)关于extended列从summary()的源码可以看到扩展报告会按占总时间百分比降序排序并额外输出一行 Total 汇总总调用次数、总耗时与 100% 占比这在训练很长、动作很多时非常有用。你可以通过SimpleProfiler(extendedFalse)关闭扩展列以减小输出。进阶篇用 AdvancedProfiler 剖析每个函数的耗时用法与报告解读SimpleProfiler只能看到循环层面的方法如果想深入到每个函数内部的时间花费就要使用基于 Python 标准库cProfile构建的AdvancedProfilertrainer Trainer(profileradvanced)fit()结束后报告会按动作分组展示每个函数的调用统计例如Profiler Report Profile stats for: run_training_batch 9400 function calls (9200 primitive calls) in 0.019 seconds Ordered by: cumulative time List reduced from 76 to 10 due to restriction 10 ncalls tottime percall cumtime percall filename:lineno(function) 100 0.001 0.000 0.018 0.000 automatic.py:163(run) 100 0.001 0.000 0.014 0.000 automatic.py:245(_optimizer_step) 100 0.002 0.000 0.012 0.000 call.py:155(_call_lightning_module_hook) 100 0.000 0.000 0.007 0.000 contextlib.py:136(__enter__) 100 0.000 0.000 0.007 0.000 {built-in method builtins.next} 100 0.000 0.000 0.007 0.000 profiler.py:57(profile) 100 0.001 0.000 0.007 0.000 advanced.py:74(start) 3100 0.006 0.000 0.006 0.000 {method disable of _lsprof.Profiler objects} 100 0.001 0.000 0.003 0.000 automatic.py:199(_make_closure) 100 0.001 0.000 0.002 0.000 module.py:1971(__setattr__)这种按cProfile累计时间排序的输出非常详细也因此很冗长适合需要极细粒度报告的场合。把报告写入文件当剖析报告过长时可以把它流式写入文件from lightning.pytorch.profilers import AdvancedProfiler profiler AdvancedProfiler(dirpath., filenameperf_logs) trainer Trainer(profilerprofiler)源码级实现细节参考 advanced.pyAdvancedProfiler为每个动作维护一个独立的cProfile.Profile实例start时会先禁用所有已存在的 profiler 再启用当前动作的 profilersummary()通过pstats.Stats.sort_stats(cumulative)排序并格式化输出。构造参数如下参数默认值说明dirpathNone报告目录规则同SimpleProfilerfilenameNone报告文件名自动追加.txt扩展名line_count_restriction1.0限制每个动作报告的函数行数传整数表示行数传0.0~1.0的小数表示百分比如0.5表示只输出前 50% 的函数dump_statsFalse是否额外保存原始剖析结果.prof文件可用pstats或可视化工具离线分析为True时必须同时提供dirpath此外AdvancedProfiler还实现了__reduce__见源码 L121-127避免cProfile.Profile对象无法被 pickle 的问题——这保证了在多进程/分布式场景下 Profiler 能被安全地序列化传递。进阶篇用 PyTorchProfiler 剖析算子级开销剖析每个 PyTorch 算子要理解每个 PyTorch 算子如addmm、transpose、mse_loss的成本使用基于 PyTorch 官方 Profiler 构建的PyTorchProfilerfrom lightning.pytorch.profilers import PyTorchProfiler profiler PyTorchProfiler() trainer Trainer(profilerprofiler)它会生成类似下面的算子级报告按动作分组这里展示training_stepProfiler Report Profile stats for: training_step --------------------- --------------- --------------- --------------- --------------- --------------- Name Self CPU total % Self CPU total CPU total % CPU total CPU time avg --------------------- --------------- --------------- --------------- --------------- --------------- t 62.10% 1.044ms 62.77% 1.055ms 1.055ms addmm 32.32% 543.135us 32.69% 549.362us 549.362us mse_loss 1.35% 22.657us 3.58% 60.105us 60.105us mean 0.22% 3.694us 2.05% 34.523us 34.523us div_ 0.64% 10.756us 1.90% 32.001us 16.000us ones_like 0.21% 3.461us 0.81% 13.669us 13.669us sum_out 0.45% 7.638us 0.74% 12.432us 12.432us transpose 0.23% 3.786us 0.68% 11.393us 11.393us as_strided 0.60% 10.060us 0.60% 10.060us 3.353us to 0.18% 3.059us 0.44% 7.464us 7.464us empty_like 0.14% 2.387us 0.41% 6.859us 6.859us empty_strided 0.38% 6.351us 0.38% 6.351us 3.175us fill_ 0.28% 4.782us 0.33% 5.566us 2.783us expand 0.20% 3.336us 0.28% 4.743us 4.743us empty 0.27% 4.456us 0.27% 4.456us 2.228us copy_ 0.15% 2.526us 0.15% 2.526us 2.526us broadcast_tensors 0.15% 2.492us 0.15% 2.492us 2.492us size 0.06% 0.967us 0.06% 0.967us 0.484us is_complex 0.06% 0.961us 0.06% 0.961us 0.481us stride 0.03% 0.517us 0.03% 0.517us 0.517us --------------------- --------------- --------------- --------------- --------------- --------------- Self CPU time total: 1.681ms注意使用PyTorchProfiler时报告中的 wall-clock 时间并不能代表真实墙钟时间。原因在于许多 CUDA 算子是异步执行的而剖析会强制被剖析的算子同步测量。因此建议用PyTorchProfiler寻找瓶颈/耗时分布用SimpleProfiler测量端到端的真实墙钟时间。剖析分布式多卡模型剖析分布式模型时为PyTorchProfiler传入filename参数它会为每个 rank保存一份独立的报告from lightning.pytorch.profilers import PyTorchProfiler profiler PyTorchProfiler(filenameperf-logs) trainer Trainer(profilerprofiler)以两个 rank 为例会生成如下两份报告每份报告头部标注了rank编号Profiler Report: rank 0 Profile stats for: training_step # ...同上表结构 Profiler Report: rank 1 Profile stats for: training_step # ...同上表结构该 Profiler 会自动记录training_step、validation_step、test_step和predict_step四个阶段对应源码 pytorch.py 中的STEP_FUNCTIONS并按这些动作分别输出报告。文件名中会携带 stage、filename、local rank 与动作名等部分由基类的_prepare_filename生成见 profiler.py例如fit-perf-logs-0-training_step.txt。可视化剖析结果NVTX若想可视化被剖析的算子启用PyTorchProfiler的emit_nvtx选项from lightning.pytorch.profilers import PyTorchProfiler profiler PyTorchProfiler(emit_nvtxTrue) trainer Trainer(profilerprofiler)然后按如下方式运行脚本注意nvprof是 NVIDIA 的旧版命令行剖析工具nvprof --profile-from-start off -o trace_name.prof -- regular command here之后有两种方式查看结果。一种是使用可视化工具nvvpnvvp trace_name.prof另一种是直接用 Python 加载python -c import torch; print(torch.autograd.profiler.load_nvprof(trace_name.prof))从源码看emit_nvtxTrue时 Profiler 会创建torch.autograd.profiler.emit_nvtx上下文并配合torch.cuda.profiler.profile()作为父 profiler让每个 autograd 操作都产生 NVTX 范围从而可在 Nsight 等工具中按层、按算子展开查看。PyTorchProfiler 完整参数表源码级参考 pytorch.pyPyTorchProfiler的构造参数如下参数默认值说明dirpathNone报告/轨迹文件目录None且指定filename时使用trainer.log_dirfilenameNone报告文件名自动追加.txt扩展名group_by_input_shapesFalse是否包含算子输入形状并按形状分组需配合底层record_shapesemit_nvtxFalse是否让每个 autograd 操作产生 NVTX 范围以便可视化export_to_chromeTrue是否导出 Chrome trace生成可被 Chrome 加载的.json轨迹文件row_limit20报告表格的最大行数-1表示不限制sort_by_keyNone排序依据合法键包括cpu_time、cuda_time、cpu_time_total、cuda_time_total、cpu_memory_usage、cuda_memory_usage、self_cpu_memory_usage、self_cuda_memory_usage、count默认根据是否有 CUDA 自动选择cuda_time_total或cpu_time_total见源码_default_sort_by_keyrecord_module_namesTrue是否在记录 autograd 算子时附加模块名便于区分算子来自哪个子模块table_kwargsNone传给汇总表格的额外关键字参数**profiler_kwargs—透传给底层torch.profiler.profile的关键字参数如schedule、activities、with_stack、on_trace_ready等可用选项取决于 PyTorch 版本几个值得注意的源码级行为默认 schedule当 Kineto 可用时默认使用torch.profiler.schedule(wait1, warmup1, active3)见 pytorch.py#L396-L402使剖析开销在长时间训练中可忽略该默认 schedule 至少需要 5 个 step 才能正常工作否则 Lightning 会自动覆盖为 PyTorch 的默认 schedule 并给出警告见_should_override_schedule同时该逻辑还能正确处理fast_dev_run。默认 activitiesCPU 活动始终启用检测到 CUDA 可用时追加 CUDA 活动_default_activities。自动模块标注通过RegisterRecordFunction为模型的每个子模块注册 forward 钩子在轨迹中以[pl][module]类型: 模块名的形式标注同时动作以[pl][profile]动作名标注便于在轨迹中区分阶段。非法参数校验sort_by_key不在AVAILABLE_SORT_KEYS中会抛出MisconfigurationExceptiontable_kwargs中不允许重复传入sort_by/row_limit。警告不要手动包裹 Trainer 方法不要在Trainer.fit()、Trainer.validate()或其他 Trainer 方法外层手动套torch.profiler.profile上下文管理器。这会因为 PyTorch Profiler 的上下文管理与 Lightning 内部训练循环不兼容而引发意外崩溃和晦涩难懂的错误。正确做法始终是在Trainer构造函数中通过profiler参数使用 Profiler需要自定义剖析行为时使用PyTorchProfiler类from lightning.pytorch import Trainer from lightning.pytorch.profilers import PyTorchProfiler trainer Trainer(profilerpytorch) # 或 trainer Trainer(profilerPyTorchProfiler(dirpath., filenameperf_logs))高级篇剖析 TPU 模型XLAProfiler与 TensorBoard 可视化剖析 Cloud TPU 模型要剖析 TPU 模型使用XLAProfilerfrom lightning.pytorch.profilers import XLAProfiler profiler XLAProfiler(port9001) trainer Trainer(profilerprofiler)从源码见 xla.py看XLAProfiler构造参数port指定剖析服务器的端口默认值是 9012文档示例中的 9001 是自定义值若端口非法或已被占用会抛出异常。它会在训练进入training_step、backward、validation_step、test_step、predict_step等动作时自动启动服务器torch_xla.debug.profiler.start_server供外部抓取轨迹。在 TensorBoard 中捕获剖析日志要把剖析日志捕获到 TensorBoard按以下步骤操作。步骤 0准备所需安装。先按照 Cloud TPU 官方指南完成 TPU-VM 上的性能剖析相关安装PyTorch/XLA 与 TensorBoard 插件等。步骤 1启动 TensorBoard 服务器tensorboard --logdir ./tensorboard --port 9001然后在浏览器打开http://localhost:9001/#profile步骤 2捕获剖析。在待剖析代码运行期间点击CAPTURE PROFILE按钮在 Profile Service URL 处输入localhost:9001XLA Profiler 默认端口输入期望的剖析时长毫秒数点击CAPTURE。步骤 3保持代码运行。抓取轨迹期间务必保持代码处于运行状态若剖析时长大于单个 step 的时间往往能获得更好的性能洞察。步骤 4查看剖析日志。捕获完成后页面会自动刷新通过左上角的Tools下拉菜单即可浏览各项性能洞察。专家篇构建自己的 Profiler自定义 Profiler记录动作出现次数与首次出现时间如果需要构建自己的 Profiler只需继承Profiler基类并覆写若干方法。下面是一个示例统计每个动作的调用次数与首次出现时间from lightning.pytorch.profilers import Profiler from collections import defaultdict import time class ActionCountProfiler(Profiler): def __init__(self, dirpathNone, filenameNone): super().__init__(dirpathdirpath, filenamefilename) self._action_count defaultdict(int) self._action_first_occurrence {} def start(self, action_name): if action_name not in self._action_first_occurrence: self._action_first_occurrence[action_name] time.strftime(%m/%d/%Y, %H:%M:%S) def stop(self, action_name): self._action_count[action_name] 1 def summary(self): res f\nProfile Summary: \n max_len max(len(x) for x in self._action_count) for action_name in self._action_count: # 只汇总被调用超过一次的动作 if self._action_count[action_name] 1: res ( f{action_name:{max_len}s} \t self._action_first_occurrence[action_name]} \t {self._action_count[action_name]} \n ) return res def teardown(self, stage): self._action_count {} self._action_first_occurrence {} super().teardown(stagestage)接入训练trainer Trainer(profilerActionCountProfiler()) trainer.fit(...)关于自定义 Profiler有以下源码级要点参考 profiler.py基类Profiler的profile(action_name)上下文管理器是标准入口进入with块触发start无论是否异常退出时都会触发stopfinally保证summary()默认返回空字符串覆写后返回的报告文本会在训练结束时由describe()输出或写入文件报告文件命名由_prepare_filename()处理按stage-filename-local_rank-action_name的顺序拼接并自动清理跨平台不安全的字符未指定dirpath/filename时报告通过rank_zero_info打印只有 rank 0 打印基类要求覆写start与stop抽象方法summary、setup、teardown、describe均可按需覆写。剖析自定义的兴趣代码段要剖析某个特定的动作在LightningModule中引用 Profiler 即可from lightning.pytorch.profilers import SimpleProfiler, PassThroughProfiler class MyModel(LightningModule): def __init__(self, profilerNone): self.profiler profiler or PassThroughProfiler()然后在代码的任何位置使用self.profiler.profile()class MyModel(LightningModule): def custom_processing_step(self, data): with self.profiler.profile(my_custom_action): ... return data完整示例from lightning.pytorch.profilers import SimpleProfiler, PassThroughProfiler class MyModel(LightningModule): def __init__(self, profilerNone): self.profiler profiler or PassThroughProfiler() def custom_processing_step(self, data): with self.profiler.profile(my_custom_action): ... return data profiler SimpleProfiler() model MyModel(profiler) trainer Trainer(profilerprofiler, max_epochs1)这里有一个实践要点当用户不主动传入Profiler 时LightningModule使用PassThroughProfiler兜底保证self.profiler.profile(...)这一写法在任意 Trainer 配置下都能运行而几乎不产生额外开销——这是官方文档推荐的自定义剖析模式。补充用 DeviceStatsMonitor 检查加速器利用率除了剖析耗时另一个发现瓶颈的有效手段是确认你是否用满了加速器GPU/TPU/HPU的算力。这可以通过DeviceStatsMonitor回调来测量from lightning.pytorch.callbacks import DeviceStatsMonitor trainer Trainer(callbacks[DeviceStatsMonitor()])CPU 指标默认只在 CPU 加速器上跟踪要为其他加速器启用设置DeviceStatsMonitor(cpu_statsTrue)若想显式关闭 CPU 指标记录设置DeviceStatsMonitor(cpu_statsFalse)。如何选择 Profiler一张决策速查表你的问题推荐工具关键参数/行为训练循环哪个钩子/方法最慢SimpleProfiler输出平均耗时与总耗时extendedTrue可看调用次数与占比某个 Python 函数内部每行/每个调用的耗时AdvancedProfiler基于cProfile可用line_count_restriction控制报告行数模型里哪个 PyTorch 算子最贵PyTorchProfiler算子级 CPU/CUDA 时间表sort_by_key控制排序多卡分布式训练各 rank 的算子耗时PyTorchProfiler(filename...)每个 rank 输出独立报告文件想在 Nsight/NVVP 里可视化算子时间线PyTorchProfiler(emit_nvtxTrue)配合nvprof抓取load_nvprof或nvvp查看度量 GPU/TPU/HPU 利用率是否打满DeviceStatsMonitor回调方式接入cpu_stats控制 CPU 指标Cloud TPU 上的 XLA 性能剖析XLAProfiler默认端口 9012配合 TensorBoard 的 CAPTURE PROFILE 抓取只想剖析某一段自定义代码任意 Profiler self.profiler.profile(...)在 LightningModule 中引用 ProfilerPassThroughProfiler做无开销兜底需要完全自定义的剖析逻辑继承Profiler覆写start/stop/summary参考ActionCountProfiler示例总结性能剖析是训练优化的第一步。PyTorch Lightning 的 Profiler 体系按粒度从粗到细提供了三层工具SimpleProfiler看训练循环生命周期方法的耗时AdvancedProfiler基于cProfile深入每个 Python 函数调用PyTorchProfiler则直达 PyTorch 算子与分布式多卡场景针对 Cloud TPU 另有XLAProfiler与 TensorBoard 可视化方案。所有 Profiler 都统一继承自 Profiler 基类你可以通过覆写start/stop/summary构建任意自定义剖析逻辑并通过self.profiler.profile()对任意代码片段做定向测量。相关实现与测试可进一步查阅 profilers 目录、回调实现 DeviceStatsMonitor 以及 profiler 测试官方进阶文档见 profiler_basic.rst、profiler_intermediate.rst、profiler_advanced.rst 与 profiler_expert.rst。赞分享人工智能深度学习机器学习预训练分布式训练微调【免费下载链接】pytorch-lightningPretrain, finetune ANY AI model of ANY size on 1 or 10,000 GPUs with zero code changes.项目地址https://gitcode.com/gh_mirrors/py/pytorch-lightning点击查看免费下载相关推荐PyTorch Lightning性能分析中级指南定位代码瓶颈PyTorch Lightning性能分析中级指南定位代码瓶颈 前言 在深度学习模型开发过程中性能优化是一个永恒的话题。PyTorch Lightning提人工智能深度学习机器学习预训练分布式训练微调PyTorch Lightning 性能分析指南定位代码瓶颈的中级技巧PyTorch Lightning 性能分析指南定位代码瓶颈的中级技巧 前言 在深度学习模型开发过程中性能优化是一个永恒的话题。PyTorch Lightn人工智能深度学习机器学习预训练分布式训练微调PyTorch Profiler使用性能分析与瓶颈定位PyTorch Profiler使用性能分析与瓶颈定位 一、PyTorch Profiler简介 PyTorch Profiler性能分析器是PyTorc人工智能机器学习深度学习分布式训练模型编译创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考