ViT 微调完整指南3 个调参关键点突破准确率平台期【免费下载链接】pytorch-image-modelsThe largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more项目地址: https://gitcode.com/GitHub_Trending/py/pytorch-image-models上周有同事把预训练 ViT 在内部数据上连调 5 轮验证准确率始终卡在 90.3%学习率调大就震荡调小又不涨。问题不在模型在微调配置。下面基于 pytorch-image-modelstimm把 ViT 微调的关键环节过一遍读完你能解决微调时学习率该落在什么区间weight_decay 取多少warmup 余弦退火调度为什么是微调的默认组合RandAugment 与随机擦除怎么搭配参数过拟合、震荡、推理慢三类症状分别对症下药ViT 到底在微调什么timm/models/vision_transformer.py 里的 ViT 分三段Patch 嵌入把图像切成 16×16 的块并投影成 token 序列Transformer 编码器用自注意力让所有 token 交互末端 MLP 做分类。微调就是在这三段上做取舍编码器保留预训练权重分类头因num_classes变化自动重新初始化。数据少于万张样本时冻结编码器下半部、只调顶部若干 block 和头收敛快且不容易过拟合数据充足时全参微调上限更高代价是学习率要整体降一个数量级且需要更强的正则化兜底。最小可跑通版本模型、优化器、调度器三件套import timm from timm.optim import create_optimizer_v2 from timm.scheduler import create_scheduler_v2 model timm.create_model( vit_base_patch16_224, pretrainedTrue, # 加载预训练权重 num_classes10, drop_path_rate0.1) # 头自动重初始化随机深度 0.1 opt create_optimizer_v2(model, optadamw, lr5e-5, weight_decay0.05) scheduler, _ create_scheduler_v2( opt, schedcosine, num_epochs30, warmup_epochs3, min_lr1e-6, warmup_lr1e-6)三行调用来自 timm/optim/_optim_factory.py 和 timm/scheduler/scheduler_factory.py完整训练循环可参考 train.py。训练循环本身没有花活每个 batch 前向、算 loss、optimizer.step()、scheduler.step()一个 epoch 结束做一次验证。调参三件套优化器、调度器、数据增强给 AdamW 配置合理区间ViT 对初始学习率非常敏感注意力权重的梯度幅度偏小学习率过大往往在头几十步就把 loss 顶飞。base 规模模型微调的常用区间是 3e-5 到 1e-4数据偏小取区间下沿数据量大或分辨率高384可往上摸。weight_decay建议 0.05 起步create_optimizer_v2默认对 bias 和 1D 的 Norm 参数排除衰减filter_bias_and_bnTrue所以直接传单值即可不用手动拆参数组。warmup 为什么不能省预训练权重刚进入微调时重新初始化的头与编码器之间存在短暂的接口失配前几步梯度普遍偏大。warmup 用极小学习率warmup_lr1e-6让头部先平稳对齐之后余弦退火按曲线连续降学习率没有 step 式调度的跳变末端还能在min_lr附近多榨一点精度。一组可用的示例warmup_epochs3min_lr1e-6比初始 lr 低两到三个数量级总轮数 30 上下。数据增强组合拳RandAugment 随机擦除用create_transform一次配齐几何、颜色、擦除三类增强from timm.data import create_transform tf create_transform( input_size(224, 224), auto_augmentrand-m9-mstd0.5-inc1, # RandAugment9 次随机操作 color_jitter0.5, # 颜色抖动强度 re_prob0.25, # 随机擦除概率 re_modepixel, # 以随机像素值填充被擦区域 interpolationbicubic, # 缩放插值方式 )三类增强作用在不同通道上叠加比单一强增强更稳。若观察到过拟合先把re_prob提到 0.3再考虑更强的 augment 策略顺序反过来容易把训练搞崩。防过拟合工具箱按症状选件验证曲线抖动、预测过度自信→ 上标签平滑。LabelSmoothingCrossEntropy(smoothing0.1)见 timm/loss/cross_entropy.py把 one-hot 目标软化成 0.9/0.1 分布压低模型对错误高置信样本的惩罚敏感度。训练后期验证 gap 快速拉开→ 提 DropPath。drop_path_rate在编码器里逐层线性增大把 0.1 提到 0.2 相当于对深层路径做更强正则实现见 timm/layers/drop.py。loss 和指标噪声大最佳权重难复现→ 开 EMA。ModelEmaV3维护一份权重的指数滑动平均副本验证时用model_ema.module曲线明显更平滑from timm.utils import ModelEmaV3 from timm.loss import LabelSmoothingCrossEntropy model_ema ModelEmaV3(model, decay0.9999, devicecuda) criterion LabelSmoothingCrossEntropy(smoothing0.1) # 每个 batch 的 optimizer.step() 后调用 model_ema.update(model)decay 与训练长度相关短训练几千步用 0.999长训练用 0.9999V3 还支持 decay 预热见 timm/utils/model_ema.py。三件工具不互斥但每次只动一个变量否则无法归因。症状-药方对照表现象可能原因调整项验证准确率停滞、训练准确率仍涨正则化不足drop_path_rate0.1→0.2re_prob提到 0.3开 EMA前几十个 step loss 尖峰、高频震荡初始学习率过大或缺 warmuplr 降到 3e-5warmup_epochs设 3~5训练与验证都爬得慢lr 过小或 warmup 过长初始 lr 提到 1e-4warmup 压到 2 轮内小数据下过拟合快全参微调太猛冻结编码器下半部只调顶层 block 和头推理速度慢FP32 且未编译bf16/amp autocasttorch.compile(model)下一步换更大变体vit_large_patch16_224或 384 分辨率版本学习率相应再降半档显存不够先砍 batch size 配合梯度累积。混合精度训练按 train.py 里的 AMP 配置开 bf16同硬件下吞吐通常接近翻倍微调阶段几乎零代价。知识蒸馏让大模型输出软标签约束小模型仓库里 timm/task/distillation.py 已提供实现适合最终压模型体积。提示本文基于 pytorch-image-models 仓库最新版本编写各 API 默认参数如 EMA 的 decay 预热、调度器命名与旧版存在差异动手前建议先pip install --upgrade timm对齐版本。【免费下载链接】pytorch-image-modelsThe largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more项目地址: https://gitcode.com/GitHub_Trending/py/pytorch-image-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考