简介这份资源面向希望上手视觉Transformer的开发者与图像分类学习者围绕CrossFormer这一引入跨尺度注意力机制的新型架构提供从模型实现到分类任务落地的完整实战素材。压缩包共2000个文件约835.34MB其中1986个png为训练与验证图像样本7个py脚本承载模型定义、训练与推理流程另有pth权重文件、json类别映射、txt说明及pyc缓存结构清晰便于直接复现。已有191人学习下载适合具备一定PyTorch基础、想深入理解多尺度特征交互的读者。通过这份资料读者可掌握CrossFormer的代码组织方式、数据加载与类别配置、模型训练与评估的完整链路并借助预训练权重快速验证图像分类效果为后续迁移到自动驾驶、医疗影像等场景提供可参考的工程模板与排错思路。1. 从 CNN 到 CrossFormer图像分类的跨尺度注意力到底解决了什么如果你最近在刷最新的图像分类模型榜单大概率会反复看到一个名字CrossFormer。它属于 Transformer 图像分类这条技术路线里比较有代表性的一支核心卖点是用跨尺度注意力Cross-Scale Attention把不同尺度的特征串起来。传统 ViT 把图像切成固定大小的 patch全局自注意力一把梭显存和计算量随分辨率平方增长Swin 用窗口注意力把计算量压下来但窗口之间要靠移位操作间接通信。CrossFormer 的思路更直接既然图像里物体大小差异巨大那就显式地建一个跨尺度的注意力模块让大 patch 和小 patch 之间直接交换信息。这篇实战笔记要解决的问题很具体拿到 CrossFormer 这个结构怎么在自己的图像分类数据集上把它跑起来、跑稳、跑出能看的精度。适合两类人一类是已经用过 ResNet、EfficientNet 做分类想试试 Transformer 路线但被各种实现细节卡住的工程师另一类是做森林图像分类、遥感图像分类这类类间差异细、尺度变化大的任务想找一个对多尺度友好的骨干网络。下面从结构选型讲到数据准备、训练配置、避坑排查最后给一个提升精度的具体技巧。全程按能复现的标准写参数给到能直接抄的程度。2. CrossFormer 的结构拆解与选型理由为什么它适合多尺度图像分类2.1 跨尺度注意力与双流基座到底在做什么CrossFormer 的整体骨架是分阶段的层级结构和 Swin、PVT 一样把网络分成四个 stage每个 stage 输出不同分辨率的特征图。真正让它区别于其他 Transformer 分类模型的是两个设计跨尺度嵌入层Cross-scale Embedding LayerCEL和长短距离注意力Long Short Distance AttentionLSDA。跨尺度嵌入层在切 patch 的时候不是只用一种尺寸而是同时用 4x4、8x8、16x16、32x32 等多种核去采样同一块区域然后把结果拼接投影。这样每个 token 从一开始就携带了多尺度的信息而不是等到深层才靠感受野堆出来。对于森林图像分类这种同一张图里既有整片林冠又有单株树叶纹理的任务这个设计在输入端就保留了尺度多样性。长短距离注意力把注意力计算拆成两组一组在局部窗口内做短距离注意力捕捉细粒度纹理另一组在稀疏采样的长距离位置上做注意力捕捉全局结构。两组结果拼接后再融合。这就是热词里说的“双流基座”的来源——它本质上是两条注意力支路并行而不是单一的自注意力。选它的理由很直接如果你的数据集里目标尺度变化大CNN 靠堆深度和空洞卷积来扩感受野效率不高标准 ViT 在中小数据集上又容易过拟合。CrossFormer 的层级结构加跨尺度设计在 ImageNet 级别以下的数据集上微调时通常比同参数量的 ViT 更稳。2.2 四个规格怎么选Tiny 到 Large 的参数对照CrossFormer 常见的有四个规格参数量和计算量差异很大选错了要么显存爆要么欠拟合。下面这张表是我实际用过的配置对照输入分辨率统一按 224x224 算。规格嵌入维度各 stage 深度注意力头数参数量级单卡 224 训练显存CrossFormer-T642/2/6/22/4/8/16约 28M8GB 可跑 batch 32CrossFormer-S962/2/6/23/6/12/24约 50M12GB 可跑 batch 24CrossFormer-B1282/2/18/24/8/16/32约 90M16GB 可跑 batch 16CrossFormer-L1922/2/18/26/12/24/48约 200M24GB 可跑 batch 8选型原则自建数据集样本量在 1 万到 5 万张之间优先 Tiny 或 Small样本量超过 10 万张且类别数超过 100再考虑 Base。Large 基本只在从头训练或者有大规模预训练权重时才划算微调小数据集用 Large 是典型的翻车操作验证集精度会卡在随机猜附近上不去。提示上表的显存数字是混合精度训练下的经验值实际会随 dataloader 的 worker 数、是否开启梯度检查点而浮动。显存吃紧时先开梯度检查点再降 batch最后才动分辨率。2.3 环境搭建与依赖版本CrossFormer 的官方实现依赖 timm 的部分组件和 einops环境不对会出现各种 import 报错。我一般用 conda 建一个干净环境避免和已有的 torch 版本打架。conda create -n crossformer python3.9 -y conda activate crossformer # torch 版本要和 CUDA 驱动匹配这里以 CUDA 11.8 为例 pip install torch2.0.1 torchvision0.15.2 --index-url https://download.pytorch.org/whl/cu118 pip install timm0.9.2 einops0.6.1 opencv-python4.8.0.74 pip install tensorboard2.13.0 pyyaml6.0逻辑说明torch 2.0 之后的版本对 Transformer 类模型的 scaled_dot_product_attention 有原生支持能省显存timm 用来加载预训练权重和做数据增强einops 是 CrossFormer 源码里做张量重排的硬依赖版本太低会报rearrange参数不识别。参数上python 3.9 是兼容性最稳的版本3.11 在部分 einops 版本上会有编译问题。装完后跑一句验证python -c import torch, timm, einops; print(torch.__version__, timm.__version__, einops.__version__)输出三个版本号且无报错环境就算通了。如果报libGL.so.1找不到是 opencv 的系统依赖缺失装apt install libgl1即可这个坑在无桌面环境的服务器上很常见。3. 数据准备与训练流程从数据集组织到第一个能跑的 epoch3.1 图像分类数据集的组织与增强策略CrossFormer 对数据格式的要求和标准 ImageNet 一致按类别分文件夹即可。假设你的数据集叫forest_cls目录结构应该是这样forest_cls/ ├── train/ │ ├── pine/ │ ├── oak/ │ └── birch/ ├── val/ │ ├── pine/ │ ├── oak/ │ └── birch/训练集和验证集按 8:2 或 9:1 切分每个类别至少保证验证集有 30 张以上否则精度波动会大到没法判断模型好坏。森林图像分类这类任务常见的问题是类间样本不均衡某个树种只有几十张这时候要么过采样要么在 loss 里加类别权重。数据增强用 timm 的create_transform最省事但要注意 CrossFormer 的预训练权重对输入归一化有特定要求。下面是我常用的增强配置from timm.data import create_transform from timm.data.constants import IMAGENET_DEFAULT_MEAN, IMAGENET_DEFAULT_STD train_transform create_transform( input_size224, is_trainingTrue, color_jitter0.4, # 颜色抖动强度森林图像光照差异大适当调高 auto_augmentrand-m9-mstd0.5-inc1, # RandAugment 策略 interpolationbicubic, re_prob0.25, # Random Erasing 概率防止过拟合 re_modepixel, meanIMAGENET_DEFAULT_MEAN, stdIMAGENET_DEFAULT_STD, ) val_transform create_transform( input_size224, is_trainingFalse, interpolationbicubic, meanIMAGENET_DEFAULT_MEAN, stdIMAGENET_DEFAULT_STD, )逻辑说明color_jitter0.4比默认的 0.4 略高是因为森林图像在不同季节、不同光照下颜色差异极大增强不够会导致模型把颜色当捷径。auto_augment用 RandAugment 的 m9 配置在中小数据集上比默认的 m9 更激进一点配合re_prob0.25的随机擦除能明显压低过拟合。参数上re_modepixel比const更自然但计算稍慢样本量小于 5000 时建议用const省时间。3.2 模型构建与预训练权重加载CrossFormer 的模型定义在官方仓库的models/crossformer.py里用 timm 的create_model接口可以统一调用。如果你已经把源码放到本地构建方式如下import torch from timm.models import create_model import models.crossformer # 导入后注册到 timm 的模型库 def build_model(num_classes, model_namecrossformer_tiny, pretrainedTrue): model create_model( model_name, pretrainedpretrained, num_classesnum_classes, drop_rate0.1, # 分类头 dropout drop_path_rate0.1, # 随机深度层级越深越大 ) return model model build_model(num_classes10, model_namecrossformer_tiny) model.cuda()逻辑说明drop_path_rate0.1是微调时的安全值从头训练可以调到 0.2 到 0.3。drop_rate只作用在最后的分类头对 Transformer 主干影响不大。加载预训练权重时如果类别数和预训练不一致分类头的权重会被自动跳过这是 timm 的默认行为不用手动处理。参数上model_name要和源码里注册的名字完全一致常见的是crossformer_tiny、crossformer_small、crossformer_base。写错名字会报Unknown model这时候去源码的register_model装饰器附近确认一下。注意如果预训练权重是 224 分辨率训练的而你打算用 384 微调位置编码需要插值。CrossFormer 的位置编码是按 stage 动态生成的通常不用手动插值但分辨率变化太大时精度会掉建议先在 224 上微调几个 epoch 再升分辨率。3.3 训练循环与关键超参设置CrossFormer 微调的学习率策略和 CNN 不一样Transformer 对学习率更敏感太大直接发散太小收敛慢。我一般用 AdamW主干学习率设 5e-5分类头设 5e-4配合余弦退火和 5 个 epoch 的 warmup。from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR, LinearLR, SequentialLR # 主干和分类头分组分类头学习率更高 backbone_params [p for n, p in model.named_parameters() if head not in n] head_params [p for n, p in model.named_parameters() if head in n] optimizer AdamW([ {params: backbone_params, lr: 5e-5}, {params: head_params, lr: 5e-4}, ], weight_decay0.05) warmup LinearLR(optimizer, start_factor0.01, total_iters5) cosine CosineAnnealingLR(optimizer, T_max95, eta_min1e-6) scheduler SequentialLR(optimizer, schedulers[warmup, cosine], milestones[5]) criterion torch.nn.CrossEntropyLoss(label_smoothing0.1)逻辑说明分组学习率是微调 Transformer 的标准操作主干已经预训练过只需要小步调整分类头是随机初始化的需要大步学。weight_decay0.05是 AdamW 在 Transformer 上的常用值比 CNN 的 1e-4 大很多因为 Transformer 参数多、容易过拟合。label_smoothing0.1对类别边界模糊的森林图像分类特别有用能缓解模型对错误标签的过度自信。训练循环本身用标准的 PyTorch 写法每个 epoch 记录训练 loss、验证精度和当前学习率。混合精度用torch.cuda.amp包一下显存能省 30% 左右速度提升 20% 到 40%。scaler torch.cuda.amp.GradScaler() for epoch in range(100): model.train() for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() scheduler.step() # 验证逻辑略按标准 accuracy 计算即可参数上GradScaler不需要手动调它会自适应。如果训练中出现 loss 变成 nan先检查学习率是不是太大再检查数据里有没有损坏的图片。混合精度下偶尔会有梯度溢出scaler会自动跳过那一步不用干预。4. 避坑与排查CrossFormer 微调时最容易翻车的五个地方4.1 现象训练 loss 正常下降验证精度始终在随机猜附近原因最常见的是数据标签和文件夹名对不上或者val集的 transform 误用了训练增强。另一个高频原因是预训练权重根本没加载成功模型从随机初始化开始训小数据集上表现就是随机猜。解决先打印模型分类头的权重看是不是随机初始化的值。再检查create_model的pretrained参数是否真的生效有些本地源码版本需要手动指定checkpoint_path。最后确认验证集的 transform 里is_trainingFalse且没有 RandAugment 和 Random Erasing。4.2 现象显存溢出报 CUDA out of memory原因CrossFormer 的跨尺度嵌入层在浅层会产生较多 token显存占用比同参数量的 Swin 高。batch 设太大、分辨率设太高、或者没开混合精度都会触发。解决按顺序试——先开torch.cuda.amp再把 batch 减半再开梯度检查点model.set_grad_checkpointing(True)部分实现支持最后才降分辨率。不要一上来就降分辨率224 降到 192 对精度的影响比 batch 减半大得多。4.3 现象训练速度极慢一个 epoch 要几个小时原因dataloader 的num_workers设成 0或者数据放在机械硬盘上GPU 一直在等数据。另一个原因是没开pin_memory和persistent_workers。解决num_workers设成 CPU 核数的 1/4 到 1/2pin_memoryTruepersistent_workersTrue。如果数据集小可以先把所有图片解码后缓存到内存或 SSD。实测这些设置能把 GPU 利用率从 30% 拉到 80% 以上。4.4 现象验证精度波动大相邻两个 epoch 差 5 个点以上原因验证集太小或者 batch norm 在小 batch 下统计量不稳。CrossFormer 主干用的是 LayerNorm但分类头和部分实现里可能有 BN。另外学习率太大也会导致这种震荡。解决验证集每个类别至少 30 张最好 50 张以上。学习率降一半试试warmup 从 5 个 epoch 加到 10 个。如果还震荡检查drop_path_rate是不是设得太高微调时超过 0.2 会导致训练不稳定。4.5 现象加载预训练权重时报 key 不匹配大量 missing keys原因模型定义的名字和预训练权重的 key 前缀不一致常见于自己改了源码里的模块命名或者用了不同版本的 timm。解决先用model.state_dict().keys()打印模型的所有 key再和权重文件的 key 对比。如果只是前缀差异写个脚本批量替换。如果是结构差异比如分类头类别数不同那部分 missing 是正常的只要主干 key 匹配上就行。不要强行strictTrue加载会直接报错退出。5. 进阶技巧用分层学习率和 EMA 把 CrossFormer 的精度再抬一档前面讲的配置能让你跑出一个可用的模型但如果想把精度再往上推 1 到 2 个点有两个技巧值得试分层学习率衰减和指数移动平均EMA。分层学习率衰减的思路是越靠近输入的层特征越通用学习率应该越小越靠近分类头的层越任务相关学习率应该越大。CrossFormer 有四个 stage我一般给 stage1 到 stage4 分别设 0.25x、0.5x、0.75x、1.0x 的倍率分类头单独 10x。实现上就是在优化器里多分几组def get_layer_lr(model, base_lr5e-5): groups [] for name, param in model.named_parameters(): if head in name: lr base_lr * 10 elif stage1 in name: lr base_lr * 0.25 elif stage2 in name: lr base_lr * 0.5 elif stage3 in name: lr base_lr * 0.75 else: lr base_lr groups.append({params: param, lr: lr}) return groups optimizer AdamW(get_layer_lr(model), weight_decay0.05)逻辑说明这个分组方式假设源码里的模块命名包含stage1到stage4如果你的实现命名不同按实际名字调整。分层学习率在数据量小于 2 万张时效果最明显因为浅层特征不需要大改改多了反而破坏预训练学到的通用表示。EMA 的做法是维护一份模型参数的滑动平均副本验证和推理时用这份副本。它对小数据集上的精度提升很稳定通常能涨 0.5 到 1 个点。实现上用一个简单的 EMA 类class ModelEMA: def __init__(self, model, decay0.999): self.ema copy.deepcopy(model).eval() self.decay decay for p in self.ema.parameters(): p.requires_grad_(False) torch.no_grad() def update(self, model): for ema_p, p in zip(self.ema.parameters(), model.parameters()): ema_p.mul_(self.decay).add_(p, alpha1 - self.decay) ema ModelEMA(model, decay0.999) # 每个训练 step 后调用 ema.update(model) # 验证时用 ema.ema 代替 model参数上decay0.999适合训练步数在 1 万到 10 万之间的场景步数更多可以调到 0.9999步数更少调到 0.99。EMA 的副本会额外占一份显存如果显存紧张可以在验证前才把参数拷过去验证完再恢复。这两个技巧叠加使用时注意 EMA 的更新要在scaler.update()之后确保用的是更新后的参数。另外分层学习率和余弦退火可以共存把每组的初始学习率按倍率设好退火时整体按比例降。我自己踩过的一个坑是EMA 的 decay 设成 0.9999 但训练只有 30 个 epoch结果 EMA 副本还停留在接近初始权重的状态验证精度反而比原模型低。后来改成按训练总步数动态算 decay才稳定下来。所以别迷信固定值按自己的训练规模调。希望帮到你。本文还有配套的精品资源点击获取