简介这份资源是面向计算机相关专业学生的数字图像处理课程设计完整项目包以CUB-200-2011鸟类数据集为对象实现图像细粒度分类适合正在准备期末大作业或需要项目实战练习的学习者参考。项目为个人97分高分作品包含可直接运行的完整源码并经过严格调试下载后即可复现实验流程。压缩包共14个文件约4.76MB涵盖4个Python脚本、3份PDF讲解与报告、2个说明文本以及演示文稿、Word文档、迁移学习模型文件、Markdown说明和效果图等分别对应代码实现、实验报告、答辩展示与模型权重等用途。资源围绕细粒度分类展开涉及BCNN、迁移学习、数据集构建与模型训练等核心环节配有讲解文档与最终报告便于读者理解算法思路、复现实验并整理成自己的课程设计。目前已有280人学习适合作为数字图像处理方向的实战参考。1. 图像细粒度分类大作业CUB-200-2011 为什么成了数字图像处理课的“分水岭”如果你正在做数字图像处理大作业大概率绕不开一个选题图像细粒度分类。而 CUB-200-2011 这个数据集几乎是绕不开的硬骨头。它包含 200 种鸟类、11788 张图片难点在于——不同种类的鸟长得极其相似而同一种鸟因为姿态、光照、背景不同又差异巨大。普通分类模型在这上面很容易卡在 60% 出头但大作业想拿 95 分以上你得把准确率推到 80% 甚至更高。我带过几届学生的课程设计也自己复现过多个方案。血泪经验是很多人一上来就堆 ResNet结果训练半天准确率不动最后连 baseline 都跑不过。问题不在模型不够深而在细粒度分类的核心矛盾——类间差异小、类内差异大。数字图像处理课学的那些预处理、特征提取、注意力机制恰恰是解决这个矛盾的关键。这篇笔记就按“理论先立住、再动手能复现”的路子把 CUB-200-2011 从数据准备到模型调优的完整链路拆开让你能照着做也能避开我踩过的坑。2. 把 CUB-200-2011 读进内存数据划分、标注解析与预处理流水线2.1 数据集结构拆解与官方划分的坑CUB-200-2011 的目录结构不算复杂但第一次用的人很容易被它的标注文件搞晕。解压后你会看到images/、parts/、attributes/等目录以及几个关键文本文件。真正决定你实验可复现性的是train_test_split.txt和images.txt——前者标记每张图属于训练集还是测试集后者建立图片 ID 到文件名的映射。常见做法是直接用官方划分5994 张训练、5794 张测试。但这里有个坑官方划分里训练集和测试集的类别是重叠的也就是说测试集里的鸟种在训练时都见过。这符合细粒度分类的标准设定但如果你想做更严格的实验可以自己按类别重新划分。我一般会先写个脚本把标注解析成 DataFrame方便后续按需切分。import os import pandas as pd # 假设数据集根目录为 CUB_200_2011 data_root CUB_200_2011 images pd.read_csv(os.path.join(data_root, images.txt), sep , headerNone, names[img_id, file_name]) split pd.read_csv(os.path.join(data_root, train_test_split.txt), sep , headerNone, names[img_id, is_train]) labels pd.read_csv(os.path.join(data_root, image_class_labels.txt), sep , headerNone, names[img_id, class_id]) # 合并成一张总表 df images.merge(split, onimg_id).merge(labels, onimg_id) df[file_path] df[file_name].apply(lambda x: os.path.join(data_root, images, x)) df[is_train] df[is_train].astype(bool) print(df.head()) print(f训练集数量: {df[df[is_train]].shape[0]}, 测试集数量: {df[~df[is_train]].shape[0]})这段代码的逻辑很直接分别读取三个标注文件用img_id做键合并。参数说明上sep 是因为官方文件用空格分隔headerNone表示没有表头。合并后is_train为 1 表示训练集0 表示测试集。跑完你应该看到训练集 5994 张、测试集 5794 张。如果数字对不上检查一下解压是否完整。2.2 预处理流水线从 Resize 到数据增强的取舍细粒度分类对图像分辨率很敏感。CUB 的原始图片尺寸不一常见做法是统一 Resize 到 448×448 或 512×512。但直接 Resize 会丢失细节我一般会先用RandomResizedCrop做随机裁剪再配合RandomHorizontalFlip和ColorJitter。注意细粒度分类里翻转增强要谨慎因为鸟的左右不对称特征可能被破坏但实测影响不大可以保留。from torchvision import transforms train_transform transforms.Compose([ transforms.Resize(512), # 先缩放到短边 512 transforms.RandomCrop(448), # 随机裁剪 448×448 transforms.RandomHorizontalFlip(p0.5),# 水平翻转 transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(512), transforms.CenterCrop(448), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])参数上Resize(512)的短边缩放到 512 是为了保证随机裁剪时能覆盖 448 的区域。ColorJitter的系数别调太大0.2 左右足够否则颜色失真会干扰细粒度特征。归一化用的 ImageNet 均值方差如果你从零训练可以改成数据集自身的统计值但用预训练模型时保持一致更好。验证集只用 CenterCrop保证评估稳定。注意CUB 的测试集图片也包含在images/里别不小心把测试集混进训练。用is_train字段严格过滤。3. 从 ResNet 到注意力细粒度分类模型选型与训练策略3.1 为什么直接微调 ResNet 不够用ResNet 在 ImageNet 上很强但直接拿来微调 CUB准确率通常卡在 70% 左右。原因在于ResNet 的全局平均池化会把空间信息压成一个向量而细粒度分类恰恰需要关注局部——比如鸟喙的形状、羽毛的纹理。数字图像处理课里讲的注意力机制、多尺度特征融合在这里就是提分的关键。我一般会选一个折中方案用 ResNet-50 做骨干在 stage 4 的输出上接一个轻量级的注意力模块。常见做法是加一个 CBAMConvolutional Block Attention Module它同时做通道注意力和空间注意力计算量小即插即用。如果你不想自己写也可以直接用timm库里的预训练模型选带注意力机制的变体。import torch import torch.nn as nn from torchvision.models import resnet50 class CBAM(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels) ) self.sigmoid nn.Sigmoid() self.spatial_conv nn.Conv2d(2, 1, kernel_size7, padding3) def forward(self, x): # 通道注意力 avg_out self.fc(self.avg_pool(x).squeeze(-1).squeeze(-1)) max_out self.fc(self.max_pool(x).squeeze(-1).squeeze(-1)) channel_att self.sigmoid(avg_out max_out).unsqueeze(-1).unsqueeze(-1) x x * channel_att # 空间注意力 avg_out torch.mean(x, dim1, keepdimTrue) max_out, _ torch.max(x, dim1, keepdimTrue) spatial_att self.sigmoid(self.spatial_conv(torch.cat([avg_out, max_out], dim1))) return x * spatial_att class FineGrainedModel(nn.Module): def __init__(self, num_classes200): super().__init__() backbone resnet50(pretrainedTrue) self.features nn.Sequential(*list(backbone.children())[:-2]) # 去掉全局池化和全连接 self.cbam CBAM(2048) self.pool nn.AdaptiveAvgPool2d(1) self.classifier nn.Linear(2048, num_classes) def forward(self, x): x self.features(x) # [B, 2048, 14, 14] x self.cbam(x) x self.pool(x).flatten(1) return self.classifier(x)这段代码里CBAM的通道注意力用平均池化和最大池化分别提特征再经过共享的全连接层相加。空间注意力则是在通道维度上做平均和最大池化拼接后用一个 7×7 卷积压成单通道。FineGrainedModel把 ResNet-50 的最后一层卷积输出接 CBAM再全局池化分类。参数上reduction16是通道压缩比显存不够可以调到 32。3.2 训练策略学习率、损失函数与冻结层数有了模型训练策略决定你能不能从 70% 推到 80%。我一般分两阶段先冻结骨干只训 CBAM 和分类头学习率设 1e-3再解冻全部用 1e-4 微调。损失函数用交叉熵就够但如果你想再挤一点可以加一个中心损失Center Loss让同类特征更紧凑。import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR device torch.device(cuda if torch.cuda.is_available() else cpu) model FineGrainedModel(num_classes200).to(device) # 阶段一冻结骨干 for param in model.features.parameters(): param.requires_grad False optimizer optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3) criterion nn.CrossEntropyLoss() # 阶段二解冻全部换小学习率 # for param in model.features.parameters(): # param.requires_grad True # optimizer optim.Adam(model.parameters(), lr1e-4) # scheduler CosineAnnealingLR(optimizer, T_max30) # 训练循环示例 for epoch in range(10): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() optimizer.step() print(fEpoch {epoch1}, Loss: {loss.item():.4f})参数说明阶段一学习率 1e-3因为只训随机初始化的模块可以大一点。阶段二解冻后降到 1e-4避免破坏预训练权重。CosineAnnealingLR的T_max设成总 epoch 数让学习率平滑衰减。Batch size 根据显存来448×448 输入下11GB 显存大概能跑 16。如果显存不够把输入降到 320×320但准确率会掉 2-3 个点。提示训练时用torch.cuda.amp混合精度能省显存并加速对准确率几乎无影响。4. 避坑与排查CUB-200-2011 训练中常见的 5 个翻车现场4.1 损失不下降准确率卡在 0.5%现象训练几个 epoch 后loss 一直在 5.3 左右对应 200 类的随机猜测准确率不动。原因最常见的是标签没对齐。CUB 的image_class_labels.txt里类别 ID 是从 1 到 200而 PyTorch 的CrossEntropyLoss要求标签从 0 开始。如果你直接拿 1-200 的标签训练模型永远猜不对。解决在读标签时减 1。df[class_id] df[class_id] - 1。另外检查一下 DataLoader 的shuffle是否开启训练集不 shuffle 也会导致收敛慢。4.2 验证集准确率远低于训练集现象训练集准确率冲到 95%验证集只有 60% 多。原因过拟合。CUB 训练集只有 5994 张模型参数量大很容易记住训练样本。另外如果你的数据增强太弱模型学到的都是背景噪声。解决加强正则化。加 Dropout分类头前加nn.Dropout(0.5)用权重衰减Adam 的weight_decay1e-4早停验证集 loss 连续 5 个 epoch 不降就停。数据增强上可以加RandomRotation(15)和RandomAffine但别过度。4.3 显存溢出OOM频发现象训练到一半报CUDA out of memory。原因输入分辨率太高或者 batch size 设大了。448×448 的输入比 224×224 显存占用高 4 倍。解决先降 batch size 到 8或者用梯度累积模拟大 batch。如果还不够把输入降到 320×320同时把Resize的短边改成 384。另外检查有没有在训练循环里累积计算图比如没写optimizer.zero_grad()。4.4 数据加载成为瓶颈GPU 利用率低现象nvidia-smi显示 GPU 利用率只有 30% 左右训练速度慢。原因num_workers设得太小或者磁盘 IO 慢。CUB 图片小但数量多如果每次都要从磁盘读CPU 会成为瓶颈。解决把num_workers设成 4 或 8根据 CPU 核数开启pin_memoryTrue。如果内存够大可以先把所有图片预加载到内存里但 11788 张 448×448 的图大概占 10GB 内存量力而行。4.5 测试集评估结果波动大现象每次跑测试集准确率上下浮动 2-3 个点。原因测试时的数据增强没固定或者 BatchNorm 在推理时没切到 eval 模式。解决测试时用model.eval()和torch.no_grad()验证集变换只用 CenterCrop不要加随机增强。另外如果用了 Dropout推理时会自动关闭但 BatchNorm 的 running mean 需要 eval 模式才稳定。5. 把准确率从 80% 推到 88%两个进阶技巧与验证方法5.1 双线性池化用二阶特征换 3 个点如果你已经跑通了 CBAM 方案想再往上走可以试试双线性池化Bilinear Pooling。它的核心思想是把骨干网络输出的特征图做外积得到二阶统计量能捕捉更细的纹理差异。在 CUB 上双线性池化通常能比全局平均池化高 3-5 个点。class BilinearPooling(nn.Module): def __init__(self, channels2048, num_classes200): super().__init__() self.conv nn.Conv2d(channels, 512, kernel_size1) # 降维 self.classifier nn.Linear(512 * 512, num_classes) def forward(self, x): x self.conv(x) # [B, 512, H, W] B, C, H, W x.shape x x.view(B, C, H * W) # [B, 512, H*W] x torch.bmm(x, x.transpose(1, 2)) # [B, 512, 512] x x.view(B, -1) x torch.sign(x) * torch.sqrt(torch.abs(x) 1e-8) # 归一化 x nn.functional.normalize(x, dim1) return self.classifier(x)参数上conv把 2048 维降到 512 维否则 2048×2048 的协方差矩阵太大。torch.bmm做批量矩阵乘法得到双线性特征。后面的符号平方根和 L2 归一化是标准操作能稳定训练。注意这个模块显存占用高batch size 要降到 8 以下。5.2 验证方法别只看准确率大作业评分时老师可能不只看准确率。我一般会准备三个指标Top-1 准确率、Top-5 准确率、混淆矩阵。Top-5 能反映模型是否把正确答案排在前面混淆矩阵能看出哪些鸟种容易混。比如 CUB 里“橙冠莺”和“黄腰莺”经常互错你可以针对性地对这些类做数据增强。验证流程上用测试集跑一次推理保存预测结果再用 sklearn 算指标from sklearn.metrics import accuracy_score, confusion_matrix, top_k_accuracy_score import numpy as np model.eval() all_preds, all_labels [], [] with torch.no_grad(): for imgs, labels in test_loader: imgs imgs.to(device) outputs model(imgs) all_preds.append(outputs.cpu().numpy()) all_labels.append(labels.numpy()) all_preds np.concatenate(all_preds) all_labels np.concatenate(all_labels) top1 accuracy_score(all_labels, all_preds.argmax(axis1)) top5 top_k_accuracy_score(all_labels, all_preds, k5) print(fTop-1: {top1:.4f}, Top-5: {top5:.4f})最后说个我自己的习惯每次改完模型先跑 5 个 epoch 看 loss 曲线如果 loss 下降平滑且验证集跟着降再跑完整训练。别一上来就训 100 个 epoch浪费时间还容易过拟合。另外随机种子一定要固定否则结果没法复现。我一般会在代码开头写torch.manual_seed(42)和np.random.seed(42)这样至少保证自己前后对比是公平的。希望帮到你。本文还有配套的精品资源点击获取