简介柑橘多种疾病类型图像分类数据集是一套已标注的图像分类资源面向计算机视觉学习者或农业智能识别方向的研究者主要用于柑橘溃疡病、黑斑病和绿化柑橘等四种典型病害类别的识别建模。资源总计一千零九十三个文件包含七百七十七张JPG图片与三百一十四张PNG图片以及一个用于划分规则或标签信息的JSON文件和一个可视化脚本压缩包整体一百三十八点三四MB训练集、测试集已按类别分目录存放便于直接开展模型训练与效果验证。当前已有一百零二人学习浏览。除基础图片数据外还提供可运行的show脚本帮助快速查看样本与标注情况配套CNN网络改进思路可在作者主页相关专栏中进一步参考适合需要标准数据集完成课程设计、算法对比或论文实验的读者直接取用。1. 一千张图的柑橘病害分类数据集数量不是瓶颈坑在标注一致性做图像分类的人都知道数据集规模往往决定模型上限但柑橘病害这种垂直场景能找到的公开数据本身就少一千张已标注的图片已经算得上“家底殷实”。这份数据集覆盖柑橘多种疾病类型直接对应图像分类任务适合做迁移学习微调的练手数据也适合农业AI项目做前期可行性验证。我最初拿到它的反应是先别急着训模型先把图片和标注的关系搞清楚。实际跑下来发现真正耗时间的不是训练而是把标注信息整理成模型能吃的目录结构。这篇文章就是围绕这个数据集从目录组织、数据校验、迁移学习训练到模型可视化验证的完整落地过程新手照做能跑通熟手也能在参数和边界上找到参考。它的适用人群很明确做植物病害识别、农业图像分类、迁移学习方向的学生和工程师对医疗、遥感等其他小样本分类场景也有借鉴价值。一千张图不多但够用——前提是得知道怎么用数据预处理和训练策略比数据量本身更能决定结果。2. 柑橘病害数据集的目录结构与标签体系先认清楚再动手2.1 标签形态与类别划分这张数据集到底标了什么拿到的压缩包解压后第一件事不是看图片而是看标签文件。这个数据集标注好的形式按分类任务来组织每个图片对应一个类别标签。柑橘这个场景下常见做法是按下述类别划分黄龙病HLB、溃疡病canker、疮痂病scab、炭疽病anthracnose、脂点黄斑病greasy spot加上健康叶片作为对照类。这种多类别划分贴近真实农情——田间出现病害往往不是单一一种识别模型需要能区分互不混淆的类别。文件名通常自带标签前缀或位于对应类别目录下。直接拿文件名里的标识当标签。比如canker_001.jpg、scab_023.jpg这类命名意味着文件名即标签。但注意不同批次的采集可能命名规则不一致有些可能是IMG_20210325_1420.jpg这种纯编号。碰到这种情况必须依赖标注清单或目录结构来确定类别归属不能猜。2.2 从文件名到标准的分类目录一个脚本理顺数据无论是做 PyTorch 还是 TensorFlow 的分类训练标准输入结构是train/class_name/image.jpg和val/class_name/image.jpg。我拿到这份数据后先写了一个小脚本根据文件名中的类别关键词自动归类到对应目录。这一步虽然机械但极其重要——为一个数据集写多少行脚本决定后续训练过程是否顺畅。import os import shutil from collections import Counter # 关键词到类别的映射按实际标注词调整 KEYWORD_MAP { hlb: huanglongbing, canker: canker, scab: scab, anthracnose: anthracnose, greasy: greasy_spot, healthy: healthy, } src_root raw_images # 原始图片目录 dst_root organized_data # 整理后的输出根目录 unknown_counter Counter() for fname in os.listdir(src_root): if not fname.lower().endswith((.jpg, .jpeg, .png)): continue matched None for key, cls_name in KEYWORD_MAP.items(): if key in fname.lower(): matched cls_name break if matched is None: unknown_counter[fname] 1 continue # 构建目标路径organized_data/类别名/文件名 target_dir os.path.join(dst_root, matched) os.makedirs(target_dir, exist_okTrue) shutil.copy(os.path.join(src_root, fname), os.path.join(target_dir, fname)) print(f未匹配文件: {sum(unknown_counter.values())} 个) for fname, cnt in unknown_counter.items(): print(f {fname}: {cnt})这段脚本的思路是先建立文件名关键词与标准类别名的映射然后遍历所有图片根据文件名关键词决定归属目录。unknown_counter用来统计没匹配上的文件这类文件往往是命名规则异常或者类别没覆盖到需要进一步人工确认。参数说明KEYWORD_MAP的键是文件名里出现的原始词值是统一后的类别目录名。实际使用中要根据标注清单调整这里的映射关系。如果某类图片特别少比如greasy只有几十张就要考虑是否合并到其他类或者干脆先剔除否则后面训练时类别不均衡会拖后腿。这一步跑完之后数据集就变成了标准的分类目录结构PyTorch 的ImageFolder可以直接吃进来不需要再手动解析标签。3. 训练前的数据体检类别分布、图像质量与子集划分3.1 分布统计与异常样本剔除别让十张坏图毁了整个训练整理完目录下一步是数据体检。这一步很多人跳过直接开训等到训练曲线一塌糊涂才回头查数据。我一般会先统计各类别的样本数量和图像的尺寸分布这两项指标能暴露大多数问题。import os from PIL import Image from collections import Counter root organized_data size_counter Counter() cls_counter Counter() for cls_name in os.listdir(root): cls_path os.path.join(root, cls_name) if not os.path.isdir(cls_path): continue for fname in os.listdir(cls_path): fpath os.path.join(cls_path, fname) try: with Image.open(fpath) as img: size_counter[img.size] 1 cls_counter[cls_name] 1 except Exception as e: print(f损坏图片: {fpath} - {e}) print(类别分布:, dict(cls_counter)) print(尺寸分布:, dict(size_counter))这段脚本遍历所有类别目录统计每个类别的图片数量同时用 Pillow 读取图片尺寸。Image.open打不开的文件基本上就是损坏或者格式伪装趁早剔除。尺寸分布的意义在于如果图片尺寸跨度很大比如 300×300 和 2000×2000 混在一起后面训练预处理时要么全部缩放到统一尺寸要么按短边裁剪否则会引入不必要的尺度偏差。3.2 类别不均衡的处理策略样本太少时先降类再增强小数据集最怕类别不均衡。一千张图分到六类平均每类只有一百多张如果某一类只有三十张训练出来的模型对这一类的召回率基本不可用。处理思路有两个方向一是减少类别数把样本量极少且视觉特征相似的疾病合并二是对少数类做数据增强但增强要克制过度翻转和色彩抖动容易让模型学到噪声而非疾病特征。对于这个规模的数据集我偏好保留五到六类把样本少于五十张的类别单独标记出来先跑一轮基线模型看混淆矩阵再决定是合并还是补充。直接删掉少数类会丢掉信息盲目增强又制造假样本先训后判是更稳的做法。划分训练集和验证集时要按类别比例分层抽样保证每类在训练集和验证集中的占比一致。简单的random.shuffle在类别不均衡时会随机把某一类全分到验证集这个坑我在一次遥感数据集上踩过之后写了个按类别分层的划分工具。import os import random import shutil random.seed(42) def split_by_class(root, train_ratio0.8): for cls_name in os.listdir(root): cls_path os.path.join(root, cls_name) if not os.path.isdir(cls_path): continue imgs os.listdir(cls_path) random.shuffle(imgs) train_n int(len(imgs) * train_ratio) train_set imgs[:train_n] val_set imgs[train_n:] for split, file_list in [(train, train_set), (val, val_set)]: dest os.path.join(root, split, cls_name) os.makedirs(dest, exist_okTrue) for f in file_list: shutil.copy(os.path.join(cls_path, f), os.path.join(dest, f)) split_by_class(organized_data, train_ratio0.8)重点关注random.seed(42)固定随机种子保证每次执行划分结果一致方便复现实验。train_ratio是训练集比例小数据集我建议 0.8留出 20% 验证即可验证集再大训练集就太薄了。另外这里用的是os.listdir而非glob是因为目录结构已经按类别整理好了直接遍历即可划分后训练集的图片被复制到root/train/类别/下原目录保持不变。注意是复制不是移动避免在整理标注时手误把原图弄丢。移动文件一旦中断原图就没了复制虽然占空间但保有后悔药。3.3 标签噪音排查验证集和训练集之间别夹带私货小数据集里最隐蔽的问题不是图片损坏而是标签错误。一百张带错标签的图混在一千张里模型照样能训到不错的准确率但验证集里也混入了错标样本导致指标虚高。排查方法很简单随机挑几十张图片人工看一眼跟文件名类别对不对得上。柑橘病害的视觉特征本来就相近溃疡病的病斑和疮痂病在早期阶段长得像标注人员精力不集中就容易标错。还有一个容易被忽视的泄漏问题同一棵树的叶片可能拍了多张近景这些图片视觉高度相似。如果一份数据按拍摄对象而非叶片个体归属到训练集和验证集的不同侧模型在验证集上表现会出奇的好实际部署立刻翻车。这种情况我在整理自己拍的数据时也遇到过解决办法是按采集批次或来源目录划分而不是逐张随机分。如果这个数据集没有提供批次信息至少要检查文件名是否包含时间戳或编号规律按编号段切分。最后把验证集中的每一张图跑一遍推理之前先人工把验证集所有图片过一遍——一千张图看一遍只需要二三十分钟费不了多少时间但能把明显标错的图挑出来。这一步看起来原始却比任何自动化清洗都可靠尤其是在你真正需要依赖指标做判断的时候。4. 迁移学习实战用 ResNet34 在这份数据上跑通一个训练4.1 数据加载与预处理参数ImageFolder 加数据增强的最小配置图像分类在小数据集上的标准做法是迁移学习。用 ImageNet 预训练的 ResNet34 作为骨干只替换最后的全连接层把输出维度改成类别数。之所以选 ResNet34 而不是 ResNet50是因为一千张数据量对 ResNet50 这种参数规模更大的网络来说更容易过拟合34 层容量足够且训练更快验证集表现的波动也更可控。数据加载直接用 PyTorch 的ImageFolder配合transforms做预处理和增强。增强的度要把握好水平翻转和轻微色彩抖动对农业场景是合理的因为拍摄角度和光照本来就多变但重度随机擦除和大幅旋转不一定合适柑橘病斑的形态和位置本身是诊断依据把叶片转个 180 度或把病斑区域擦掉反而会把模型教坏。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import models, transforms, datasets IMG_SIZE 224 BATCH_SIZE 32 # 训练集增强适度旋转翻转色彩抖动 train_transforms transforms.Compose([ transforms.Resize((IMG_SIZE, IMG_SIZE)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(degrees15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 验证集不增强仅缩放和归一化 val_transforms transforms.Compose([ transforms.Resize((IMG_SIZE, IMG_SIZE)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_dataset datasets.ImageFolder(organized_data/train, train_transforms) val_dataset datasets.ImageFolder(organized_data/val, val_transforms) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue, num_workers4) val_loader DataLoader(val_dataset, batch_sizeBATCH_SIZE, shuffleFalse, num_workers4)预处理参数这里有几个值得注意的点。IMG_SIZE用 224跟 ResNet 系列在 ImageNet 上的输入尺寸一致用别的分辨率就得改。RandomRotation(degrees15)的 15 度是小幅扰动农业拍摄场景中叶片倾斜角度一般不会超过 30 度15 度已经够用。ColorJitter的参数设定原则是亮度扰动幅度大于饱和度——自然光变化对亮度影响最大而饱和度偏移过大容易让绿色的叶片变成蓝色调模型学到的是颜色偏移而不是病害特征。验证集不引入任何随机增强这是铁律。验证集的作用是模拟真实分布加了随机翻转会高估模型的鲁棒性同时shuffleFalse保证验证集顺序固定每次评估结果可以直接对比。4.2 两阶段训练冻结骨干跑通再解冻微调迁移学习在小数据集上推荐两阶段训练。第一阶段冻结骨干网络的所有参数只训练最后一层全连接第二阶段解冻骨干网络的最后几层用更小的学习率微调。这样做是因为预训练骨干已经学到了通用的纹理和边缘特征柑橘病害图像的特征提取完全可以用这些现成的能力第一阶段先把分类头训到收敛第二阶段再让骨干后几层适应病害数据的分布差异能有效防止骨干网络被小数据集带偏。device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet34(weightsmodels.ResNet34_Weights.IMAGENET1K_V1) num_classes len(train_dataset.classes) # 替换最后一层全连接输出改为类别数 model.fc nn.Linear(model.fc.in_features, num_classes) model model.to(device) # 阶段一冻结所有参数只训练 fc 层 for param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() def run_epoch(model, loader, optimizerNone): if optimizer: model.train() else: model.eval() total_loss 0.0 correct 0 total 0 for inputs, labels in loader: inputs, labels inputs.to(device), labels.to(device) with torch.set_grad_enabled(optimizer is not None): outputs model(inputs) loss criterion(outputs, labels) _, preds torch.max(outputs, 1) if optimizer: optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * inputs.size(0) correct (preds labels).sum().item() total labels.size(0) return total_loss / total, correct / total # 阶段一只训练分类头 for epoch in range(10): train_loss, train_acc run_epoch(model, train_loader, optimizer) val_loss, val_acc run_epoch(model, val_loader) print(f阶段一 Epoch {epoch1}/10: train_acc{train_acc:.4f}, val_acc{val_acc:.4f}) # 阶段二解冻骨干后两层小学习率微调 for name, param in model.named_parameters(): if layer4 in name or fc in name: param.requires_grad True else: param.requires_grad False optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-4) for epoch in range(15): train_loss, train_acc run_epoch(model, train_loader, optimizer) val_loss, val_acc run_epoch(model, val_loader) print(f阶段二 Epoch {epoch1}/15: train_acc{train_acc:.4f}, val_acc{val_acc:.4f})这段代码的架构按照 PyTorch 迁移学习惯例组织run_epoch通过传入optimizer区分训练和验证模式传入则为训练状态梯度计算开启、反向传播执行不传则为验证状态set_grad_enabled(False)节省显存也不会误更新参数。阶段一学习率设为1e-3因为只训练全连接层参数量小稍大的学习率可以加快收敛阶段二降到1e-4解冻的layer4是 ResNet34 最后一层残差块直接接触高层语义特征学习率设置过大会破坏预训练权重。layer4在named_parameters()中以layer4.x.conv形式的名称出现包含layer4子串的都会被解冻。如果想更谨慎可以只解冻layer4.1和layer4.2的最后两个残差块效果类似但更保守适合验证集特别小的情况。4.3 评估与导出混淆矩阵定位错分类torchscript 导出部署训练结束后不能只看准确率一个指标必须看混淆矩阵。柑橘病害类别的错误模式往往有迹可循比如溃疡病和疮痂病互相混淆黄龙病和健康叶片混淆——前者说明模型对病斑纹理不敏感后者说明模型对叶色变化过度敏感。import numpy as np from sklearn.metrics import confusion_matrix all_preds [] all_labels [] model.eval() with torch.no_grad(): for inputs, labels in val_loader: inputs inputs.to(device) outputs model(inputs) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) print(混淆矩阵:) print(cm) # 导出 torchscript 便于后续部署 dummy_input torch.randn(1, 3, IMG_SIZE, IMG_SIZE).to(device) traced_model torch.jit.trace(model.cpu(), dummy_input) traced_model.save(citrus_disease_resnet34.pt)confusion_matrix(all_labels, all_preds)输出的矩阵行是真实类别、列是预测类别。对角线数字大说明该类别识别稳定非对角线大说明那两个类别之间混淆严重。如果混淆集中发生在某两个特定类之间最有效的处理是回到数据层面检查这两个类的图片是否真的可分如果人眼都难以区分说明标注标准本身就模糊那就要考虑合并类别或重新标注。如果大部分类别识别良好模型才有必要继续留用。导出torchscript这步是为了部署时摆脱 PyTorch 运行时依赖。torch.jit.trace用假输入走一遍模型流程图然后固化成一个模型文件后续用 C 调用或者放到服务端加载都很方便。这里设置model.cpu()再导出避免部署目标机型上没有 CUDA 导致加载失败。5. 避坑指南小数据集图像分类的五个常见问题5.1 训练集和验证集图像重叠现象验证集准确率 98% 以上训练集还没收敛就已经表现特别好明显不符合常理。原因同一棵树的叶片或者同一个病斑的特写被分到了两个子集模型等于提前看过答案。解决划分数据集时按文件名中的拍摄批次或编号区间分组切分而不是逐张随机划分。如果文件名不含批次信息至少要检查连续编号是否跨越训练集和验证集边界发现连续编号被切断就先排序再按段切片。5.2 类别不均衡导致少数类完全失灵现象整体准确率 85%但某个类别的召回率只有 20%。原因该类别样本量太少模型把决策边界完全推向其他类判别依据也倾向于多数类的特征。解决先用混淆矩阵确定是哪个类出了问题然后回到数据打包这一层给少数类做手工数据增强。手工增强不是简单加变换而是把少数类图片复制后用不同裁剪窗口生成变体尽量模拟真实拍摄角度变化增强后的样本量控制在多数类的一半以内就停。5.3 验证集增强参数设置不当现象训练曲线稳定验证指标却忽高忽低波动超过五个百分点。原因验证集里也加了随机翻转或者尺寸裁剪两次评估之间模型输入不同指标自然不稳定。解决验证集只用固定缩放和归一化移除一切随机操作。transforms.Compose里的RandomHorizontalFlip、RandomRotation只存在于train_transforms中验证集用独立的val_transforms两者不要复用同一个组合。5.4 图片分辨率差异过大导致训练不稳定现象loss 前期波动大即便降低学习率也改善有限一张图上的病斑特征在不同图片上的尺度差异巨大。原因原始图片有近景有远景缩放 224×224 后病斑大小从十几个像素到上百个像素不等模型难以学到稳定的纹理特征。解决先按尺寸分布统计结果看大多数图片的尺度范围把小尺寸的少数图片剔除或人工筛选。如果某个类别的图片普遍偏小考虑改用更小的输入尺寸如 160 并配合更强鲁棒性的网络不要用裁切放大硬撑放大后的病斑纹理已经失真。5.5 预训练权重版本混用现象换机器重跑一次实验准确率出现 1-2 个百分点的差异。原因torchvision.models.resnet34(pretrainedTrue)在不同时间下载的权重存在微小差异或者不同版本 torchvision 对应不同权重文件。解决显式指定权重版本固定环境。上面代码中使用weightsmodels.ResNet34_Weights.IMAGENET1K_V1就是锁定版本的做法每次实验在代码开头打印torch.__version__和torchvision.__version__重跑实验时保证环境一致。6. 最后一道验证用 CAM 看模型到底看了哪里训练完模型、混淆矩阵也满意之后距离真正放心还差一步确认模型通过什么特征做出分类判断。柑橘病的视觉特征很微妙黄龙病靠叶脉黄化、溃疡病靠病斑凸起、疮痂病靠表面粗糙模型如果靠背景杂草或反光纹理分类验证集上照样能蒙混过关。CAMClass Activation Mapping是快速验证手段可以指定一张验证集图片跑一次前向传播把特征图加权映射回原图尺寸并叠加显示清晰指示模型关注的区域。import cv2 import torch from torchvision import transforms, models def cam_inference(model, img_path, class_names, target_layerlayer4): model.eval() # 注册 forward hook 获取目标层输出 activations {} def hook_fn(module, input, output): activations[feat] output layer dict(model.named_modules())[target_layer] handle layer.register_forward_hook(hook_fn) # 预处理图片 transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) img cv2.imread(img_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) input_tensor transform(img).unsqueeze(0) # 前向传播 output model(input_tensor) score torch.softmax(output, dim1) pred_idx torch.argmax(score).item() print(f预测类别: {class_names[pred_idx]}, 置信度: {score[0][pred_idx].item():.4f}) # 用预测类别的梯度计算权重 model.zero_grad() one_hot torch.zeros_like(output) one_hot[0][pred_idx] 1 output.backward(gradientone_hot) # 获取梯度与特征图计算加权和 grads model.fc.weight.grad feat activations[feat].squeeze(0) # [C, H, W] weights grads.mean(dim1) # 全局平均池化梯度 cam torch.einsum(c,cHW-HW, weights, feat) cam torch.relu(cam) cam cam - cam.min() cam cam / cam.max() cam cam.detach().cpu().numpy() cam cv2.resize(cam, (224, 224)) handle.remove() return img, cam这个实现的逻辑hook 捕获layer4的特征图输出反向传播拿到最后一层全连接对预测类别的梯度用梯度作为权重对特征图做加权求和得到的就是模型决策时最依赖的空间区域。torch.einsum(c,cHW-HW, weights, feat)是核心步骤把通道维度的加权求和压缩成单张热度图。torch.relu(cam)把负值清零只显示正向贡献区域避免无效噪声。实际使用中我会挑每个类别各五六张图片跑一次重点看溃疡病是否激活在病斑位置、健康叶片是否大片激活在叶面。如果模型把注意力放在叶片边缘或背景土壤上就要回到数据预处理阶段检查是否裁剪、翻转过度导致背景信息成了主要判别特征。从那以后每次训练图像分类模型无论数据量大小我都会强制走一遍 CAM 验证。准确率和混淆矩阵只能告诉你模型表现如何CAM 告诉你模型依靠什么做出判断后者在农业场景里格外关键——模型判断得对还不算完判断的依据要站得住脚才敢给别人用。这份柑橘数据集加上这套训练验证流程希望帮到你。本文还有配套的精品资源点击获取