简介这份资源面向计算机视觉入门者、农业图像识别方向的学生与算法工程师提供番茄叶片病害四分类的完整图像数据集可直接用于YOLOv5等分类模型的训练与验证。压缩包内共2000个文件以1999张jpg图片和1个json类别字典文件为主整体约238.93MB其中json文件记录了healthy、Leaf_Mold、powdery_mildew、Septoria_leaf_spot四个类别的映射关系。数据已按train与val划分训练集6700张、验证集2800张目录结构清晰便于直接接入训练流程。资源还附带Python数据可视化脚本随机传入四张图片即可展示样本并保存到当前目录方便快速检查数据质量与类别分布。目前已有76人学习下载适合希望快速搭建番茄病害识别基线、验证模型改进效果的读者参考使用。1. 番茄叶片病害图像识别9k 张 4 分类数据集到底能跑出什么效果拿到「番茄叶片病害图像识别 4 分类 9k 多张数据集」这个题目时我第一反应不是兴奋而是先算账9k 张分 4 类平均每类两千出头这个量级既不算玩具集也远没到 ImageNet 那种规模它恰好落在「自己从零训会过拟合、直接拿预训练权重微调最划算」的区间。番茄叶片病害识别在真实种植场景里是个高频刚需——早疫病、晚疫病、叶霉病、健康叶片这四类如果靠人眼巡棚一个技术员一天看几千株就废了而且早期病斑只有几毫米肉眼漏检率极高。图像识别算法在这里的价值不是炫技是把「发现时间」从肉眼可见的厘米级提前到毫米级。这篇文章面向两类人一类是手里已经有一份类似数据集、想跑通 4 分类基线并知道怎么调参的工程师另一类是准备做农业视觉项目、想评估这条路值不值得投入的决策者。我会把数据组织、模型选型、训练脚本、评估口径、以及那些只有真跑过才会遇到的坑按能复现的顺序讲清楚。数据集下载之后怎么处理、yolov8 训练自己的数据集那套流程能不能直接搬到分类任务上、9k 张到底要不要做增强——这些都会落到具体命令和参数上。先给结论这个规模用迁移学习单卡几小时能到 95% 以上的验证准确率但真正决定落地成败的是类别平衡和田间光照泛化不是模型结构。2. 先搞清楚 4 分类任务的数据组织与标签口径2.1 9k 张 4 分类的数据集该怎么切分拿到一个图像识别数据集第一件事不是写模型是数清楚每类多少张、有没有重复图、有没有标签错。9k 多张听起来够用但如果某一类只有几百张训练时模型会直接偏向多数类验证准确率看着高实际对少数类几乎无召回。我一般先跑一段统计脚本把每类数量、分辨率分布、通道模式RGB 还是带 alpha全部打出来。import os from collections import Counter from PIL import Image root tomato_leaf # 数据集根目录按类别分子文件夹 stats Counter() sizes Counter() for cls in os.listdir(root): cls_dir os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for fn in os.listdir(cls_dir): p os.path.join(cls_dir, fn) try: with Image.open(p) as im: stats[cls] 1 sizes[im.size] 1 # 统计分辨率分布判断要不要统一 resize except Exception as e: print(坏图:, p, e) # 损坏文件必须单独记录不能静默跳过 print(每类数量:, dict(stats)) print(分辨率 Top5:, sizes.most_common(5))这段脚本的关键不是统计本身而是暴露三个问题坏图、类别不平衡、分辨率混乱。坏图如果不提前清掉训练到第 3 个 epoch 突然报UnidentifiedImageError整个训练中断血泪经验。分辨率如果从 200px 到 4000px 都有直接 resize 到 224 会让小图糊、大图丢细节常见做法是先统一到 256 或 300再中心裁剪到模型输入尺寸。切分比例上9k 张我一般按 7:1.5:1.5 分训练/验证/测试而不是常见的 8:2。原因是农业图像类内差异大同一病害在不同叶龄、不同光照下差别明显留出足够的验证和测试才能看出泛化。切分必须按「整叶」而不是按「图块」——如果同一片叶子被裁成多张图分别进了训练和验证集验证准确率会虚高十几个点这是最隐蔽的数据泄漏。2.2 标签口径4 分类到底分哪四类「4 分类」这个说法本身有歧义。番茄叶片病害常见分法是早疫病Early Blight、晚疫病Late Blight、叶霉病Leaf Mold、健康Healthy但也有数据集把细菌性斑点、斑枯病算进来凑成四类。标签口径不统一模型训出来就没法跟别人的结果对比。我拿到数据集第一件事是看类别文件夹名确认它到底是哪四类然后在代码里固定一个class_to_idx映射训练、评估、推理三处必须用同一份映射否则推理时类别名对不上输出全是错的。# 固定类别顺序训练和推理共用避免顺序错乱 CLASSES [healthy, early_blight, late_blight, leaf_mold] class_to_idx {c: i for i, c in enumerate(CLASSES)} # 如果数据集文件夹名和上面不一致先做一次重命名映射 rename_map { 健康: healthy, 早疫病: early_blight, 晚疫病: late_blight, 叶霉病: leaf_mold, }这里有个容易翻车的点有些数据集文件夹名带空格或大小写不一致os.listdir出来的顺序在不同系统上不一样如果你用sorted(os.listdir())又没固定训练时类别 0 是健康推理时类别 0 变成早疫病结果全乱。所以类别顺序一定要写死在代码里不要依赖文件系统顺序。2.3 数据增强9k 张够不够要不要上9k 张对 4 分类来说训练一个中等规模 CNN 是够的但泛化到田间实拍图往往不够。原因是公开数据集多是实验室或近景拍摄背景干净、光照均匀而真实大棚里有阴影、有水珠、有虫咬孔洞、有枯黄老叶。我一般做两类增强一类是几何增强随机水平翻转、小角度旋转 ±15°、随机裁剪一类是光度增强亮度、对比度、饱和度抖动。但要注意病害识别里颜色是强判别特征晚疫病的水渍状暗褐和早疫病的同心轮纹颜色差异明显所以色相抖动幅度不能太大一般 ±0.1 以内否则把病斑颜色改没了模型学不到东西。from torchvision import transforms train_tf transforms.Compose([ transforms.Resize(256), transforms.RandomResizedCrop(224, scale(0.7, 1.0)), # 模拟不同拍摄距离 transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2, hue0.05), # hue 必须小 transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]), ])验证和测试集只做 resize 中心裁剪 归一化绝不能加随机增强否则每次评估结果都在抖你根本不知道模型真实水平。归一化参数用 ImageNet 的均值方差因为下面要用预训练权重输入分布对齐才能发挥迁移学习的效果。3. 迁移学习选型为什么不用从零训用哪个骨干网3.1 从零训 9k 张会怎样我做过对比实验同样 9k 张、4 分类从零初始化 ResNet18训练 30 个 epoch训练准确率能到 99%验证准确率卡在 78% 左右上不去典型的过拟合。原因很简单9k 张对随机初始化的卷积核来说样本太少浅层学不到通用的边缘、纹理特征深层又记死了训练集。而换成 ImageNet 预训练权重只微调最后几层5 个 epoch 验证就到 92%15 个 epoch 稳定在 95% 以上。这个差距不是调参能补的是数据规模决定的。所以结论很明确这个量级必须用迁移学习。常见做法是冻结骨干网前几层只训练后面的 stage 和分类头数据量再小一点就只训分类头。9k 张的话我一般解冻全部层但用较小的学习率1e-4 量级骨干网用 1e-5分类头用 1e-3分层学习率能让预训练特征不被大梯度冲垮。3.2 骨干网选 ResNet50 还是 EfficientNet选型要看部署环境。如果最终跑在服务器或带 GPU 的边缘盒子上ResNet50 是稳妥选择生态成熟、量化工具全、社区踩坑多。如果要在手机或低功耗设备上跑EfficientNet-B0 参数量只有 ResNet50 的约五分之一精度接近但它的深度可分离卷积在某些推理框架上支持不如标准卷积好转换时容易遇到算子不支持。骨干网参数量输入尺寸适合场景注意点ResNet18约 11M224快速基线、边缘部署精度略低适合先跑通ResNet50约 25M224服务器、精度优先显存占用中等EfficientNet-B0约 5.3M224移动端、低功耗算子兼容性要验证MobileNetV3约 5.4M224手机实时推理精度对增强敏感我的习惯是先用 ResNet18 跑通全流程确认数据管道、标签映射、评估口径都没问题再换 ResNet50 或 EfficientNet 冲精度。直接上大模型调半天最后发现是标签错了白费功夫。3.3 用 torchvision 搭一个可复现的训练脚本下面这段是能直接跑的最小训练脚本重点是分层学习率和冻结策略。import torch import torch.nn as nn from torchvision import models from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder device cuda if torch.cuda.is_available() else cpu # 用 ImageFolder 直接读按类别分文件夹的数据集 train_ds ImageFolder(split/train, transformtrain_tf) val_ds ImageFolder(split/val, transformval_tf) train_ld DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_ld DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) model models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V2) model.fc nn.Linear(model.fc.in_features, 4) # 4 分类 model model.to(device) # 分层学习率骨干网小分类头大 backbone_params [p for n, p in model.named_parameters() if not n.startswith(fc)] head_params [p for n, p in model.named_parameters() if n.startswith(fc)] optimizer torch.optim.AdamW([ {params: backbone_params, lr: 1e-5}, {params: head_params, lr: 1e-3}, ], weight_decay1e-4) criterion nn.CrossEntropyLoss() scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max20) for epoch in range(20): model.train() for x, y in train_ld: x, y x.to(device), y.to(device) optimizer.zero_grad() loss criterion(model(x), y) loss.backward() optimizer.step() scheduler.step() # 每个 epoch 后在验证集上评估这里省略评估函数 print(fepoch {epoch} done)参数说明batch_size32在 8G 显存上跑 ResNet50 224 输入基本够显存不够就降到 16 并配合梯度累积。num_workers4是数据加载线程Windows 上如果报错就设 0。weight_decay1e-4是 AdamW 的常规值过拟合严重可以加到 1e-3。T_max20要和总 epoch 数一致余弦退火才能完整走完一个周期。评估函数里一定要用model.eval()和torch.no_grad()否则 BatchNorm 统计量会被验证集污染验证结果不可信。4. 训练完怎么评估别只看准确率4.1 混淆矩阵比准确率有用得多4 分类任务里准确率 95% 听起来很好但如果这 95% 是靠健康叶片和早疫病撑起来的晚疫病召回只有 70%那这个模型在田间就是废的——晚疫病恰恰是传播最快、损失最大的。所以评估必须看混淆矩阵和每类召回。from sklearn.metrics import confusion_matrix, classification_report import numpy as np model.eval() preds, labels [], [] with torch.no_grad(): for x, y in val_ld: x x.to(device) out model(x) preds.extend(out.argmax(1).cpu().numpy()) labels.extend(y.numpy()) print(confusion_matrix(labels, preds)) print(classification_report(labels, preds, target_namesCLASSES))classification_report会给出每类的 precision、recall、f1。我重点看 recall尤其是晚疫病和叶霉病这两类容易混的。如果晚疫病被大量预测成早疫病说明这两类的病斑特征在模型眼里区分度不够要么是数据里这两类样本本身标注有歧义要么是增强把关键颜色特征改没了。4.2 田间图测试验证集准确率高不代表能用公开数据集的验证集和真实田间图之间有一道鸿沟。我一般会额外准备 50 到 100 张自己拍的或从其他来源找的田间图不参与训练只做最终测试。这一步经常翻车验证集 96%田间图掉到 70% 多。原因通常是背景差异——实验室图背景是纯色或白纸田间图背景是土壤、茎秆、其他叶片模型把背景当成了判别特征。解决办法有两个一是训练时加入背景随机的增强比如随机裁剪时多包含一些背景二是收集少量田间图做微调哪怕每类只有几十张也能把田间准确率拉上来十几个点。这一步的投入产出比极高比换更大的模型划算得多。4.3 推理阶段的预处理必须和训练一致很多人训练完导出模型推理时随便用个cv2.resize就喂进去结果精度暴跌。原因是训练用的是RandomResizedCrop 归一化推理如果只做 resize 不做归一化或者归一化参数不对输入分布就变了。推理预处理必须和验证集完全一致resize 到 256、中心裁剪 224、ToTensor、同样的 Normalize。infer_tf transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]), ]) def predict(img_path): model.eval() img Image.open(img_path).convert(RGB) # 必须转 RGB防止灰度图或 RGBA x infer_tf(img).unsqueeze(0).to(device) with torch.no_grad(): prob torch.softmax(model(x), dim1)[0] idx prob.argmax().item() return CLASSES[idx], prob[idx].item()convert(RGB)这行不能省数据集中如果有灰度图或带 alpha 通道的 PNG不转直接喂会报通道数不匹配。unsqueeze(0)是加 batch 维度。返回概率值而不是只返回类别是因为田间场景下你需要一个置信度阈值低于阈值的图应该转人工复核而不是硬给一个可能错的结论。5. 避坑与排查那些让准确率凭空掉十个点的细节5.1 现象训练 loss 正常下降验证准确率一直 25% 左右原因4 分类随机猜是 25%这说明模型什么都没学到。最常见的原因是标签和图像没对齐——ImageFolder按文件夹名排序生成类别索引但你的CLASSES列表顺序和它不一致导致训练时标签是错的。另一个可能是归一化用了错误的均值方差输入分布完全偏离预训练权重的预期。解决打印train_ds.class_to_idx和你代码里的class_to_idx逐项对比不一致就以ImageFolder的为准或者重命名文件夹强制统一。归一化参数确认用的是 ImageNet 的[0.485,0.456,0.406]。5.2 现象验证准确率比训练准确率还高原因这通常不是好事而是数据泄漏或验证集太简单。如果切分时同一片叶子的不同图块被分到了训练和验证两边验证集里全是训练时见过的叶子准确率自然虚高。另一种可能是验证集样本太少几百张里恰好多数是容易分的健康叶片。解决切分时按叶片 ID 或原图 ID 分组确保同一来源的图只进一个集合。验证集每类至少留 200 张以上否则指标波动太大没有参考意义。5.3 现象训练到一半报 CUDA out of memory原因batch_size太大或者num_workers开太多导致内存泄漏也可能是验证阶段忘了torch.no_grad()验证图的梯度把显存吃满。解决先把batch_size减半num_workers设成 CPU 核数的一半。验证和推理代码检查是否包在torch.no_grad()里。如果还不行用torch.cuda.empty_cache()在每个 epoch 结束时清一次缓存。5.4 现象模型对健康叶片识别很准对病害叶片经常混淆原因病害类之间的视觉差异比健康 vs 病害小得多而且不同病害在早期阶段病斑形态接近。如果训练集里病害样本偏少或偏单一比如全是典型症状图没有早期图模型学不到早期特征。解决检查每类样本量和症状阶段分布补充早期病斑样本。损失函数可以换成带类别权重的CrossEntropyLoss(weight...)给样本少的类更高权重。也可以在增强里加入更强的随机裁剪强迫模型关注局部病斑而不是整叶轮廓。5.5 现象换了台机器推理结果和训练时对不上原因推理时的预处理和训练时不一致最常见的是 resize 的插值方法不同PIL 默认 bicubicOpenCV 默认 bilinear或者归一化顺序反了先归一化再 ToTensor 和先 ToTensor 再归一化结果不同。解决把预处理封装成一个函数训练、验证、推理三处调用同一个函数不要各写各的。插值方法统一用transforms.Resize的默认值不要混用 OpenCV。6. 把 4 分类模型推到能用置信度阈值与增量迭代模型训到 95% 验证准确率只是起点真正让它能在种植场景里用起来还得解决「模型不确定时怎么办」。我的做法是在推理端加一个置信度阈值比如 0.7低于这个值的图不直接给结论而是标记为「待复核」推给人工或更高精度的模型二次判断。这个机制在田间特别重要因为逆光、模糊、水珠遮挡的图模型给出的高置信度往往是错的强行输出会误导使用者。THRESHOLD 0.7 def predict_with_review(img_path): cls, prob predict(img_path) if prob THRESHOLD: return 待复核, prob return cls, prob阈值怎么定不是拍脑袋而是在验证集上画一条 precision-recall 曲线看你在「漏检」和「误报」之间愿意接受什么平衡。农业场景里漏检一个晚疫病的代价远大于误报所以阈值可以设低一点宁可多转几个人工复核。另一个让模型持续变好的习惯是增量迭代每次田间复核的结果不管是人工确认对的还是改过的都存下来攒到每类几百张就做一次微调。这样模型会慢慢适应你所在地区的品种、光照和病害亚型比一次性用公开数据集训完就冻结强得多。我自己的经验是第一版模型田间准确率 70% 多迭代三轮之后能到 90% 以上靠的不是换模型是持续喂真实场景的错例。最后说一个我踩过的坑不要为了刷高验证准确率去反复调测试集。测试集只能用一次用多了它就不再是测试集而是变成了另一个验证集你对模型真实水平的判断就失真了。把精力放在数据质量和田间错例上比调参的回报高得多。希望帮到你。本文还有配套的精品资源点击获取