简介这份蚜虫与黏虫目标检测数据集面向农业AI开发者、智慧农业设备厂商及农业院校师生用于构建田间害虫智能识别模型解决蚜虫、黏虫早期监测与精准施药问题。资源共950张农业监控图像按830张训练集与120张测试集划分标注采用YOLO格式含边界框坐标与类别标签可直接用于YOLOv5/v8等主流框架训练。压缩包内共1902个文件以950个jpg图像与950个txt标注文件为主另附1个yaml数据配置和1份docx说明文档整体约45.57MB目录结构清晰便于快速接入训练流程。目前已有221人学习下载。数据覆盖多角度田间实景聚焦两类关键害虫样本量适中兼顾训练效率与模型泛化能力适合中小型农业AI项目快速部署也可作为教学与科研的实训素材帮助读者完成从数据加载到模型验证的完整闭环。1. 蚜虫与黏虫目标检测数据集从拿到压缩包到跑通第一条训练命令农业场景下的虫情测报最头疼的不是模型选型而是数据。蚜虫和黏虫是两类典型害虫蚜虫体型极小、密集群聚黏虫个体稍大但体色与叶片背景高度接近。你手里如果有一个「蚜虫与黏虫目标检测数据集.zip」它解决的正是从零标注这批数据的成本问题——省掉几千张图的框选工时直接进入模型训练和调参环节。这个方向适合做智慧农业、植保无人机巡检、田间虫情监测的工程师也适合想拿真实小目标场景练手目标检测的学生。但拿到压缩包只是起点真正决定成败的是类别映射对不对、小目标增强够不够、验证集划分有没有泄漏。下面按我实际处理这类农业数据集的顺序把每一步拆开讲。2. 解压之后先别急着训练蚜虫与黏虫数据集的目录结构与标注格式核对2.1 先看清压缩包里到底有什么拿到一个目标检测数据集压缩包第一件事不是写训练脚本而是把目录结构打印出来。农业数据集常见的组织方式有两种一种是已经切分好train/val/test的 YOLO 格式另一种是原始图片加一个annotations.json或annotations.xml。蚜虫与黏虫这类数据因为标注对象小、数量多很多来源会用 COCO 格式存标注再让你自己转 YOLO。先跑一条命令看清楚# 查看压缩包内文件列表不直接解压先判断结构 unzip -l 蚜虫与黏虫目标检测数据集.zip | head -50 # 解压到独立目录避免污染当前工作区 mkdir -p datasets/aphid_armyworm unzip 蚜虫与黏虫目标检测数据集.zip -d datasets/aphid_armyworm # 统计图片数量和标注文件数量 find datasets/aphid_armyworm -name *.jpg -o -name *.png | wc -l find datasets/aphid_armyworm -name *.txt -o -name *.json -o -name *.xml | wc -l逻辑说明unzip -l先看清单能判断是「图片txt」还是「图片json」。图片数和标注文件数如果不一致说明有图没标或标了没图后面必须处理。参数上-d指定解压目录建议单独放因为这类数据集动辄几千张图混在工作目录里后期清理很痛苦。2.2 标注格式判断与类别映射如果解压出来是images/加labels/且labels里是.txt那基本是 YOLO 格式每行class_id x_center y_center width height坐标是归一化值。如果是annotations.json那就是 COCO 格式需要转。先确认类别名和类别数import json, os from pathlib import Path root Path(datasets/aphid_armyworm) # 情况一COCO json json_files list(root.rglob(*.json)) if json_files: with open(json_files[0], r, encodingutf-8) as f: data json.load(f) print(类别列表:, data.get(categories)) print(图片数:, len(data.get(images, []))) print(标注数:, len(data.get(annotations, []))) # 情况二YOLO txt统计类别分布 label_dir root / labels if label_dir.exists(): from collections import Counter counter Counter() for txt in label_dir.rglob(*.txt): for line in txt.read_text().strip().splitlines(): if line: counter[line.split()[0]] 1 print(类别ID分布:, counter)逻辑说明COCO 的categories里id不一定从 0 连续YOLO 要求class_id从 0 开始连续。如果 COCO 里蚜虫是 1、黏虫是 3直接转 YOLO 会出现类别空洞训练时nc设错就会报维度不匹配。参数上nc必须等于实际类别数names顺序要和转换后的class_id一一对应。这一步偷懒后面 loss 不降你都不知道为什么。3. 把蚜虫与黏虫数据集转成 YOLO 可训练格式脚本、划分与两个必查项3.1 COCO 转 YOLO 的完整脚本如果确认是 COCO 格式用下面这个脚本转。核心是把bbox [x_min, y_min, w, h]转成归一化的x_center, y_center, w, h同时建立连续的类别映射。import json from pathlib import Path from PIL import Image def coco_to_yolo(json_path, image_root, out_label_dir, class_map): json_path: COCO标注文件 image_root: 图片所在目录 out_label_dir: 输出YOLO标签目录 class_map: {原始category_id: 连续class_id} out_label_dir Path(out_label_dir) out_label_dir.mkdir(parentsTrue, exist_okTrue) with open(json_path, r, encodingutf-8) as f: data json.load(f) # 建立 image_id - 图片信息 的索引 img_info {img[id]: img for img in data[images]} # 按图片聚合标注 from collections import defaultdict img_anns defaultdict(list) for ann in data[annotations]: img_anns[ann[image_id]].append(ann) for img_id, anns in img_anns.items(): info img_info[img_id] w, h info[width], info[height] # 用图片文件名去扩展名作为标签文件名 stem Path(info[file_name]).stem lines [] for ann in anns: x, y, bw, bh ann[bbox] # 过滤掉宽高为0的脏标注 if bw 0 or bh 0: continue xc (x bw / 2) / w yc (y bh / 2) / h nw bw / w nh bh / h cid class_map[ann[category_id]] lines.append(f{cid} {xc:.6f} {yc:.6f} {nw:.6f} {nh:.6f}) if lines: (out_label_dir / f{stem}.txt).write_text(\n.join(lines)) # 假设原始类别蚜虫 id1黏虫 id2 class_map {1: 0, 2: 1} coco_to_yolo( datasets/aphid_armyworm/annotations.json, datasets/aphid_armyworm/images, datasets/aphid_armyworm/labels, class_map )逻辑说明class_map是转换的关键必须手动确认原始category_id到连续class_id的对应关系。代码里过滤了bw0的脏标注农业数据集里这种框很常见不滤掉训练时会出 NaN。坐标保留 6 位小数足够YOLO 读取时精度损失可忽略。3.2 训练集验证集划分别让同一片叶子同时出现在两边农业虫情数据有个隐蔽的泄漏风险同一片叶子、同一株作物可能被拍了很多张如果随机按图片划分训练集和验证集里会出现几乎相同的背景验证指标虚高。常见做法是按「拍摄批次」或「地块」划分没有批次信息时至少按图片文件名前缀分组。import random from pathlib import Path import shutil random.seed(42) img_dir Path(datasets/aphid_armyworm/images) lbl_dir Path(datasets/aphid_armyworm/labels) images sorted(img_dir.glob(*.jpg)) sorted(img_dir.glob(*.png)) random.shuffle(images) split int(len(images) * 0.8) train_imgs, val_imgs images[:split], images[split:] for phase, items in [(train, train_imgs), (val, val_imgs)]: (img_dir.parent / phase / images).mkdir(parentsTrue, exist_okTrue) (img_dir.parent / phase / labels).mkdir(parentsTrue, exist_okTrue) for img in items: shutil.copy(img, img_dir.parent / phase / images / img.name) lbl lbl_dir / f{img.stem}.txt if lbl.exists(): shutil.copy(lbl, img_dir.parent / phase / labels / lbl.name)逻辑说明random.seed(42)保证划分可复现。如果数据有批次信息把random.shuffle换成按批次分组再划分。划分后必须检查验证集里每张图是否都有对应标签没有标签的图会被 YOLO 当成纯背景影响评估。3.3 两个必查项类别平衡与最小框尺寸蚜虫和黏虫在数据里数量往往不均衡蚜虫因为群聚单图框数可能远多于黏虫。先统计from collections import Counter from pathlib import Path counter Counter() sizes [] for txt in Path(datasets/aphid_armyworm/train/labels).glob(*.txt): for line in txt.read_text().strip().splitlines(): parts line.split() counter[parts[0]] 1 sizes.append((float(parts[3]), float(parts[4]))) print(类别框数:, counter) print(最小宽高(归一化):, min(s[0] for s in sizes), min(s[1] for s in sizes))如果最小归一化宽高小于 0.01说明目标极小YOLO 默认的imgsz640下这些目标只有几个像素必须提高输入分辨率或做切图增强。类别框数差距超过 5 倍训练时要考虑类别权重或过采样。4. 蚜虫与黏虫目标检测训练参数怎么设小目标场景下的 imgsz、anchor 与增强策略4.1 输入分辨率与 batch 的取舍蚜虫这类小目标imgsz640往往不够。我一般先试imgsz1024显存不够再降到 896 或 768。batch 根据显存调但不要为了大 batch 牺牲分辨率小目标场景下分辨率优先级高于 batch。# 以 YOLOv8 为例的训练命令注意 imgsz 和 batch 的搭配 yolo detect train \ datadatasets/aphid_armyworm/data.yaml \ modelyolov8n.pt \ imgsz1024 \ batch8 \ epochs150 \ patience30 \ lr00.01 \ lrf0.01 \ mosaic1.0 \ scale0.5 \ degrees10.0 \ translate0.1 \ fliplr0.5 \ hsv_h0.015 \ hsv_s0.7 \ hsv_v0.4 \ device0逻辑说明imgsz1024提升小目标召回batch8是 8G 显存下的保守值。mosaic1.0默认开启但小目标密集时 mosaic 可能把目标缩得更小如果发现训练前期 loss 震荡可以降到 0.5。scale0.5控制随机缩放幅度degrees10是田间拍摄角度变化的合理范围。hsv_s0.7增强饱和度扰动应对不同光照下的叶片颜色变化。4.2 data.yaml 的写法与类别名# datasets/aphid_armyworm/data.yaml path: datasets/aphid_armyworm train: train/images val: val/images nc: 2 names: 0: aphid 1: armyworm逻辑说明path是数据集根目录train和val是相对路径。nc必须和转换后的类别数一致names顺序和class_map的值对应。如果这里写错训练能启动但类别全乱验证时 mAP 会异常低。4.3 anchor 与损失函数小目标需要更密的采样YOLOv8 是 anchor-free不需要手动设 anchor但如果你用的是 YOLOv5 或更早版本小目标需要调整 anchor。常见做法是用 k-means 在训练集上重新聚类 anchor# YOLOv5 下用训练集重新聚类 anchor python utils/autoanchor.py --data datasets/aphid_armyworm/data.yaml --img-size 1024逻辑说明autoanchor 会根据你的标注框分布重新计算 anchor 尺寸蚜虫这种小框多聚类出来的 anchor 会明显小于默认 COCO anchor。不重新聚类小目标召回会低一截。YOLOv8 用户跳过这步但要在imgsz上补回来。5. 蚜虫与黏虫检测训练避坑从 loss 不降到验证集虚高的 4 个真实翻车点5.1 现象训练 loss 一直不降mAP 接近 0原因最常见的是data.yaml里nc和实际类别数不一致或者names顺序和标签里的class_id对不上。另一个原因是标签坐标没有归一化YOLO 读到大于 1 的坐标会直接忽略该框。解决先跑一遍标签校验确认每行第一个数是 0 或 1后面四个数都在 0 到 1 之间。再核对data.yaml的nc。如果都没问题把lr0从 0.01 降到 0.001 试一个 epoch看 loss 是否开始动。5.2 现象验证集 mAP 很高但实际推理时漏检严重原因验证集和训练集背景高度相似模型记住了背景而不是目标。农业数据里同一片叶子连拍很常见随机划分必然导致这个问题。解决按拍摄批次或地块重新划分验证集。没有批次信息时至少把同一文件名前缀的图片分到同一侧。划分后重新训练mAP 会降一些但实际推理更可信。5.3 现象训练到一半 loss 突然变 NaN原因标注里有宽高为 0 或负数的脏框或者坐标超出图片范围。COCO 转 YOLO 时如果没过滤这些框会在计算 loss 时产生除零。解决在转换脚本里加过滤bw0 or bh0直接跳过。转换后再用脚本扫一遍所有标签把坐标不在[0,1]范围内的行删掉或修正。5.4 现象蚜虫检测效果好黏虫几乎检不出原因类别不均衡黏虫框数远少于蚜虫模型偏向多数类。另一个原因是黏虫体色和叶片接近特征区分度低。解决先统计两类框数差距大时用cls权重或对黏虫过采样。增强上针对黏虫加hsv_h和hsv_v扰动提升颜色鲁棒性。如果还是不行考虑把黏虫单独训一个二分类模型或者用切图把小目标放大后再检。6. 蚜虫与黏虫检测的进阶技巧用切图推理把漏检率再压一截训练完模型推理阶段还有一个几乎不增加成本但效果明显的技巧切图推理。蚜虫在 1024 分辨率下可能只占 20 个像素直接整图推理容易漏。把图片切成有重叠的小块分别推理再合并小目标像素数翻倍召回明显提升。import cv2 import numpy as np from ultralytics import YOLO def sliced_inference(model, image_path, slice_size640, overlap128, conf0.25): img cv2.imread(image_path) h, w img.shape[:2] step slice_size - overlap boxes [] for y in range(0, h, step): for x in range(0, w, step): x2 min(x slice_size, w) y2 min(y slice_size, h) patch img[y:y2, x:x2] results model(patch, confconf, verboseFalse) for r in results: for box in r.boxes: bx1, by1, bx2, by2 box.xyxy[0].tolist() boxes.append([bx1 x, by1 y, bx2 x, by2 y, box.conf.item(), box.cls.item()]) # 用 NMS 合并重叠框 if not boxes: return [] boxes np.array(boxes) indices cv2.dnn.NMSBoxes( boxes[:, :4].tolist(), boxes[:, 4].tolist(), conf, 0.5 ) return boxes[indices.flatten()] if len(indices) else [] model YOLO(runs/detect/train/weights/best.pt) final_boxes sliced_inference(model, test_field.jpg, slice_size640, overlap128) print(f合并后检测框数: {len(final_boxes)})逻辑说明slice_size640是切块大小overlap128保证边缘目标不被切断。每个切块单独推理后把坐标映射回原图再用 NMS 合并。conf0.25是切图推理的推荐阈值比整图推理略低因为切块后目标更清晰可以适当放宽。这个方法的代价是推理时间增加约 3 到 5 倍但蚜虫这种小目标的召回提升通常值得。参数上overlap不要小于目标最大尺寸否则目标会被切碎。slice_size和训练时的imgsz保持一致效果最好。如果显存允许切图推理时可以把imgsz设成和slice_size一样避免二次缩放。我自己的习惯是训练完先跑整图推理看基线再跑切图推理对比。如果切图后召回提升超过 10 个百分点就说明小目标确实是瓶颈后续标注和增强都要围绕这个方向补。农业虫情检测没有一步到位的方案但把数据格式、划分、参数、推理这四步踩实蚜虫和黏虫的检测效果就不会差到哪去。希望帮到你。本文还有配套的精品资源点击获取