水稻害虫检测这个方向我断断续续做了差不多两年。最早是用传统图像处理加SVM硬扛后来换成Faster R-CNN再到YOLOv5、YOLOv8一路踩坑一路改。这次把整套基于YOLOv8的水稻害虫检测与识别系统重新梳理了一遍包含数据集的构建、训练代码、PyQt5可视化界面做成了一个相对完整的工程。它解决的核心问题很直接把田间拍到的水稻害虫照片丢进去系统自己框出虫子位置并告诉你这是稻飞虱还是二化螟不用再靠肉眼比对图鉴。适合正在做目标检测课程设计、毕业设计或者想把深度学习落到农业场景里的朋友参考也适合有一点Python基础、想跑通第一个完整检测项目的新手。下面我把这套系统从思路到实现掰开揉碎讲一遍。1. 项目整体设计与技术选型思路1.1 水稻害虫检测的真实难点在哪很多人以为目标检测就是调个模型跑跑数据真到农业场景里会发现完全不是一回事。水稻害虫这个任务有三座大山。第一座是目标尺度差异极大稻飞虱体长只有2到3毫米二化螟成虫翅展能到20毫米以上同一个画面里既有几个像素的小点也有占满画面的目标。第二座是背景干扰严重稻田里的稻叶纹理、叶脉走向、水滴反光、枯黄病斑长得都跟虫体有几分相似模型很容易把叶尖误判成虫子。第三座是样本不平衡田间稻飞虱数量动辄成百上千而像稻苞虫这类偶发害虫可能一整季都拍不到几张直接训练的话模型会严重偏向多数类。做检测系统之前必须先想清楚这些约束。我的做法是在数据层面做重采样在模型层面调锚框和输入分辨率在推理层面加切片检测。这些后面会逐个展开。先记住一句话农业害虫检测的瓶颈从来不在模型结构而在数据和场景的匹配度。1.2 为什么最终选了YOLOv8选型阶段我把几个主流方案都过了一遍。两阶段检测器比如Faster R-CNN精度确实稳但推理速度在普通显卡上跑一张640×640的图要80毫秒往上做实时预览界面会明显卡顿。SSD在小目标上召回率太差稻飞虱基本检不出来。YOLOv5成熟稳定社区资料多但它的正负样本分配策略还是静态的在小目标密集的场景下容易出现漏检。YOLOv8最吸引我的有几点。一是Anchor-Free的解耦头设计分类和回归分支分开省去了手工设计锚框的麻烦对尺度差异大的害虫类别更友好。二是TaskAlignedAssigner动态分配正样本它会根据分类得分和回归质量的联合指标来选正样本小目标也能分到足够多的正样本。三是工程化程度高Ultralytics这一套API把训练、验证、导出、推理全串起来了改配置就能跑省下大量造轮子的时间。四是部署友好导出ONNX、TensorRT、OpenVINO都很顺方便后续上边缘设备。方案小目标召回推理速度上手难度部署生态Faster R-CNN较好慢中一般SSD差快中一般YOLOv5中快低好YOLOv8好快低很好提示如果你的害虫目标普遍小于32×32像素单纯换模型作用有限优先考虑提升输入分辨率或者加P2小目标检测层。1.3 系统整体架构拆解整套系统我分成了四个层次。数据层负责图片采集、清洗、标注和数据增强产出符合YOLO格式的数据集。训练层基于Ultralytics框架通过一个yaml配置文件和训练脚本完成模型训练、验证和权重保存。推理层把训练好的权重封装成可复用的检测接口支持单图和批量推理。交互层用PyQt5搭界面用户选图片、点按钮、看结果、导出报告全程不需要碰命令行。这样分层的好处是每一层都能独立替换。比如你后面想换成RT-DETR只要保持推理层接口不变界面代码一行都不用改。我在实际项目里吃过耦合太紧的亏模型一换整个界面跟着重写非常痛苦所以这次从一开始就把接口定死了。2. 数据集从零到能用2.1 类别定义与采集策略数据集这部分是整个项目里最耗时间、也最决定上限的环节。我最终定义了15个常见水稻害虫类别包括稻飞虱、稻纵卷叶螟、二化螟、三化螟、稻蓟马、稻蝗、稻象甲、稻螟蛉、大螟、稻苞虫、稻眼蝶、负泥虫、稻潜叶蝇、稻瘿蚊、黏虫。类别不是越多越好超过20类之后标注成本会指数级上升而且稀有类的样本质量很难保证反而拖累整体指标。采集上我走的是三条线并行。一是公开数据集补充IP102这个害虫数据集里有大量水稻相关类别可以直接筛选使用但要注意它的标注是分类标签不是检测框需要重新标注或者用弱监督方式处理。二是田间实拍用手机和单反在不同光照、不同生育期、不同角度下拍摄尽量覆盖真实使用环境。三是网络爬取加人工筛选这条线质量最难把控必须人工过一遍把明显不符的删掉。采集时有个经验值得分享同一张图里尽量包含多个类别和目标这样能提升模型对类别边界的判别能力。如果每个类别都单独拍模型容易学到背景特征而不是虫体特征。我早期的数据集就是这么翻车的测试时换个背景准确率直接掉一大截。2.2 标注规范与常见坑标注工具我用的是LabelImg简单够用。导出成YOLO格式的txt文件每行格式是类别编号 中心x 中心y 宽 高后面四个值都是相对图片宽高的归一化数值范围0到1。这里有个新手经常搞错的点不是左上角坐标加宽高而是中心点坐标加宽高两者算错了训练时loss会一直降不下来。标注规范上我定了几条硬规则。第一只标完整可见或大部分可见的目标遮挡超过70%的不标避免引入噪声。第二密集小目标不要漏标稻飞虱经常几十只聚在一起漏标会被当成负样本导致模型学不会。第三框要贴紧虫体轮廓不要留大片空白框太大时模型回归会飘。第四类别混淆要及时记录比如二化螟和三化螟成虫长得极像标注时拿不准就单独记下来后期统一处理。# YOLO标注文件示例 labels/xxx.txt # 格式: class_id center_x center_y width height 均为归一化值 6 0.4521 0.3378 0.0312 0.0456 6 0.5103 0.4012 0.0287 0.0421 11 0.7234 0.6123 0.1456 0.1789注意标注完成后一定要写脚本校验一遍检查是否有坐标越界小于0或大于1、是否有宽高为0的空框、是否有类别编号超出nc范围的错误行。这一步能筛掉80%的低级错误。2.3 数据增强与数据集划分数据增强我分成了离线增强和在线增强两部分。离线增强主要针对稀有类别用旋转、翻转、亮度调整、加噪声等方式把样本量补到300张左右缓解类别不平衡。在线增强交给YOLOv8训练时的内置策略主要开了HSV色彩抖动、随机平移、随机缩放、左右翻转和Mosaic拼接。Mosaic是YOLO系列的一个大杀器它把四张图拼成一张训练能让模型一次看到更多上下文对小目标特别有效。但它也有副作用训练后期Mosaic会干扰真实分布所以YOLOv8默认在最后10个epoch自动关闭Mosaic这个细节很多人不知道。数据集划分按训练集70%、验证集20%、测试集10%来切。划分时有个坑必须按场景切分而不是随机切分。如果同一株水稻拍的多张照片被随机分到训练和验证两边验证指标会虚高因为模型见过几乎一样的图。我一般按拍摄时间或拍摄地块来切保证训练集和验证集的背景分布有差异这样测出来的指标才是真实泛化能力。目录结构统一长这样datasets/rice_pest/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── rice_pest.yaml3. YOLOv8模型训练全流程拆解3.1 环境搭建与依赖安装环境这块我建议用conda单独建一个虚拟环境避免和系统里的包打架。Python版本选3.9或3.10太新的版本有些依赖包还没适配。PyTorch要根据你的显卡驱动版本选对应的CUDA版本这一步选错了后面全是坑。# 创建虚拟环境 conda create -n rice_pest python3.10 -y conda activate rice_pest # 安装PyTorch以CUDA 11.8为例具体版本按显卡驱动来 pip install torch2.0.1 torchvision0.15.2 --index-url https://download.pytorch.org/whl/cu118 # 安装Ultralytics pip install ultralytics # 界面相关依赖 pip install pyqt5 opencv-python numpy pandas装完之后一定要验证GPU能不能用import torch print(torch.cuda.is_available()) # 应该是 True print(torch.cuda.get_device_name(0)) # 打印显卡型号如果这里返回False先别急着训模型八成是CUDA和PyTorch版本对不上或者驱动太旧。GTX 1660Ti这类6G显存的卡跑YOLOv8n完全够用但batch size要适当调小后面会讲怎么算。3.2 配置文件与训练参数的计算逻辑数据集配置文件是训练的入口格式很简单但每个字段都不能错# rice_pest.yaml path: /home/user/datasets/rice_pest train: images/train val: images/val test: images/test nc: 15 names: 0: 稻飞虱 1: 稻纵卷叶螟 2: 二化螟 3: 三化螟 4: 稻蓟马 5: 稻蝗 6: 稻象甲 7: 稻螟蛉 8: 大螟 9: 稻苞虫 10: 稻眼蝶 11: 负泥虫 12: 稻潜叶蝇 13: 稻瘿蚊 14: 黏虫训练脚本我一般写成独立的Python文件方便加回调和自定义逻辑from ultralytics import YOLO if __name__ __main__: model YOLO(yolov8s.pt) # 从预训练权重开始比从头训快很多 results model.train( datarice_pest.yaml, epochs200, imgsz640, batch16, device0, workers8, optimizerSGD, lr00.01, lrf0.01, momentum0.937, weight_decay0.0005, warmup_epochs3.0, box7.5, cls0.5, dfl1.5, hsv_h0.015, hsv_s0.7, hsv_v0.4, degrees0.0, translate0.1, scale0.5, fliplr0.5, mosaic1.0, mixup0.0, patience50, projectruns/rice_pest, nameexp1, pretrainedTrue, cacheTrue, )这里几个关键参数值得解释一下为什么这么设。学习率lr00.01配SGD是YOLO系列的经典组合SGD收敛曲线虽然抖动大但最终泛化往往比Adam好。lrf0.01是最终学习率因子意思是学习率从0.01余弦衰减到0.0001前期快速下降后期精调。warmup_epochs3让学习率从很小的值慢慢爬升避免一开始梯度过大把预训练权重带崩。box7.5、cls0.5、dfl1.5是三个loss的权重分类loss权重最低因为分类相对容易回归才是小目标的难点。batch size的估算有个粗略公式**batch ≈ 显存GB × 8 / 模型参数量百万**的近似经验。YOLOv8s参数约11M6G显存大概能跑batch 16如果是YOLOv8n3.2M可以跑batch 32。显存不够就往下调调到不报OOM为止。实在跑不动可以把imgsz降到512但小目标检出率会掉要权衡。3.3 训练监控与损失曲线解读训练启动后控制台会打印每个epoch的指标同时runs目录下会生成results.csv和一堆曲线图。很多人只看最后的mAP其实训练过程中的三条loss曲线才是诊断问题的关键。box_loss是边界框回归损失正常应该是平滑下降然后趋于平稳。如果它一直震荡不降多半是学习率太大或者标注框质量差。cls_loss是分类损失它应该下降最快如果cls_loss居高不下往往是类别不平衡或者存在标注错类。dfl_loss是分布焦点损失YOLOv8特有的它下降缓慢是正常的不用太担心。判断过拟合的方法很简单看训练loss和验证loss的走势是否分叉。如果训练loss还在降而验证loss开始往上走说明过拟合了这时候early stoppingpatience50会自动介入停止训练。如果两者同步下降但都没收敛说明训练还不够可以加epoch。画损失曲线的脚本我自己写过一个读results.csv直接画import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/rice_pest/exp1/results.csv) df.columns df.columns.str.strip() fig, axes plt.subplots(1, 3, figsize(18, 5)) axes[0].plot(df[epoch], df[train/box_loss], labeltrain) axes[0].plot(df[epoch], df[val/box_loss], labelval) axes[0].set_title(Box Loss) axes[0].legend() axes[1].plot(df[epoch], df[train/cls_loss], labeltrain) axes[1].plot(df[epoch], df[val/cls_loss], labelval) axes[1].set_title(Cls Loss) axes[1].legend() axes[2].plot(df[epoch], df[metrics/mAP50(B)], labelmAP50) axes[2].plot(df[epoch], df[metrics/mAP50-95(B)], labelmAP50-95) axes[2].set_title(mAP) axes[2].legend() plt.tight_layout() plt.savefig(loss_curve.png, dpi150)3.4 评估指标解读与调优方向模型训完之后会在验证集上输出一整套指标重点看四个Precision查准率、Recall查全率、mAP50、mAP50-95。农业检测场景里我更看重Recall因为漏检一只害虫可能就意味着错过防治窗口而误检一两个假目标后续可以人工复核。mAP50是IoU阈值0.5时的平均精度这个值能到0.85以上就算不错了。mAP50-95是IoU从0.5到0.95每隔0.05取一次再平均对定位精度要求更高一般会比mAP50低10到20个点。如果这两个值差距特别大说明框的位置不够准可以检查标注质量或者尝试提升分辨率。调优我按优先级排了个顺序先看数据再看增强最后调超参。数据层面检查有没有标错、漏标、类别不平衡增强层面针对小目标加强Mosaic和scale超参层面最后才动学习率和loss权重。上来就调超参是最低效的做法我早期也这么干过浪费了大量时间。4. PyQt5界面开发把模型包装成能用的工具4.1 界面结构设计思路界面我按功能分成了三个区。左侧是操作区放图片选择、文件夹批量导入、开始检测、导出结果这几个按钮。中间是显示区用QLabel展示原图或检测后的结果图可以切换。右侧是结果区用QTableWidget列出检测到的每个目标包括类别、置信度、坐标框信息。这种左右中三栏布局的好处是信息密度高用户一眼能看到全部关键内容。用QHBoxLayout套两个QVBoxLayout就能实现配合QSS调一下样式看起来不会太丑。from PyQt5.QtWidgets import (QApplication, QMainWindow, QWidget, QHBoxLayout, QVBoxLayout, QPushButton, QLabel, QTableWidget, QTableWidgetItem, QFileDialog, QMessageBox) from PyQt5.QtGui import QPixmap, QImage from PyQt5.QtCore import Qt, QThread, pyqtSignal import cv2 import numpy as np class DetectThread(QThread): finished_signal pyqtSignal(object, list) def __init__(self, model, img_path): super().__init__() self.model model self.img_path img_path def run(self): # 处理中文路径的经典写法cv2.imread不吃中文路径 img cv2.imdecode(np.fromfile(self.img_path, dtypenp.uint8), cv2.IMREAD_COLOR) results self.model(img, conf0.25, iou0.45) annotated results[0].plot() detections [] for box in results[0].boxes: cls_id int(box.cls[0]) conf float(box.conf[0]) xyxy box.xyxy[0].tolist() detections.append({ cls: results[0].names[cls_id], conf: conf, xyxy: xyxy }) self.finished_signal.emit(annotated, detections)4.2 多线程推理解决界面卡顿新手做PyQt5界面最容易犯的错误就是把推理直接写按钮的槽函数里。这样做的后果是点一下检测整个界面直接冻结因为推理是耗时操作把主线程堵死了窗口无法响应任何事件Windows上还会显示“无响应”。正确做法是把推理放到QThread里跑通过信号槽把结果传回主线程更新界面。上面代码里的DetectThread就干这个事finished_signal带两个参数一个是画好框的图一个是检测结果列表。主线程收到信号再去更新QLabel和表格。def on_detect_clicked(self): if not self.current_img_path: QMessageBox.warning(self, 提示, 请先选择一张图片) return self.btn_detect.setEnabled(False) self.status_label.setText(检测中...) self.thread DetectThread(self.model, self.current_img_path) self.thread.finished_signal.connect(self.on_detect_finished) self.thread.start() def on_detect_finished(self, annotated, detections): # BGR转RGB再转QImage rgb cv2.cvtColor(annotated, cv2.COLOR_BGR2RGB) h, w, ch rgb.shape qimg QImage(rgb.data, w, h, ch * w, QImage.Format_RGB888) self.img_label.setPixmap(QPixmap.fromImage(qimg).scaled( self.img_label.size(), Qt.KeepAspectRatio, Qt.SmoothTransformation)) self.table.setRowCount(len(detections)) for i, det in enumerate(detections): self.table.setItem(i, 0, QTableWidgetItem(det[cls])) self.table.setItem(i, 1, QTableWidgetItem(f{det[conf]:.3f})) self.table.setItem(i, 2, QTableWidgetItem( f({det[xyxy][0]:.0f},{det[xyxy][1]:.0f},{det[xyxy][2]:.0f},{det[xyxy][3]:.0f}))) self.btn_detect.setEnabled(True) self.status_label.setText(f检测完成共 {len(detections)} 个目标)注意QImage构造时传入的numpy数组必须保持引用否则可能因为内存被回收导致图像显示异常。稳妥做法是加一句qimg qimg.copy()。4.3 结果可视化与导出检测结果的可视化我做了两层。图上画框直接用results[0].plot()它会自动给每个类别分配不同颜色并标注类别名和置信度开箱即用。图下表把每个目标的结构化信息列出来方便用户精确查看和排序。导出功能支持三种格式导出带框的图片、导出检测结果的CSV表格、导出包含统计信息的文本报告。CSV用pandas写两行代码就行报告里我会统计每个类别检出的数量和平均置信度这个对植保人员判断虫情严重程度很有用。批量处理时要在循环里不断更新进度条每个文件处理完发一个信号刷新UI让用户知道还在跑。批量任务一定要做好异常捕获遇到损坏的图片文件不能直接崩掉要跳过并记录到日志里。5. 部署与推理性能优化实战5.1 不同硬件下的实测表现我把同一套YOLOv8s权重输入640×640在不同硬件上跑了一轮结果差别挺大。GTX 1660Ti单张推理约12毫秒折算下来80FPS左右做实时预览完全够。纯CPU环境用的是i7-12700单张要120毫秒以上勉强能处理单张图片实时视频就别想了。如果用YOLOv8nCPU上能压到60毫秒左右牺牲一点精度换速度。硬件模型单张耗时显存占用适用场景GTX 1660Ti 6GYOLOv8s~12ms~2.5G实时检测、批量处理GTX 1660Ti 6GYOLOv8n~7ms~1.8G高帧率实时i7-12700 CPUYOLOv8n~60ms无单张图片检测i7-12700 CPUYOLOv8s~120ms无勉强可用提示CPU推理慢不一定是模型的问题检查一下PyTorch是不是装成了GPU版本但没检测到卡这种情况会自动回退到CPU跑速度天差地别。5.2 模型导出与加速想把推理速度再提一截导出成TensorRT是最直接的办法一般能比原生PyTorch快1.5到2倍。导出命令很简单from ultralytics import YOLO model YOLO(runs/rice_pest/exp1/weights/best.pt) # 导出ONNX通用性最好 model.export(formatonnx, imgsz640, opset12, simplifyTrue) # 导出TensorRT速度最快但依赖环境 model.export(formatengine, imgsz640, halfTrue, device0)导出TensorRT有几个注意点。halfTrue开启FP16能提速但可能损失一点点精度害虫检测这种对精度敏感的任务建议先验证再上。TensorRT引擎和硬件、驱动强绑定换了显卡就得重新导出不能跨机器直接拷贝。ONNX虽然慢一点但胜在通用作为兜底方案很合适。5.3 小目标检测的专属优化稻飞虱这类小目标是这套系统最大的痛点我试了几种优化手段效果从高到低排一下。提升输入分辨率最有效把imgsz从640提到960小目标召回率能提升8到12个百分点代价是推理慢一倍多、显存翻倍。加P2检测层针对32像素以下的目标效果明显但会显著增加参数量和显存占用。**切片推理SAHI**把大图切成小块分别检测再合并对小目标提升很大代价是推理时间成倍增加适合离线处理不适合实时。我的折中方案是训练用960分辨率保证模型学到小目标特征推理时如果是单张图片就用960如果是视频流就降回640并只关注置信度高的目标。这样既兼顾了准确率又保证了速度。# 推理时动态调整分辨率 def smart_infer(model, img, modeimage): imgsz 960 if mode image else 640 conf 0.2 if mode image else 0.35 return model(img, imgszimgsz, confconf, iou0.45, verboseFalse)6. 常见问题排查与避坑实录6.1 高频问题速查表实际跑这套系统时遇到的问题五花八门我把最高频的整理成表遇到问题先对号入座。现象可能原因解决办法界面完全不显示OpenGL渲染冲突设置QApplication.setAttribute(Qt.AA_UseSoftwareOpenGL)中文路径图片读不进cv2.imread不支持中文用np.fromfilecv2.imdecode点了按钮界面卡死推理写在主线程改用QThread子线程训练loss不下降学习率太大或标注错误检查标注、降低lr0到0.001mAP始终上不去类别不平衡或漏标重采样复核标注显存OOMbatch或imgsz太大降batch到8或imgsz到512检测框偏移标注框不贴合重新标注框贴紧目标导出ONNX失败opset版本不匹配指定opset12其中OpenGL导致界面无显示这个坑最隐蔽。有些机器的显卡驱动和PyQt5的默认OpenGL渲染不兼容程序能启动但窗口一片空白或者直接闪退。解决办法是在创建QApplication之前强制用软件渲染from PyQt5.QtCore import Qt from PyQt5.QtWidgets import QApplication QApplication.setAttribute(Qt.AA_UseSoftwareOpenGL) app QApplication([])这个设置会让界面渲染走CPU性能略有下降但兼容性拉满做交付工具时我一般默认加上省得用户环境不一各种报错。6.2 实操心得与避坑清单跑通这套系统之后我攒了几条不怎么写在文档里但特别有用的经验。第一别迷信mAP。验证集里的mAP再高换个地块拍照可能就拉胯一定要用自己的真实场景数据做一轮测试这才是最终验收标准。第二类别数量要克制。15类已经是比较激进的选择了如果样本量不够宁可合并相近类别比如把二化螟和三化螟合成一类比强行分成两类效果更好。第三置信度阈值要按场景调。田间巡检宁可多报不可漏报conf调到0.2如果做虫情统计报表conf调到0.4减少误报。这个阈值不是固定值要根据业务需求灵活设定。第四模型加载要放到启动时异步做。模型加载本身要一两秒如果放在每次点击检测时加载用户会明显感觉到卡顿正确做法是程序启动时开个线程预加载用户点检测时直接用。第五数据集的长期积累比一次性建好更重要。这套系统上线后我每周都会把新的实拍图加入数据集重训一次模型会越来越适应本地场景。深度学习项目从来不是一锤子买卖持续迭代才是保持效果的关键。最后分享一个调试小技巧如果在界面上检测结果和直接跑脚本的结果不一致八成是图像通道搞乱了。OpenCV读进来是BGRQt显示需要RGB中间少转一次颜色就会导致检测框错位或颜色怪异。遇到这种问题先用一张纯色图测一下显示链路能快速定位是显示的问题还是模型的问题。