垃圾分类识别这个方向我从最早用传统图像特征HOG加SVM做到后来全面转向YOLOv8改进方案前后迭代了差不多三版才算真正落地。今天这篇文章就把这个“基于深度学习的垃圾分类识别目标检测系统”从数据、模型改进、训练、部署到踩坑的完整过程讲清楚。项目核心是基于YOLOv8做生活垃圾图像识别重点解决小目标漏检和相似类别混淆这两类老大难问题。文章会比较长但每一步都尽量按实操来写参数、命令、改进策略都是我在真实训练中验证过的方案。适合正在做目标检测课题的学生、打算把垃圾分类识别做成产品的团队以及想系统了解YOLOv8改进套路的朋友。1. 项目整体思路拆解垃圾分类识别到底难在哪1.1 这个场景不是简单的“目标检测”问题刚接触垃圾分类识别的人容易把它当成一个常规的通用目标检测任务来处理。其实生活垃圾场景有两个很明显的特殊性导致直接套用预训练模型效果很差。第一个特殊点是目标尺寸跨度极大。摄像头下面一张废纸箱可能铺满大半个画面而一个烟头、一节电池、一片药丸可能只有二三十个像素。YOLOv8默认的检测层是从P3开始的也就是原图缩小到八分之一之后才提取特征小目标的特征在这个尺度下基本被“磨平”了。我一开始用yolov8s默认配置训练烟头这一类别的AP值只有不到20%几乎等于瞎猜。第二个特殊点是类别之间视觉相似度太高。塑料瓶和玻璃瓶、纸盒和牛奶盒、果皮和菜叶颜色和纹理都非常接近。不同城市甚至不同小区的垃圾收集标准还不一样有的地方按“可回收、有害、厨余、其他”四分类有的地方细分到十类以上。这对模型的细粒度特征提取能力提出了很高要求单纯加大模型容量效果有限必须有针对性的结构改进。1.2 为什么基座选YOLOv8而不是其他在做模型选型的时候我把当时主流的几套方案都跑了一遍对比。Faster R-CNN系列虽然精度上限高但推理速度实在感人一张640的图在GTX 1660 Ti上跑一次要200毫秒左右做实时视频流识别完全不现实。SSD的检测头对小目标不友好标注工具里经常出现“地面纸巾没框全”的问题。YOLOv5在训练稳定性上没得说但它用的是Anchor-Based的耦合头对垃圾这种形状不规则的物体适应力差一些。YOLOv8做得比较聪明的地方有三处。第一它全面转向Anchor-Free直接在特征图上预测每个位置的目标中心与宽高不需要预设一堆锚框尺寸对垃圾这种尺度跨度大的目标反而更灵活。第二它把检测头拆成分类和回归两个分支互不干扰这一点在处理“塑料瓶和玻璃瓶长得像”这种细分类别时帮助很大。第三它的C2f结构在Backbone里融合了不同层的特征比V5的C3模块多了梯度流分支信息传递更充分。再加上Ultralytics社区的生态确实做得好配置文件、预训练权重、导出工具链都很完善拿过来改网络结构非常方便。所以最终基座就定了yolov8s和yolov8m两个规格实际训练时以yolov8s为主m版本用于对比验证。1.3 改进方向是怎么定下来的我针对垃圾分类识别的实际需求把改进方向拆成三个维度小目标召回、细粒度分类、骨干网络的信息利用效率。这三个问题对应到网络结构上分别是检测层、注意力机制和特征融合模块。一开始我尝试过很多“论文里很好看”的改进比如把Backbone换成Swin Transformer、引入可变形卷积训练出来的模型参数量暴涨推理速度掉了一半精度提升却不到1个点。后来我把思路收敛回来只做以下几点改动在Neck部分增加一条P2小目标检测层在Backbone的深层特征前引入坐标注意力模块检测头改成轻量化解耦结构损失函数加上难例挖掘机制。每个改动都做了一次消融实验确保有效才保留。这种做法虽然不够“炫”但每一步都能说明白为什么改最终效果也更可控。2. 数据集构建与预处理没有好数据模型再强也白搭2.1 数据集来源与类别体系设计垃圾分类识别的数据集构建是整个项目里最花时间也最容易被低估的环节。我先用公开的垃圾分类数据集TrashNet和华为垃圾分类数据集做了一轮预训练确认基线能跑通再开始自己标注真实场景数据。公开数据集的问题在于场景太“干净”。TrashNet里的图片都是纯色背景、单个物体居中模型在这种数据上表现不错但一放到实际垃圾桶旁、光线杂乱的环境下掉点非常严重。所以我的数据策略是公开数据集负责“打底”自建数据负责“适应真实场景”。在类别体系设计上我建议不要一上来就套“四分法”因为可回收垃圾里有一本书和有一个纸箱模型要学的东西完全不一样。最终我设计了14个类别包括塑料瓶、玻璃瓶、易拉罐、纸板、纸张、果皮、蔬菜叶、剩饭、电池、灯泡、烟头、塑料餐盒、一次性餐具、布料。这样既保留了足够粒度又没把训练难度抬到不可控。2.2 标注规范与数据清洗标注环节我踩过一个很典型的坑前500张图让三个同学分头标结果同一类物体有人框得很紧有人留了大量空白边导致模型训练时回归分支经常抖动。后来我定了三条硬性规范。标注框必须贴着目标可见边缘压住遮挡部分不算无效但必须保证目标主体有超过70%区域在框内。半遮挡目标要标能认出类别就标这样模型在遮挡场景下才有泛化能力。一个目标被另一个目标挡掉大半且人眼看不清类别时不标算难例交给后续负样本处理。数据清洗方面我把裁出来的目标图按类别做了一个“目视审查”。一个人一小时大概能过3000到5000个目标实例重点剔除三类数据严重模糊的、目标占比小于1%且完全看不出纹理的、标注类别明显标错的。这一步很枯燥但对最终精度的贡献不亚于模型改进。我带的一个实习生花了两个周末干完这件事后模型在验证集上的mAP直接涨了3个百分点。2.3 数据增强策略与训练集划分数据增强方面基础操作我都开了包括上下左右翻转、小角度旋转、HSV色调扰动、随机仿射变换和Mosaic。这里要说一下Mosaic的具体坑YOLOv8自带的Mosaic是把四张图拼在一起训练好处是变相增加batch多样性坏处是垃圾目标本身尺寸就小再被四分之一缩放很多目标直接变成了小于10像素的“点”模型根本学不到有效特征。我的做法是把Mosaic保留但在增强参数里把scale和translate的幅度调低一点避免目标缩小得太离谱。另外我加了Random Erase也就是随机擦除图片中的一块区域强迫模型不依赖局部特征做判断。这个操作对“烟头和碎纸屑混淆”这种问题很有效因为模型不能只靠颜色猜类别了。数据划分我用的是7:2:1的比例训练集、验证集、测试集。这里特别提醒一句划分时一定要按视频片段或场景分组不能随机打乱图片。否则同一个垃圾桶、同一次连续拍摄中非常相似的帧会同时出现在训练集和测试集里测试结果虚高得厉害。第一版我就犯了这个错误测试mAP到0.93实际现场跑只有0.7出头。3. 基于YOLOv8的改进方案设计与实现3.1 先看清YOLOv8的网络结构再动手很多朋友拿到YOLOv8第一件事就是去改代码改了半天不知道自己动的东西在整个网络里是什么角色。我的建议是先把网络结构图吃透Ultralytics仓库里通过model.yaml就能看到整体结构配合Netron可视化一下基本能搞清楚每个模块在干什么。YOLOv8整体分三段。Backbone负责从原始图像提取特征主干是Conv加C2f结构C2f可以理解成增强版的残差模块把输入特征拆成两条路一条直通另一条经过多个Bottleneck最后拼接在一起优点是梯度和特征都能在深层和浅层之间更充分地流动。Neck部分用FPN和PAN的组合把高层语义信息传到浅层同时把浅层位置信息传回深层让每一层检测头都能拿到“既懂内容又懂位置”的特征。Head部分就是解耦检测头分类分支输出目标类别概率回归分支输出边界框坐标两边的通道是分开的。我在动手之前先把配置文件里每个module的输入输出通道数写了一遍确保后续改动特征图尺寸不会对不上。这个习惯帮我省了很多调试时间。3.2 引入坐标注意力让模型“懂得找位置”垃圾分类场景里目标位置往往和类别有隐含关联。电池这种小物件大概率在垃圾堆表面或者散落在地面而餐盒往往是堆叠的。普通的通道注意力机制例如SE模块只关注“哪些通道重要”不关心“目标在哪个位置”对空间位置敏感的垃圾检测帮助有限。我最终选择在Backbone最后一层输出之前插入Coordinate Attention。这个模块的思路很简单把传统SE里的全局平均池化分解成水平和垂直两个方向的一维池化分别提取行方向和列方向的依赖关系再把两个方向的特征拼接、卷积、归一化最后生成注意力权重。这样模型在关注“什么类别”的同时也能知道“大致在哪一行、哪一列”。实测下来加了CA模块之后烟头和小纸屑这两类的召回率各涨了约2个百分点而且推理速度几乎没受影响参数量增加可以接受。需要注意的是CA模块的插入位置很讲究。我试过插在Backbone中间效果不明显插在最后一层输出的C2f之前效果最好。原因也好理解深层特征图空间分辨率低注意力机制能“指点”的区域更明确更有利于把高频特征和位置信息结合起来。3.3 针对小目标增加P2检测层小目标是垃圾分类场景的头号敌人P2检测层是应对这个问题最直接的手段。YOLOv8默认的输出特征图三条尺度分别是原图的八分之一、十六分之一、三十二分之一。P2层把最低层特征图的分辨率提升到原图的四分之一也就是让模型在一个更“大”的图上做检测每个目标占用的像素更多特征信息更完整。实现P2层需要在Neck部分增加相应的上采样节点把原图四分之一分辨率的Backbone浅层特征直接引入FPN金字塔。我这里补充一句增加P2层后训练速度会明显变慢因为浅层特征图尺寸大计算量成倍上涨。我的做法是只对包含小目标类别含量高的数据集开启P2非小目标类别的场景跑默认配置两者做成可配置项切换非常方便。3.4 检测头与损失函数的细节改进检测头方面YOLOv8的Decoupled Head本身已经不错我做的是轻量化改造把分类分支中的卷积结构调整为分组卷积加逐点卷积的组合参数量下降约15%精度基本持平。这个改动主要为了让最终模型更容易部署到边缘设备上毕竟垃圾分类识别在不少场景里要跑在嵌入式设备上。损失函数这里有一个很值得说的经验。YOLOv8默认用的是BCEWithLogitsLoss做分类损失CIoU做回归损失在绝大多任务上没问题但我发现两个具体问题。一个是垃圾桶背后场景复杂困难负样本很多模型容易把背景误判成垃圾另一个是烟头和碎纸屑这种高频混淆对默认的交叉熵损失对它们的梯度激励不足。我采用的方案是给分类损失加上Focal Loss就是让模型集中注意力去学习困难样本。同时把回归损失从CIoU换成SIoU它对边界框的方向匹配更敏感一些最后的收敛精度上有一点点提升。这里要强调任何损失函数改动都要做消融对比我见过有人把Focal Loss的全套参数都打开之后正常样本反而学不好损失震荡得很厉害问题就出在alpha和gamma没调好需要结合训练损失曲线一起看。4. 环境配置与训练实操记录4.1 深度学习环境搭建从零开始跑通YOLOv8环境配置是整个项目第一个劝退点但也是体系化最成熟的部分。我当时的机器配置是Ryzen 5600X加GTX 1660 Ti 6GB放在现在看性能已经比较落伍但只要显存规划合理训练yolov8s级别模型完全够用。先列一份我验证过没问题的环境清单系统Ubuntu 20.04Windows 10也可以跑但优先推荐LinuxPython 3.9别用3.6版本太老装不上新版PyTorchPyTorch 1.13.1 CUDA 11.7 cuDNN 8.5Ultralytics库也就是YOLOv8的官方包直接pip安装安装命令很简单pip install ultralytics安装完成后验证GPU是否可用python -c import torch; print(torch.cuda.is_available())如果这条命令返回True说明CUDA环境是通的。如果返回False我建议先到PyTorch官网选对应CUDA版本的安装命令重装torch而不是先去折腾系统里的显卡驱动。6GB显存是我反复测试过的瓶颈训练时的batch-size开到16输入尺寸640x640可以稳定训练不爆显存。如果显存只有4GB我的建议是把imgsz降到480或者改用yolov8n这个nano版本精度会损失一点但至少能跑。4.2 训练参数逐项深度解读YOLOv8的Ultralytics命令行我几乎每天都在用但很多朋友只记住了“训练完看mAP”这一件事对参数理解不透出了问题不知道往哪里调。我把最重要的几个参数展开说一下。epochs是训练轮数垃圾分类数据集规模不算大我一般设150轮左右配合早停机制也就是patience参数如果连续30轮验证集指标没有提升就自动停掉避免过拟合。batch-size俗称批大小决定每次更新权重时“喂”给模型多少张图。显存允许的话尽量开大因为大batch能让梯度估计更稳定训练曲线也更平滑。显存小就把batch调小但学习率也要相应调低。imgsz是输入图片尺寸。640是YOLOv8默认值对大多数场景够用。我发现把训练尺寸从640提到768在自建垃圾分类数据集上小目标的mAP提升了约两个点代价是训练和推理都变慢。如果目标是实时视频流建议保持640。配置文件的字段也很关键data参数指向一个YAML文件里面写明train路径、val路径和类别名称列表。这里有一个我踩过的坑类别名称顺序必须和标注文件中的类别ID一一对应一旦写错了顺序模型训练出来的分类结果全是错位的而且训练过程中loss还表现得很正常很难排查。4.3 训练过程的损失函数曲线分析训练不只看最终指标还要学会看损失曲线。YOLOv8训练时会在run目录下生成一系列结果图其中最关键的就是train/box_loss、train/cls_loss、val/box_loss和val/cls_loss这几条曲线。如果训练损失在下降但验证损失在前几十轮就开始回升说明模型开始过拟合这时候即使训练集准确率再高也没有意义垃圾分类识别最终要面对的是没见过的真实场景。我的处理办法是增加数据增强强度、加入早停或者把模型缩小一档。如果训练损失和验证损失都在高位震荡就要优先检查学习率是不是过大了。当模型的分类损失出现周期性突刺比如每隔几个batch突然冲高一次往往是因为数据中存在标注错误或类别严重不均衡。我一般会用这部分输出去定位具体是哪些样本引起的把它们从训练集中临时抽走单独检查比盲目调参高效得多。5. 模型评估与系统落地实践5.1 评价指标怎么解读只看mAP不够很多人训练完只看一个mAP数字但这个数字会骗人。垃圾分类识别必须分别看mAP50、mAP50-95、Precision和Recall还要结合PR曲线和混淆矩阵来分析。mAP50表示IoU阈值50%时候的平均精度它比较宽容主要反映“大概框到了”的能力。mAP50-95则是把IoU从50%到95%分多个档位求平均这个指标更严格对小目标、形状不规则目标非常不友好但对实际部署更有参考价值。垃圾分类场景里物体形状差异大mAP50-95比mAP50重要。还要养成看混淆矩阵的习惯。我第一版模型在验证集上mAP有0.87看混淆矩阵才发现“烟头”和“小纸屑”之间互相错的概率很高这两个类别对系统用户来说又恰恰是非常需要区分的于是在后续训练中针对性地增加这两类样本并给分类损失加了类别权重把这个问题压下去了。5.2 模型轻量化部署与推理加速课题研究和真实落地最大的区别在于部署。实验室里跑640的模型一张图200毫秒无所谓但现场如果要求实时识别就必须考虑模型大小、显存占用和推理速度。我用的第一步是知识蒸馏。用yolov8m模型担任“老师”指导yolov8n“学生”训练。很多人的蒸馏经验是直接拿学生模型使劲训效果不好是因为单靠标签信号学生很难赶超老师。比较好的做法是双重蒸馏输出特征对齐加分类逻辑的软标签对齐蒸馏后的yolov8n在自建测试集上的mAP只比yolov8m低0.6个点体量却只有四分之一左右。第二步是导出ONNX格式并转成TensorRT做加速。如果目标平台是瑞芯微RK3588这样的边缘盒子导出后的模型还能进一步量化为FP16或INT8精度会小幅下降但速度能提升一倍以上。实测下来在同一块RK3588上FP16精度的YOLOv8s推理一帧耗时能稳定控制在30到40毫秒之间满足实时性要求。5.3 交互界面设计与系统集成做成一个没人能直接看的模型文件没有意义系统集成阶段我做了一个轻量级界面用PyQt5把摄像头画面、检测框、分类结果和置信度实时显示出来同时支持上传图片单张识别。功能不复杂但做的时候要特别注意两个问题。第一个是线程模型。检测推理耗时不可忽略如果放在UI主线程里执行摄像头画面会卡死用户体验极差。比较合理的做法是把视频帧采集、模型推理、结果显示分到三个不同线程通过队列传递数据。第二个是每帧的置信度阈值要统一设置不同场景下同一个阈值表现差异很大需要提供一个滑杆让使用者可以按实际情况调整。我还把最终识别结果接了一层逻辑规则比如对连续帧的检测结果做时序平滑处理只有连续三帧检测到同一类别才输出“确认丢弃”的提示。这个小功能在真实垃圾桶前非常实用能有效过滤偶发的误检。6. 常见问题与排查技巧实录6.1 Loss不收敛或训练发散的排查训练中loss不降这个问题我相信每个人都遇到过。如果从头训一个新模型loss一直不降最先排查的应该是数据路径和类别配置。我之前有一次怎么训都发散后来发现是data.yaml里的类别顺序和标注文件对不上模型完全“学反了”。这种情况只看loss曲线根本看不出问题。如果确认数据无恙就把学习率调到默认值再试。YOLOv8默认的lr0是0.01大batch下你可能要降低这个值。还有一种情况是数据集里面存在类别单样本、甚至空标注的图片文件也会引发loss震荡我在做数据清洗时强制加了一步“标注文件为空或面积过小的图片直接跳过”之后训练稳定性好了很多。6.2 小目标漏检率居高不下怎么办小目标漏检不是单一原因需要逐项排查。先确认你的训练标签里小目标占多大比例如果烟头类别的样本一共只有30个那加再多注意力模块也没用得先扩充数据。然后确认训练尺寸如果只有640小目标像素占比实在太低可以试试提升到960或者用滑窗切图的方式把小图放大再送入模型。结构层面可以加入P2检测层也可以用多尺度训练策略让模型每个epoch看到的目标尺寸不一样提升对尺度变化的鲁棒性。我建议结构改动和数据处理同步进行只改结构不改数据很容易过拟合。6.3 几个容易被忽视的坑有三件事我特别想提醒。第一是图像色彩空间问题垃圾分类严重依赖颜色特征家用摄像头和手机拍摄的图片色彩风格差异很大直接混在一起训练会互相打架。比较好的做法是给训练数据做一次色彩归一化或者进行充分的HSV增强。第二是背景置换的问题。真实垃圾桶附近往往有路面、落叶、墙面模型容易学到把褐色背景和“易拉罐”联系在一起。我自己的解决方式是加入随机背景替换的数据增强从训练集中裁出目标贴到纯色背景上强行打掉模型对背景的依赖。第三是混淆矩阵除了对角线其他格子里数值不是零时不要笼统说“增加数据”先看具体是哪两个类别在互相混淆。瓶子和罐子经常混但使用的材质完全不同这时数据再多都不如给分类分支加个细粒度特征提取来得有效。我在这里把容易遇到的几个问题整理成速查表训练时直接对照排查现象可能原因排查与解决val loss反弹过拟合加大数据增强、调小模型、Early Stopping生效训练loss居高不下学习率不合适或数据标签错乱调低lr0检查data.yaml类别顺序小目标AP极低小目标样本太少或没有P2层扩充小目标样本开启P2检测层两类目标互相混淆特征相似看混淆矩阵定位类别对针对性加样本/加权现场效果好差训练集和测试集同源按场景分组划分数据别随机划分模型在RK3588卡顿未量化或模型过大导出INT8TensorRT推理蒸馏换小模型最后聊点实在的这套基于YOLOv8改进的垃圾分类识别系统从数据准备到最终部署我前前后后跑了大概两个月。最大的体会是目标检测项目里模型结构改动带来的精度提升往往不如数据清洗和增强来得明显可靠。把标注质量管好、把数据分布理清再回头做网络层面的改进每一步提升都看得见摸得着。如果你也要做类似的项目我建议第一步先去实地拍几百张真实垃圾桶照片用手里的基线模型跑到上面看效果再决定改哪里。比起坐在电脑前研究论文结构这种“从场景出发”的思路能少走很多弯路。做垃圾分类识别本身不深奥但它要求你同时具备数据处理能力、模型理解能力和系统集成能力这三样都扎实了项目自然能交出让人满意的结果。