上个季度我接了一个不大不小的需求做一个生活垃圾图像识别系统用摄像头拍下垃圾照片后自动判断它属于可回收物、厨余垃圾、有害垃圾还是其他垃圾最好还能在视频流上实时跑起来。我当时选了深度学习里最主流的目标检测路线主力模型是YOLOv8后面针对生活垃圾这种特定场景又做了一些算法层面的改进。前后折腾了差不多两个月从数据集整理、基线训练、问题定位、模型改完到部署到边缘设备整条链路都走了一遍。这篇文章就把这条链路拆开讲清楚包括一些网上教程不会明说的坑重点讲我为什么这样改、改完到底有没有用适合准备拿YOLOv8做真实落地项目、而不是只想跑通官方Demo的朋友。1. 先别急着训练垃圾分类目标检测的任务边界和数据集决策1.1 分类体系决定模型复杂度很多人拿到“垃圾分类”四个字就直接开始下载数据集、装环境结果训练到一半发现类别定义对不上标注文件是乱的最后只能返工。我建议动手之前先想清楚一个问题你的系统到底要识别多少类、按什么标准分。生活垃圾的分类体系在实际项目里通常有两种做法。一种是按国标粗分为四大类可回收物、厨余垃圾、有害垃圾、其他垃圾。这种方案输出维度少、类别之间外形差异大模型压力小但落地时会碰到一个尴尬问题同一个物体在不同城市、不同处理环节里可能被归到不同类别比如用过的塑料袋在有些地方算其他垃圾在有些场景又提倡作为可回收物单独投放。另一种是按材质细分类似TrashNet那种分法玻璃、纸张、纸板、塑料、金属、厨余等。这种方案对模型识别能力要求高很多因为透明塑料瓶和浅色玻璃瓶在图像上非常接近金属罐的反光又经常骗过检测器。我给当时的项目定的是四分类加一个背景类因为客户要的是实时粗筛先帮人工把明显可回收物和厨余垃圾分出来剩下的再由人工确认。这个决策直接影响后面的数据集规模、标注成本和模型容量。如果你的场景是细分材质我劝你在类别数上谨慎一点类别越多相似类别之间的混淆越难治单靠改YOLOv8的网络结构是补不回来的。1.2 公开数据集的挑选与标注格式转换数据集方面公开能用的主要有TrashNet和华为垃圾分类数据集另外还有一些细分领域数据集可以补充。TrashNet大概是五千多张图六类每张图基本是单个物体放在桌子上的网图光线和背景单一用来跑通流程没问题但拿它当最终训练集的话到了真实垃圾桶俯拍场景基本会翻车因为实际场景是多物体堆叠、部分遮挡、光照不均匀和这类干净数据集根本不是一个分布。华为那个垃圾分类数据集类别更多我印象里有四十类左右样本总量也大一些但里面有不少需要清洗的图比如标注框画偏了、同一个物体在不同图片里标签不一致、某些类别图片数量明显偏少。拿到任何公开数据集我的建议是先用脚本统计每个类别的图片数和标注框数画出框宽高分布再抽样图像看一眼标注质量。这一步千万别省我见过太多人拿着一个被重复样本污染的数据集训练最后验证集指标虚高一上现场就露馅。标注格式也要提前统一。目标检测常用的公开数据大多是COCO的JSON格式或者VOC的XML格式而YOLOv8训练用的是YOLO格式的txt文件每一行是“类别ID 归一化中心X 归一化中心Y 归一化宽 归一化高”。我的做法是自己写了个格式转换脚本把COCO转成YOLO格式同时顺手过滤掉面积过小、宽高比异常、超出边界的标注框。这里有个小细节归一化坐标是用“像素坐标除以图像宽高”但如果你在缩放或填充图像后再标注归一化基准会变转换脚本里要统一按最终训练输入尺寸处理否则训练时目标框会整体偏移。1.3 评估指标mAP50和mAP50-95到底看哪个垃圾分类项目的效果评价不能光看一张mAP曲线。YOLO训练完会输出precision、recall、mAP50、mAP50-95这些指标。mAP50只看预测框和真实框的IoU是否超过0.5比较宽松mAP50-95则是从0.5到0.95每隔0.05算一次再取平均对框的定位精度要求高得多。我的经验是如果系统最终要做自动分拣或自动投递框的定位精度比分类结果还重要因为机器手臂抓取时需要准确的抓取点这时候重点盯mAP50-95。如果系统只是给人工分拣做辅助提示那mAP50就够用甚至可以比较激进地降低置信度阈值来换召回率。垃圾分类里最怕的是漏检比如一个塑料瓶没被检测出来它就可能一路混进厨余垃圾里后端的处理链条会很难受所以我在项目里更看重recall单看precision会给人一种“准确率很高”的错觉实际很多真目标压根没被找到。2. 跑通YOLOv8基线环境、配置文件和训练参数逐项拆解2.1 环境搭建CUDA、PyTorch和ultralytics版本怎么配YOLOv8的训练主要依赖ultralytics这个库环境搭建本身没什么高深之处但我在这里吃过不少亏尤其是版本匹配问题。我第一次图省事直接pip install ultralytics结果torch版本跟本机CUDA驱动对不上训练时GPU直接变CPU速度慢了十几倍。比较稳定的组合是Python 3.8或3.10、PyTorch 2.0以上的CUDA构建版、ultralytics 8.0.x系列。如果你显卡是GTX 1660 Ti这种6GB显存的卡我的建议是直接装CUDA 11.8对应的torch版本然后跑YOLOv8nbatch_size控制在8到16再大就爆显存了。装torch的时候别用默认源显式指定pytorch官方源会省很多编译问题conda create -n yolo python3.10 conda activate yolo pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics接下来验证一下GPU能不能用import torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果你看到False先别急着重装torch检查一下你的CUDA驱动版本是不是太老nvidia-smi能看到的CUDA版本其实是指驱动支持的最高版本和你conda环境里的cu118不一定冲突但太老驱动会直接导致torch起不来。2.2 训练前必须改的几个配置参数YOLOv8支持用训练命令直接指定超参数也可以写YAML配置文件。我习惯把数据集路径和训练参数分开写方便复现。一个最基本的训练命令长这样yolo train \ datadatasets/trash/data.yaml \ modelyolov8n.pt \ epochs200 \ imgsz640 \ batch16 \ optimizerSGD \ lr00.01 \ lrf0.01 \ seed42这些参数看起来简单但每个都值得展开说。imgsz640是训练输入的图像尺寸生活垃圾图像里的小目标比较多我当时试过把输入尺寸从640提到832小目标的召回率确实涨了但训练速度明显变慢显存占用也涨了一大截。如果数据集中小目标占比高我建议优先保证输入尺寸而不是一上来就堆模型参数量。batch16受显存限制如果卡小可以调低batch并适当拉长epoch数别为了凑batch把图像resize到很小。optimizer的选择也影响收敛速度。YOLOv8默认是AdamW但我在小数据集上试下来SGD配合余弦退火更稳。AdamW收敛快但后期容易出现训练集损失很低、验证集指标波动的情况SGD虽然前期慢但泛化更稳。如果你数据集比较干净用AdamW没问题如果数据脏、标注噪声大SGD反而更耐造。lr0初始学习率、lrf最终学习率因子这两个决定了整个训练过程的学习率变化范围。warmup_epochs要保留默认的3到5尤其训练batch比较大的时候直接用大学习率很容易在第一轮就把权重冲乱。另外还有一个容易被忽略的配置close_mosaic。YOLOv8默认在训练前10个epoch使用Mosaic增强这个增强对数据丰富度帮助很大但对于特殊场景Mosaic的拼接边界会让模型学到“物体周围有黑边”这种错误特征。官方后来提供了一种在训练后期提前关闭Mosaic的做法让模型在真实布局上微调我用下来确实对检测框回归有帮助。2.3 第一次训练与损失曲线解读训练开始后ultralytics会在runs/detect/train目录下输出一堆东西其中results.png最值得看。这张图里通常有train/val的box_loss、cls_loss、dfl_loss三条曲线还有precision、recall、mAP的曲线。我当时用四分类数据集训了一个YOLOv8n200个epoch下来最终mAP50大概在0.87附近看着还行但mAP50-95只有0.52这说明模型虽然能大概把物体找出来但框的位置和类别置信度有不少水分。再看损失曲线box_loss下降很平滑cls_loss在150个epoch之后开始小幅震荡这类信号基本可以说明模型已经学进去了但某些类别的区分度不够正在置信度边缘来回试探。一个常见的误判是看到train loss还在下降就无限加epochs结果验证集指标不涨反跌。这通常是过拟合信号。我当时的做法是观察val曲线一旦val的box_loss或cls_loss连续二十个epoch不降就提前停掉训练没必要把epochs跑到满。损失数值本身没有绝对意义不同批次、不同输入尺寸下算出来的box_loss不能直接对比关键看曲线趋势。3. 从基线结果定位问题小目标、密集重叠与类别不平衡3.1 测试集上的漏检现象与典型错误第一次基线训完之后我在测试集上做了一次比较细致的错误分析把模型输出预测框和真实标注框逐一对齐统计漏检和误检的类型。结果很有意思漏检最多的是三类透明塑料瓶、透明玻璃瓶、浅色纸盒。透明瓶子的特征被背景吸收瓶身没有明显的纹理框的置信度始终在0.3到0.5之间晃调低阈值之后虽然能检出来但误检也跟着涨了。浅色纸盒的问题则是颜色接近地面背景加上盒子边缘在透视投影下不是规整矩形框模型倾向于只框到贴在上面的标签区域。这种情况光看mAP是看不出门道的必须把预测结果画到图上逐类看置信度分布。我后来专门写了个可视化脚本把所有漏检图片按类别叠加成一张九宫格才第一次直观地看到问题集中在哪。如果你的模型在测试集上mAP看起来不错但真实场景一测就漏大概率也是这个原因你的验证集和真实场景分布不一致模型真正没学会的是那些看起来“不起眼”的目标。3.2 为什么通用YOLOv8在生活垃圾图像上不够用YOLOv8本身是一个通用目标检测器在COCO这种自然图像数据上表现很好但生活垃圾图像有两个比较特殊的难点。一个是目标尺度跨度极大同一张俯拍图里可能既有大号纸箱也有小到只有十几个像素的瓶盖而YOLOv8的anchor-free检测头在训练时会按尺度分配正样本小目标的特征主要来自浅层浅层特征噪声大、语义弱对小目标召回不高。另一个是密集重叠真实垃圾堆里物体互相遮挡一个物体可能只有一半露在外面。YOLOv8默认的NMS阈值和置信度阈值在这种场景下会互相压掉候选框两个挨得很近的瓶子往往只保留一个另一个被当成重复框抑制掉了。COCO数据集里也有遮挡但比例和密集程度远没有垃圾堆这么极端。所以如果目标检测系统要处理的是杂乱场景后处理策略和网络结构一样重要。3.3 损失数值正常但mAP上不去问题可能出在哪我见过不少朋友遇到这种情况训练损失下降得很漂亮最终mAP却卡在一个水平死活上不去。一种可能是类别不平衡。垃圾分类数据集里“其他垃圾”和“厨余垃圾”通常图片特别多“有害垃圾”很少模型天然偏向学样本多的类别。表面上总体mAP还行但拆到每个类别就会发现某个类别AP非常低。我当时的做法是用训练脚本统计每个类别的样本数对尾部类别做过采样或者干脆在损失里按类别频率加权重。第二种可能是坏标签。模型硬生生把一个正常的瓶子框学成了类似背景的样式就是在拟合错误标注。这类问题很难从损失曲线看出来只能抽样检查标注尤其是公开数据集的边缘类别。第三种是特征相似度太高。透明玻璃、透明塑料、半透明塑料薄膜在RGB图上几乎没法靠颜色区分单纯加深网络深度也学不到判别信息反而可能在浅层就丢失了瓶身轮廓。这种时候需要引入更多先验信息或者给网络加注意力模块让它在关键纹理区域集中注意力这正好是我下一步改进的方向。4. 针对生活垃圾场景的YOLOv8改进实践从C2f到Neck和损失4.1 在C2f模块中嵌入协调注意力机制改进之前先说清楚一个原则不要为了改进而改进。我看过太多论文里硬塞一堆模块最后mAP提升不到一个点推理速度还掉了一截。我的第一个改动选择在C2f模块中嵌入协调注意力机制CoordAttention简称CA原因是前面错误分析里暴露出的问题非常典型透明瓶、浅色瓶和背景难以区分属于“特征响应不够强”的问题需要一种能增强目标区域特征、抑制背景响应的机制。CA的核心思想是在通道注意力的基础上同时捕获空间方向上的长程依赖把水平方向和垂直方向的特征分别做池化和注意力加权。跟SE比CA多出了位置信息跟CBAM比CA的计算量更小。在YOLOv8的C2f模块里做嵌入也比较简单可以在Bottleneck残差分支中插入一个CA模块让经过常规卷积提取的特征再做一次坐标注意力增强。实现上不复杂核心就是为坐标注意力加一个可学习的权重分配import torch import torch.nn as nn class CoordAtt(nn.Module): def __init__(self, inp, oup, reduction32): super().__init__() self.pool_h nn.AdaptiveAvgPool2d((None, 1)) self.pool_w nn.AdaptiveAvgPool2d((1, None)) ...具体代码网上有很多现成版本我建议不要直接复制粘贴而是先看懂了再改通道数因为YOLOv8各阶段的通道数和官方示例不完全一致。加入CA后模型对细长型的瓶体、软管这类目标会有更强的空间敏感度。我实测试下来CA带来的mAP50提升大约在1到2个点推理时间几乎没变化。4.2 将PAN-FPN替换为轻量级BiFPN加权融合第二个改动我放在了Neck部分。YOLOv8默认用的是PAN-FPN结构通过自顶向下和自底向上的路径传递不同尺度的特征。PAN的优势是融合了高层语义和底层纹理但它对每层特征的融合权重是固定的没有考虑不同尺度特征对当前任务的贡献差异。在生活垃圾场景里小目标主要依赖高分辨率特征图这些特征图富含纹理但语义不足大目标则正好相反。于是在多尺度融合时我希望网络能自适应地学会更重视哪一层的特征。BiFPN的做法是给每个输入特征加一个可学习权重然后在融合时做加权求和替代PAN里简单的特征叠加或相加。我把原PAN-FPN中的特征融合部分改成了带权重的双向融合结构增加的计算量很小但有效提升了模型对不同尺度目标的适配度。实际效果上小目标召回率提高比较明显尤其是瓶盖和易拉罐拉环这类小物件。不过这里有个经验教训BiFPN的权重初始化方式会影响训练初期的稳定性我建议初始值设成1然后用带约束的softmax归一化而不是直接用随机初始化的权重。4.3 损失函数的修正处理难易样本不均衡最后一个改动在损失函数。YOLOv8默认的定位损失是CIoU它对目标框的宽高比和中心距比较敏感。但CIoU有一个问题它平等对待所有样本包括那些质量很低的困难样本。真实垃圾堆里大量存在严重遮挡的物体这些目标的预测框一开始就是错的如果把它们和高质量样本放在同一个损失尺度下模型会被带偏。我换用了WIoUWise-IoU作为定位损失。WIoU会根据当前预测框和真实框的IoU动态调整权重对高质量样本降低惩罚、对低质量样本适当升高惩罚同时引入离群度概念避免梯度被少数极端样本主导。简单理解就是让模型更关注那些“差得不是太离谱、有希望救回来”的框而不是把大量梯度花在完全被遮挡、根本无法回归正确的目标上。分类损失方面我针对类别不平衡做了一点加权处理。YOLOv8的分类损失是BCEWithLogitsLoss可以在损失计算时把每个类别的样本频率倒数和作为权重乘进去。但这个操作要小心权重过大容易让模型在尾部类别上过度自信反而把其他类别的置信度压下去建议权重上限控制在2到3倍左右。这三处改进做完模型结构已经不是原版YOLOv8了但训练流程和部署方式还是YOLOv8那套这也正是这个框架最方便的地方改进只动网络内部结构外部接口不变。5. 改进后的训练结果与分析不只是看mAP5.1 完整训练配置与超参调整改进后的训练配置不是简单把原参数重跑一遍我做了几处调整。首先是训练轮数原版跑了200轮改进后的模型因为网络结构变了收敛速度也变了我拉到300轮并用早停机制。其次是Mosaic增强的关闭策略前面提到我在最后30个epoch关闭Mosaic让模型在接近真实场景的布局上微调。最终训练命令大致是这样yolo train \ datadatasets/trash/data.yaml \ modelcfg/trash-yolov8n-improved.yaml \ epochs300 \ imgsz640 \ batch16 \ optimizerSGD \ lr00.01 \ lrf0.001 \ close_mosaic30 \ patience30 \ seed42在GTX 1660Ti这张卡上YOLOv8n改进版训练一轮大概需要四十多秒300轮大约四五个小时。我建议不要同时开太多实验显存不够时间也耗不起。训练过程中要边跑边记录验证集指标如果发现val曲线明显落后于train立刻停掉检查是不是过拟合或超参太大。5.2 特征热力图与注意力可视化改进有没有生效除了看指标我还习惯把网络中间层的特征图拿出来看。常见做法是用Grad-CAM对检测头之前的特征做可视化观察模型到底在看图像的哪些区域。这个步骤在垃圾分类项目里特别有用如果模型注意力集中在整张图上说明它学的还是背景模式不是目标本身如果注意力集中在物体边缘和瓶身标签上说明改进的注意力机制确实把模型引导到了关键纹理。我跑了几张之前漏检的透明塑料瓶图片改进后模型的热力分布明显更集中在瓶身轮廓处而原版的热力分布是比较散的。这就是直观的证据改进不是玄学而是改变了模型的特征分配策略。你在自己项目里也可以用这个过程反向验证如果一个改进模块加进去之后热力图没有任何变化那基本可以断定这个模块对这个场景没用。5.3 改进前后的指标对比与漏检分析下面是我在自建测试集上记录的一组典型对比数据模型是YOLOv8n模型mAP50mAP50-95小目标召回率推理耗时(ms)原版YOLOv8n0.8720.5230.613.9CA注意力0.8910.5560.664.1BiFPN加权融合0.9040.5830.714.3WIoU和类别加权0.9110.5960.734.3注意这个对比是逐步叠加的不是单独加的。从数据里能看出每项改进都有正向收益但幅度不一样最明显的是小目标召回率从0.61涨到了0.73。推理耗时只增加了零点几毫秒对实时检测基本没有影响。另外每次改进后都要检查是不是只在一个类别的AP上提升、其他类别反而下降我一开始加CA的时候“有害垃圾”这个类别的AP掉了两点后来发现是注意力权重的reduction参数设置太大通道压缩过狠调小之后就恢复了。改完之后我在测试集上重新做了错误分析漏检最多的已经从透明瓶子变成了严重遮挡的重叠瓶罐这类样本本身就是物理可见性意义上的难样本我不再强求模型在单帧图像上完美解决而是考虑用多帧时序信息或者后处理策略来兜底。6. 部署落地ONNX导出、TensorRT与RK3588 NPU转化6.1 模型导出与精度对齐训练好的模型最终要跑在别人的机器上不能每次推理都开一个Python训练环境。YOLOv8导出ONNX是标准操作yolo export modelruns/detect/train/weights/best.pt formatonnx opset12 dynamicFalse导出之后我建议先用ONNX Runtime在同样的测试集上跑一遍推理对比原始PyTorch模型的输出。这一步我称为“精度对齐”因为很多算子在不同框架里实现有差异如果不提前对齐后面部署环境里的精度损失根本说不清是哪一层引入的。我遇到过的情况是opset版本太高导致某些算子在ONNX Runtime里不支持导出时报错降低opset到12基本能解决大部分兼容问题。ONNX Runtime推理时还需要注意输入图像的预处理顺序YOLOv8要求的预处理是BGR通道、归一化到0到1推理后输出的格式是[batch, 84, 8400]其中84表示4个框坐标加80个类别置信度8400是三个尺度特征图的anchor总数。这些细节在部署时最容易出错很多人模型导出没问题一到自己写后处理就开始各种维度报错。6.2 转换时最容易踩的坑如果部署目标是边缘设备尤其是瑞芯微RK3588这种带NPU的芯片转换链路会更长一些。RK3588上部署YOLOv8一般流程是先导出ONNX再用rknn-toolkit2把ONNX转成rknn模型。我实际踩过的坑主要有三个。第一个是算子兼容性。YOLOv8的检测头里有些自定义算子在转rknn时可能不支持需要把原始模型结构裁剪到只保留主干和Neck把检测头留到后处理里用CPU实现。我当时参考了一些开源项目的做法导出模型时只保留到输出特征图那一层然后自己写解码和NMS逻辑。第二个是量化精度下降。RK3588的NPU在跑INT8模型时性能最好但直接用训练后的模型做INT8量化mAP50可能掉两三个点透明塑料瓶这种边缘目标会最先出问题。解决思路是准备一个量化校准集最好用真实现场拍摄的图片而不是训练集图片这样量化时能感知到部署环境的数据分布。校准集不需要大两三百张就能让精度明显恢复。第三个是输入尺寸和归一化参数不匹配。rknn模型导出时会固化输入规格如果你在推理时用Python PIL读图默认是RGB、0到255但模型按BGR、0到1训练这两个差异叠加起来效果会莫名其妙变差。我给每个部署版本都写了一个单独的单测脚本输入同一张图对比rknn和ONNX Runtime的输出差异超过阈值就报警。6.3 端侧部署的量化取舍在RK3588上我最终选择了混合精度策略主干部分用INT8量化Neck部分因为特征值分布差异大保留FP16。这样做之后mAP50-95的掉点从两个点左右降到了0.8个点左右而推理速度虽然比全INT8慢一点点但还在可接受范围。这个取舍在项目里是有意义的因为系统是给现场工人做辅助识别精度掉太多会直接影响他们愿不愿意用这个工具。如果你不需要部署到NPU只在服务器上用NVIDIA显卡跑我的建议是直接用TensorRT导出FP16模型掉点更小速度也快。TensorRT的engine构建时间比较长而且依赖具体显卡型号换一台机器就要重新构建项目交付时要把这个流程自动化否则现场调试会非常痛苦。做完这个项目我自己最大的感受是别把精力全放在改网络上。这次改进里CA、BiFPN、WIoU三件事加起来的收益大概是四五个点但把测试集换成现场真实图像、清洗训练数据、调整置信度阈值和NMS参数这几件事带来的收益可能超过十个点。模型改进的意义在于解决数据和训练已经解决不了的问题是在数据和工程做到位之后才值得做的事。如果你手中的项目时间紧张先把数据、标注和部署链路做扎实再回头碰网络结构这个顺序应该能帮你少走不少弯路。