简介本资源是一套面向工业质检工程师、计算机视觉初学者及智能制造领域研究者的YOLOv5实战项目聚焦汽车座椅表面缺陷如划痕、破损、装配异常的自动化识别与定位。资源提供开箱即用的完整技术栈含35个Python训练/推理脚本基于PyTorch、50个配置类YAML文件涵盖数据路径、类别定义、超参设置、24张标注JPG图像与对应XML标签、10个预训练.pt模型权重以及Dockerfile、Shell部署脚本和TensorBoard日志文件events.out.tfevents便于复现实验与工程集成。压缩包共186个文件大小为419.62MB结构清晰支持微调、实时检测、性能评估与结果可视化全流程。目前已有989人学习下载配套CSV评估报告与Jupyter Notebook示例显著降低工业缺陷检测项目的入门门槛与落地成本。1. 项目缘起从质检痛点到一个可复现的解决方案在汽车制造这个精密且庞大的工业体系中座椅总成的质量检测一直是个让人头疼的环节。传统的质检方式要么依赖老师傅的火眼金睛要么就是投入大量人力进行地毯式的人工目检。前者经验难以复制后者成本高、效率低还容易因为疲劳导致漏检和误判。我所在的团队就曾长期被这个问题困扰直到我们决定尝试用视觉技术来解决它。我们最初的目标很明确开发一套能够自动识别汽车座椅常见缺陷的系统比如皮革表面的划痕、褶皱、污渍缝线处的跳线、断线以及装配过程中的零件缺失或错位。经过一番技术选型我们最终将目光锁定在了YOLOv5上。选择它并非盲目跟风而是基于几个非常实际的考量首先YOLOv5在速度和精度之间取得了很好的平衡这对于产线实时检测至关重要其次它的生态极其完善从数据标注工具到模型训练、部署都有成熟的工具链支持大大降低了开发门槛最后其活跃的社区和丰富的预训练模型让我们在项目初期就能快速验证可行性。这个项目就是我们一路摸索、踩坑、最终跑通的完整实践。它不仅包含了我们训练好的模型权重更重要的是我们整理并开源了用于训练和评估的数据集以及全套可运行的源代码。我们的初衷就是希望这份“源码模型数据集”的打包方案能让后来者少走弯路快速搭建起属于自己的缺陷检测系统。无论你是工厂的工程师、高校的研究生还是对工业视觉感兴趣的开发者这份材料都能提供一个扎实的起点。2. 核心缺陷定义与数据集的构建之道任何机器学习项目数据都是基石。对于汽车座椅缺陷检测第一步也是最关键的一步就是明确我们要检测什么以及如何获取高质量的数据。2.1 缺陷类别的精细化定义我们并非简单地将所有问题归为“缺陷”。为了提高模型的判别能力和后续工艺追溯的精度我们对缺陷进行了细致的分类。主要分为以下几类表面瑕疵类划痕 (Scratch)皮革或织物表面因硬物摩擦产生的线性损伤深度和长度是分级的关键。褶皱/压痕 (Wrinkle/Dent)材料因受力不均或长期挤压形成的非预期纹路或凹陷。污渍 (Stain)油渍、水渍、胶渍等外来污染物。色差/褪色 (Color Difference/Fading)与标准样板颜色不一致的区域。缝制工艺类跳线/断线 (Skip Stitch/Broken Stitch)缝线不连续出现缺失或断裂。线头 (Loose Thread)缝线结束后未修剪干净的残余线头。缝线歪斜 (Crooked Stitching)缝线轨迹偏离预设的基准线。装配与结构类零件缺失 (Missing Part)如按钮、装饰盖、调节手柄等小部件未安装。零件错位/安装不良 (Misaligned/Improperly Installed Part)零件存在但位置、角度或贴合度不符合标准。泡沫鼓起或凹陷 (Foam Bulge/Depression)内部填充物分布不均导致的外观不平整。为每一类缺陷建立清晰的视觉标准和标注规范是后续数据标注一致性的保证。我们甚至制作了“缺陷样板册”供标注人员参考。2.2 数据采集的实战经验数据采集的环境直接决定了模型的泛化能力。我们经历了从实验室“摆拍”到真实产线“抓拍”的转变总结出以下几点经验光照是关键中的关键产线光照复杂有顶灯、侧灯还有窗户的自然光。我们最终采用了多光源打光方案使用条形LED柔光箱从两侧以一定角度照射目的是消除阴影、凸显纹理如划痕、褶皱同时避免产生刺眼的高光点。一个重要的技巧是采集数据时的光照条件要尽可能与未来部署环境一致。如果产线光照不可控那么采集数据时就要有意涵盖多种光照情况包括明暗变化和色温变化。相机与镜头的选择我们选用的是工业面阵相机分辨率在1200万像素以上以确保能捕捉到细小的划痕和线头。镜头方面选用焦距适中的定焦镜头以减少畸变。这里有个坑最初我们用了广角镜头想一次拍全整个座椅结果边缘畸变严重且细节丢失。后来改为分区域拍摄如靠背、坐垫、头枕分别拍摄再用软件拼接或单独检测效果更好。背景与姿态尽量使用纯色、无纹理的背景如灰色背板降低背景干扰。座椅的摆放姿态角度、高度也需要在一定范围内变化以让模型学习到不同视角下的缺陷形态。2.3 数据标注效率与质量的平衡我们使用LabelImg、CVAT等工具进行标注格式采用YOLO所需的TXT格式class_id x_center y_center width height均为归一化坐标。标注一致性训练召集所有标注人员用“缺陷样板册”进行统一培训并对同一批图片进行试标注讨论差异直到大家对各类缺陷的边界达成共识。困难样本重点关照对于模糊的、不明显的、介于两类之间的缺陷样本不要轻易舍弃或随意标注。我们专门建立了“疑难样本库”由经验最丰富的工程师进行最终裁定和标注这些样本对提升模型在边界情况下的鲁棒性至关重要。数据增强策略前置在标注时我们就预见到数据增强的需求。例如对于“划痕”这类线性缺陷要确保标注框沿着划痕方向长宽比合理这样后续做随机旋转、裁剪增强时标注框才不会严重偏离目标。最终我们构建的数据集包含了约5000张高质量图像涵盖8种主要缺陷类别并按照8:1:1的比例划分为训练集、验证集和测试集。所有图像均来自真实产线环境保证了数据的实战价值。3. YOLOv5模型训练从环境配置到调参实战有了高质量的数据集下一步就是让YOLOv5模型学会识别它们。这个过程充满了实验和调优。3.1 环境搭建与源码解读YOLOv5的代码非常清晰。我们直接从官方GitHub仓库克隆源码。环境配置是第一个小关卡。# 克隆代码 git clone https://github.com/ultralytics/yolov5 cd yolov5 # 安装依赖 (建议使用Python虚拟环境) pip install -r requirements.txt这里有个必须注意的细节requirements.txt里的torch和torchvision通常是CPU版本。如果你要用GPU训练需要根据你的CUDA版本去PyTorch官网找到对应的安装命令进行替换。例如对于CUDA 11.8pip uninstall torch torchvision # 先卸载CPU版 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118我们的项目源码在YOLOv5原版基础上做了几处关键适配数据配置文件创建了data/car_seat_defect.yaml其中定义了数据集的路径、类别数量和类别名称。# car_seat_defect.yaml path: ../datasets/car_seat # 数据集根目录 train: images/train # 训练集图像路径 val: images/val # 验证集图像路径 test: images/test # 测试集图像路径 nc: 8 # 类别数量 names: [scratch, wrinkle, stain, color_diff, skip_stitch, loose_thread, missing_part, misaligned_part] # 类别名列表模型配置文件我们选择以models/yolov5s.yaml为蓝本进行修改。yolov5s是“小”模型在速度和精度上比较均衡适合部署在算力有限的工控机上。如果需要更高精度可以考虑yolov5m或yolov5l。训练脚本定制我们修改了train.py的部分默认参数并封装了便于执行的Shell脚本。3.2 训练过程与核心参数调优启动训练的命令很简单python train.py --img 640 --batch 16 --epochs 100 --data data/car_seat_defect.yaml --cfg models/yolov5s.yaml --weights yolov5s.pt --name seat_defect_v1但命令背后的每一个参数都值得推敲--img 640输入图像尺寸。YOLOv5训练时会将图像统一缩放到此尺寸。为什么是640这是一个经验值在COCO等通用数据集上表现良好。对于我们的座椅缺陷如果缺陷非常细小如微划痕可以尝试增大到800甚至1024但这会显著增加显存消耗和训练时间。我们经过实验640在精度和效率上取得了最佳平衡。--batch 16批次大小。取决于你的GPU显存。在显存允许的情况下较大的Batch Size有助于训练稳定。如果出现“CUDA out of memory”错误就需要减小batch或减小--img尺寸。--epochs 100训练轮数。不是越多越好需要观察验证集损失曲线防止过拟合。--weights yolov5s.pt加载预训练权重。这是提升训练速度和效果的关键使用在COCO上预训练的权重可以让模型从“通用物体识别”的能力开始学习远比从随机初始化开始快得多、好得多。--name seat_defect_v1本次训练运行的名称所有日志、模型权重都会保存在runs/train/seat_defect_v1目录下。训练过程中最重要的就是观察runs/train/seat_defect_v1目录下生成的指标图表损失曲线 (results.png)关注train/box_loss,train/obj_loss,train/cls_loss以及对应的val损失。理想情况是训练损失和验证损失都平稳下降且两者差距不大。如果验证损失很早就停止下降甚至上升而训练损失还在降就是过拟合了。性能指标 (results.png)重点关注mAP0.5和mAP0.5:0.95。mAP0.5是IoU阈值为0.5时的平均精度是我们最直观的精度指标。mAP0.5:0.95是在多个IoU阈值0.5到0.95步长0.05下的平均mAP更严格衡量模型定位的精确度。混淆矩阵 (confusion_matrix.png)查看模型最容易混淆哪些类别。比如我们的“划痕”和“褶皱”在初期容易混淆这说明需要在数据集中补充更多特征鲜明的样本或者从图像增强角度想办法让它们的区别更明显。3.3 数据增强与超参数调优实战YOLOv5内置了强大的数据增强功能在data/hyps/hyp.scratch-low.yaml等配置文件中定义。我们直接修改了超参数配置文件来适应我们的场景。增强策略对于工业缺陷我们增强了HSV色彩空间扰动模拟不同光照和色差、随机透视/旋转模拟视角变化、Mosaic拼接提升小目标检测能力。但要注意过度增强会破坏缺陷的真实形态。例如对“划痕”进行过度的模糊或噪声添加可能会让模型学不到其清晰的边缘特征。我们适当降低了hsv_h色调、hsv_s饱和度的增强幅度。超参数调优我们主要调整了hyp文件中的学习率相关参数。初始学习率(lr0)设置为0.01并使用了余弦退火调度器(cos lr)让学习率随训练过程平滑下降。一个有效的技巧是先使用默认超参数训练一个基准模型比如20个epoch然后根据其表现有针对性调整。如果模型收敛慢可以适当增大lr0如果训练不稳定损失震荡则减小lr0或增大warmup_epochs。经过多轮迭代我们的最佳模型在测试集上达到了mAP0.5: 95.2%mAP0.5:0.95: 72.8% 对于工业场景这个精度已经具备了很高的实用价值。4. 模型优化与部署推理的工程化细节训练出一个高精度的模型只是成功了一半如何让它稳定、高效地在产线上跑起来是另一个维度的挑战。4.1 模型导出与优化YOLOv5训练出的模型是PyTorch的.pt文件。部署时我们通常需要将其转换为更高效的格式。导出为ONNXONNX是一个开放的模型交换格式可以被多种推理引擎支持。python export.py --weights runs/train/seat_defect_v1/weights/best.pt --include onnx --img 640 --batch 1 --simplify--simplify参数会应用ONNX-Simplifier对计算图进行优化去除冗余操作有时能提升推理速度。TensorRT加速针对NVIDIA GPU如果部署环境是NVIDIA Jetson系列或带GPU的工控机强烈推荐使用TensorRT。它能对模型进行层间融合、精度校准FP16/INT8量化极大提升推理速度。我们可以使用export.py直接导出为TensorRT引擎或者将ONNX模型用TensorRT的trtexec工具转换。INT8量化这是大幅提升速度的利器但需要一部分校准数据来统计激活值分布。量化后会带来轻微的精度损失需要通过测试确认是否在可接受范围内。对于追求极致速度的产线应用FP16或INT8量化几乎是必选项。OpenVINO优化针对Intel CPU如果部署在Intel的x86 CPU上OpenVINO工具包能提供非常好的优化。# 将ONNX转换为OpenVINO IR格式 mo --input_model best.onnx --output_dir openvino_model --data_type FP164.2 推理脚本编写与性能调优我们提供了基于PyTorch、ONNX Runtime和TensorRT的多种推理脚本示例。以最常用的PyTorch推理为例核心步骤包括import torch import cv2 from models.experimental import attempt_load from utils.general import non_max_suppression, scale_boxes # 1. 加载模型 device torch.device(cuda:0 if torch.cuda.is_available() else cpu) model attempt_load(best.pt, devicedevice) model.eval() # 切换到评估模式 # 2. 预处理图像 img0 cv2.imread(test.jpg) img cv2.cvtColor(img0, cv2.COLOR_BGR2RGB) img cv2.resize(img, (640, 640)) img img.transpose(2, 0, 1) # HWC to CHW img torch.from_numpy(img).to(device).float() / 255.0 img img.unsqueeze(0) # 增加批次维度 # 3. 推理 with torch.no_grad(): pred model(img)[0] # 4. 后处理非极大值抑制 (NMS) pred non_max_suppression(pred, conf_thres0.25, iou_thres0.45) # 5. 结果可视化 for det in pred[0]: x1, y1, x2, y2, conf, cls det # 将坐标缩放回原图尺寸 x1, y1, x2, y2 scale_boxes(img.shape[2:], (x1, y1, x2, y2), img0.shape).round() # 画框、标类别和置信度 cv2.rectangle(img0, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) label f{model.names[int(cls)]} {conf:.2f} cv2.putText(img0, label, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2) cv2.imwrite(result.jpg, img0)性能调优要点批处理推理如果产线相机是连续抓拍可以将多张图片堆叠成一个批次进行推理能更充分利用GPU并行计算能力显著提升吞吐量。置信度与IoU阈值conf_thres和iou_thres需要根据实际场景调整。提高conf_thres可以减少误报将好的判为坏的但可能增加漏报坏的没检出来。产线初期可以设低一点宁可错杀不可放过运行稳定后再根据误报情况逐步调高。预热在开始正式检测前先用几张图跑几次推理让GPU和模型“热身”避免第一次推理因动态图优化等操作导致时间过长。4.3 部署架构与系统集成一个完整的检测系统远不止一个模型。我们的部署架构通常如下图像采集端工业相机通过GigE或USB3.0接口连接工控机使用厂家SDK或OpenCV进行图像采集和触发控制。推理服务工控机上运行我们的Python推理脚本或封装成的C服务。接收图像进行预处理、推理、后处理返回缺陷类别、位置和置信度。结果处理与交互可视化将带检测框的结果图实时显示在HMI人机界面上供操作员复核。数据存储将每张图片的检测结果时间、图片ID、缺陷列表存入数据库如MySQL、SQLite用于质量追溯和统计分析。控制信号输出如果检测到严重缺陷通过工控机的IO卡或网络通信向下游的PLC可编程逻辑控制器发出信号触发报警灯、气动推杆等执行机构将不良品自动剔出流水线。模型更新与监控系统需要设计模型热更新机制当发现新的缺陷类型或模型性能下降时能够不停机加载新模型。同时需要监控系统的推理速度、GPU内存占用等指标确保长期稳定运行。5. 避坑指南与项目复盘回顾整个项目我们踩过不少坑也积累了许多宝贵的经验。5.1 数据层面的常见陷阱类别不平衡“污渍”和“零件缺失”这类缺陷样本很少而“划痕”很多。直接训练会导致模型对少样本类别不敏感。我们的解决方法是1) 对少样本类别进行过采样2) 在损失函数中为不同类别设置不同的权重YOLOv5的loss.py中可以调整cls_pw和obj_pw3) 专门为少样本缺陷采集更多数据。标注噪声早期由于标注规范不统一存在同一缺陷有人标“划痕”有人标“褶皱”的情况。这严重干扰了模型学习。解决办法就是前面提到的标注一致性训练和建立疑难样本仲裁机制。数据“脏”采集到的图片中包含无关物体如工具、操作员的手初期未标注为背景模型可能会将这些无关特征与缺陷关联。后期我们统一将这类图片中的干扰物用矩形框标出并赋予一个特殊的“背景”或“忽略”类别。5.2 模型训练与调参的误区盲目增加Epoch看到验证集指标还在缓慢提升就不断延长训练轮数结果导致严重的过拟合。必须早停Early Stopping。我们通过监控验证集mAP当其连续10个epoch不再提升时就停止训练并回滚到最优的模型权重。忽视学习率预热Warm-up在训练初期模型参数是随机的直接使用较大的学习率可能导致训练不稳定。YOLOv5默认使用了Warm-up我们在调参时也保持了这一设置让学习率从一个小值逐渐上升到预设值给了模型一个“热身”过程。不关注Batch Size的影响Batch Size太小梯度更新噪声大模型收敛慢且不稳定太大可能陷入尖锐的极小值泛化性变差。我们根据GPU显存在8, 16, 32几个档位做了实验最终选择16作为平衡点。5.3 部署上线的“最后一公里”问题环境差异训练环境实验室服务器和部署环境工控机的硬件CPU指令集、GPU驱动、软件CUDA版本、Python包版本可能存在差异。我们通过Docker容器化来封装整个推理环境确保了环境的一致性。实时性达不到要求在产线上留给检测的时间窗口是固定的。如果模型推理速度过慢会导致流水线堵塞。优化手段包括模型量化FP16/INT8、使用更高效的推理引擎TensorRT/OpenVINO、优化前后处理代码如用NumPy向量化操作替代循环、甚至升级硬件。光照漂移产线灯光会老化不同批次座椅的皮革颜色也会有细微差别。这会导致模型性能在部署后随时间缓慢下降。我们建立了定期重标定机制每周用标准色卡和缺陷样板在产线当前光照下拍一组图跑一下模型看检测结果是否稳定。如果偏差大就需要考虑重新采集数据、微调模型甚至更换光源。这个项目从构想到落地历时近半年。最大的体会是工业AI项目是一个典型的“端到端”工程数据、算法、工程部署三者环环相扣任何一环的短板都会导致最终效果大打折扣。开源我们的“源码模型数据集”就是希望将这份完整的工程经验分享出来让有兴趣的同行能站在一个比较高的起点上去解决各自领域的具体问题。代码和模型或许会过时但其中处理数据、调优模型、解决工程难题的思路相信会有更长的生命力。本文还有配套的精品资源点击获取