简介面向计算机视觉目标检测场景这份数据集围绕挖掘机、叉车、装载机、压路机、混凝土运输车、卡车及工人等7类目标构建采用Pascal VOC与YOLO双格式标注可直接对接YOLO系列模型训练与算法评估适合从入门到进阶的目标检测实践。压缩包以7z格式发布共2000个文件主要文件为1999个xml标注文件另有1个txt说明整体大小约321.86MB数据规模覆盖5067张图像便于快速获取标准训练样本。目前已有586人学习特别适合计算机视觉学习者、工地安全监测和工程车辆识别方向的开发者使用。双格式标注不仅省去格式转换步骤也便于在统一数据集上对比不同检测框架的效果真实工程场景中的多类别目标有助于提升模型在实际应用中的泛化能力同时减少重复标注的额外工作量。1. 工程车辆检测数据集一套样本覆盖七类目标解决工地场景的标注稀缺问题做工地安全巡检或车辆调度识别的人大概率碰到过同一个问题翻遍公开数据集能用的工程车辆图片少得可怜。通用目标检测数据集里汽车、行人、自行车一抓一大把但挖掘机、装载机、压路机这类专门车辆要么样本数量不够要么背景跟实际工地差距太大模型训出来泛化能力差得离谱。这份工程车辆检测数据集恰恰解决这个缺口——5067张标注完整的图片覆盖混凝土运输车、挖掘机、叉车、装载机、压路机、卡车、工人一共7个类别每张图片同时附带VOC格式的XML文件和YOLO格式的TXT文件拿到手不用做格式转换直接就能喂给YOLO系列或者Faster R-CNN去训练。这套数据对两类人最有用一是做工地安全帽检测、车辆违规闯入识别、施工进度自动分析这类场景的算法工程师二是刚接触目标检测、想找一个多类别数据集练手的学生或者转行者。数据集的双格式设计意味着不管是走YOLOv5/v8这套PyTorch管线还是用MMDetection去跑Faster R-CNN第一轮数据加载就能走通。而且7个类别里包含工人这个类别等于把人和工程车辆放在同一个检测框架里对做施工区域人员与车辆交互分析的场景来说非常关键。我花了一个晚上把整套数据集的目录结构、标注格式、文件关联规则都梳理了一遍也实际跑过格式校验和训练验证。下面按落地顺序把每个环节展开讲包括目录结构、标注格式、训练配置、踩坑记录和进阶用法。2. 数据集的目录结构与双格式标注体系先搞清5067个文件之间的关联规则2.1 文件命名规律与三文件对应关系拿到压缩包解压后第一件事不是急着训练而是确认文件结构和命名规则。这个数据集的标注文件命名很有规律前缀统一是firc_pic_加编号同一张图片对应的三种文件编号完全一致靠编号就能把图片、XML、TXT三件套对应起来。# 解压后查看目录结构 tar -tf 挖掘机叉车工程车辆检测数据集VOCYOLO格式5067张7类别.7z | head -50 # 或者解压到指定目录 7z x 挖掘机叉车工程车辆检测数据集VOCYOLO格式5067张7类别.7z -o./dataset命令说明第一条命令是列出压缩包内的文件列表不需要完整解压就能确认顶层目录结构第二条是真正解压-o参数指定输出目录。如果系统没有7z命令Ubuntu/Debian下执行apt install p7zip-fullCentOS/RHEL下执行yum install p7zip。解压完成后用脚本统计一下每种文件的个数确认数据和描述一致# 统计三种文件的数量 echo 图片数$(ls *.jpg | wc -l) echo XML标注数$(ls *.xml | wc -l) echo TXT标注数$(ls *.txt | wc -l)三个数字都应该等于5067。如果数量不一致说明某个样本的标注文件缺失或损坏需要先清理再进训练不然后续制作数据集索引时会报找不到标签文件之类的错。2.2 XML标注内容的五个关键字段VOC格式的XML文件是整个数据集最完整的标注形态包含了类别、坐标、尺寸、来源路径等信息。打开任意一个XML文件就能理解这套数据集的标注质量——不是只给一个坐标框就完事而是连图片自身尺寸和标注框的坐标范围都记录在内。annotation folderfirc_images/folder filenamefirc_pic_3977.jpg/filename pathE:/培训视频截图_红外/firc_pic_3977.jpg/path source databaseUnknown/database /source size width1920/width height1080/height depth3/depth /size segmented0/segmented object nameExcavator/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin412/xmin ymin578/ymin xmax938/xmax ymax886/ymax /bndbox /object /annotationXML里size节点记录图片宽高和通道数object节点描述单个目标name是类别名bndbox是标注框的绝对像素坐标。一个XML文件里可能包含多个object节点每多一个目标就多一个标注框。这个字段结构在训练之前应该完整检查一遍主要确认三件事坐标是否超出图片边界、类别名是否和预设类别表完全一致、是否存在宽或高为0的空框。2.3 TXT标注与YOLO格式的坐标归一化逻辑YOLO格式的TXT文件每一行对应一个目标核心特点是坐标做了归一化值域统一在0到1之间。这种设计让模型在不同分辨率输入下都能正常工作因为标注坐标不依赖具体像素尺寸。2 0.351823 0.677778 0.273958 0.285185 2 0.106510 0.290741 0.063021 0.168519 5 0.771875 0.683796 0.126042 0.251852每一行的5个字段含义是类别ID、中心点X归一化坐标、中心点Y归一化坐标、框宽度归一化值、框高度归一化值。拿第一行来说2是类别ID0.351823和0.677778是目标中心点位置0.273958和0.285185是框的宽和高。这套格式直接对应YOLOv5/v8的标签规范不需要任何转换。类别ID到类别名的映射关系在训练配置里非常重要数据集的7个类别定义按顺序排列。做YOLO训练前先创建数据集配置文件按顺序注册类别确保类别ID顺序与TXT标注保持一一对应。2.4 双格式共存的深层原因与使用边界VOC和YOLO两套格式在同一个数据集里共存表面上看是冗余实际上是为了适配不同训练管线。VOC格式信息更完整不只记录标注框还保留图片尺寸、文件夹来源、difficult标志等元信息方便做数据清洗和可视化校验。YOLO格式精简高效每行一条标注训练时直接解析不匹配XML的嵌套结构加载速度更快。我处理这类数据集时有个固定习惯先把XML作为真源ground truthTXT作为训练输入两边用一个脚本做交叉验证确认同一张图片的坐标换算后互相匹配。这个校验非常值得做有些数据集下载后只有图片和其中一种标注文件美其名曰简化实际上训练时才发现缺文件往返成本极高。这份数据集好在三种文件齐备校验起来也方便。import xml.etree.ElementTree as ET import os def verify_annotation(image_id, xml_dir, txt_dir): 校验同一张图片的VOC和YOLO标注是否一致 xml_path os.path.join(xml_dir, f{image_id}.xml) txt_path os.path.join(txt_dir, f{image_id}.txt) tree ET.parse(xml_path) root tree.getroot() width int(root.find(size).find(width).text) height int(root.find(size).find(height).text) voc_boxes [] for obj in root.iter(object): name obj.find(name).text box obj.find(bndbox) xmin int(box.find(xmin).text) ymin int(box.find(ymin).text) xmax int(box.find(xmax).text) ymax int(box.find(ymax).text) voc_boxes.append((name, xmin, ymin, xmax, ymax)) with open(txt_path, r) as f: yolo_lines f.readlines() assert len(voc_boxes) len(yolo_lines), f目标数量不一致: {image_id} for idx, (name, xmin, ymin, xmax, ymax) in enumerate(voc_boxes): parts yolo_lines[idx].strip().split() center_x (xmin xmax) / 2 / width center_y (ymin ymax) / 2 / height box_w (xmax - xmin) / width box_h (ymax - ymin) / height yolo_vals [float(i) for i in parts[1:]] assert abs(center_x - yolo_vals[0]) 1e-3, f中心点X偏差过大: {image_id} assert abs(center_y - yolo_vals[1]) 1e-3, f中心点Y偏差过大: {image_id} assert abs(box_w - yolo_vals[2]) 1e-3, f宽度偏差过大: {image_id} assert abs(box_h - yolo_vals[3]) 1e-3, f高度偏差过大: {image_id} print(f{image_id} 校验通过{len(voc_boxes)} 个目标) verify_annotation(firc_pic_3977, ./xml, ./txt)这段脚本的核心逻辑是先解析XML拿到VOC坐标再把坐标按图片尺寸归一化成YOLO格式最后和TXT里的数值逐一对比。误差阈值设成1e-3因为XML转TXT时小数点保留位数有限一两毫米的浮点偏差在训练中完全可接受超过这个范围就要警惕标注文件是否张冠李戴。这个校验过程看起来多了一步实际能避免训练后才发现数据错乱的局面。数据集本身质量靠得住但拿到任何数据集先本地过一遍格式与数量校验应该成为固定习惯。3. 从压缩包到可训练的数据集索引目录规整、类别文件与图片路径三件套3.1 压缩包内的隐藏文件与使用前必读数据集压缩包里除了图片和标注文件还有一个使用前必读.txt。这个文件不是摆设里面通常写了数据集的来源场景、类别中文对照、以及原始数据的背景说明。我看了一下这份数据集中的一部分图片带有电力红外巡检背景但标注本身覆盖的是通用工程车辆场景对常规施工工地和园区场景同样适用。使用前必读的价值在于让你了解数据来源形态比如图片分辨率分布和拍摄视角类型这在后面设置输入尺寸和锚框尺度时很有参考意义。3.2 目录重构从扁平结构到YOLO标准布局YOLO系列框架训练时默认按images和labels两个大目录组织数据而且要求训练集、验证集分开索引。压缩包里解压出来的是扁平结构——所有jpg、xml、txt都在同一层目录。直接训练也能跑但路径管理混乱而且验证集划分困难。所以我拿到数据的第一件事永远是重构目录mkdir -p dataset/images/train dataset/images/val dataset/labels/train dataset/labels/val # 按9:1划分训练集和验证集 ls *.jpg | shuf -n 500 | xargs -I {} mv {} dataset/images/val/ ls *.jpg | grep -v -f (ls dataset/images/val) | xargs -I {} mv {} dataset/images/train/ # 同步移动对应的txt标签 for f in dataset/images/val/*.jpg; do base$(basename $f .jpg) mv ${base}.txt dataset/labels/val/ done for f in dataset/images/train/*.jpg; do base$(basename $f .jpg) mv ${base}.txt dataset/labels/train/ done这段脚本的划分逻辑有一个关键点先用shuf随机打乱后取500张作为验证集再用grep -v把验证集文件名排除后得到训练集。同步移动标签时用basename提取不带扩展名的文件名再做拼接保证图片和TXT文件一一对应。500张验证集大约占总数的9.8%对5067张的规模来说比较合理既能稳定评估模型又不至于让训练数据缩水太多。如果后续要做K折交叉验证或者更精细的数据划分建议把划分脚本保存下来因为重新随机划分后每次结果会有差异记录划分方式有利于复现训练结果。3.3 生成YOLO训练所需的data.yamlYOLO系列训练时需要一个数据集配置文件里面记录类别数量、类别名称、训练集和验证集的图片路径。这个文件在不同框架里名字略有不同YOLOv5里叫data.yamlYOLOv8里也沿用这个约定。配置内容相对固定path: /absolute/path/to/dataset train: images/train val: images/val nc: 7 names: [ ConcreteTruck, Excavator, Forklift, Loader, Steamroller, Truck, Worker ]path字段指定数据集根目录的绝对路径train和val用相对路径框架会自动拼接。nc是类别总数这里等于7。names列表的顺序就是类别ID的顺序必须和TXT文件中标注的ID一一对应一旦排序错位训练出的模型类别含义就完全对不上。这里呈现的是YOLOv5/v8的标准配置格式。如果你用的框架是YOLOv6或者YOLOX配置文件字段名会有细微差别比如YOLOX用num_classes替代nc但核心结构基本相同。3.4 用伪标注检查图片可解码性数据集里偶尔混入损坏图片原因是拍摄中断、压缩包传输错误或者原始文件本身就没存完整。直接拿损坏图片去训练轻则这一轮跳过该样本导致有效数据量减一重则数据加载器直接崩溃。所以在启动训练前我会跑一遍图片完整性检查import os from PIL import Image def verify_images(img_dir): 遍历目录下所有jpg文件尝试打开并检查完整性 corrupted [] for root, dirs, files in os.walk(img_dir): for f in files: if not f.endswith(.jpg): continue path os.path.join(root, f) try: img Image.open(path) img.verify() # 检查文件是否损坏 except Exception: corrupted.append(path) if corrupted: print(f发现 {len(corrupted)} 张损坏图片) for c in corrupted: print(c) else: print(所有图片均可正常解码) verify_images(./dataset/images/train) verify_images(./dataset/images/val)img.verify()不等于img.load()前者只校验文件头和数据完整性不把整张图片解压到内存速度很快后者才是真正的像素解码。实际使用中verify()能查出大多数据文件损坏问题个别情况下图片能过verify()但解码时报错这时再把verify()换成load()做一次全量解码。我一般在数据到达时就跑一次全量校验后续每次重新划分数据集后不会再重复跑除非图片文件有变更。图片完整性检查做完数据预处理阶段收尾可以进入训练配置环节。4. 用YOLOv8复现训练流程从预训练权重到训练参数的取舍4.1 预训练模型的选择逻辑训练目标检测模型预训练权重的选择直接影响收敛速度和最终精度。这个数据集7个类别、5000多张图片规模不算大从零开始训练效果很难理想因为模型没有通用视觉先验。更务实的做法是下载在COCO数据集上预训练好的YOLOv8权重在它基础上做迁移学习。# 下载YOLOv8s预训练权重 wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt # 如果网络受限也可以先跑一次空训练触发自动下载 yolo detect train datadataset.yaml modelyolov8s.pt epochs1选择yolov8s而不是yolov8n或yolov8m的理由是n精度偏低对挖掘机这类小目标挖掘臂、履带等局部特征容易漏检m精度更高但训练和推理速度都明显变慢。在5000多张图片的数据规模下s是一个性价比平衡点。如果你的算力足够强比如V100或以上上yolov8m也可以但收益有限。加载预训练权重时如果类别数量不一样COCO是80类这里是7类框架会自动把最后一层分类头替换成新类别数并保留前面的特征提取层权重。这个机制意味着你不需要手动裁剪权重文件框架内部已经处理好了。4.2 训练参数的实际调整记录我用YOLOv8跑了一组训练关键参数如下这些参数值不是照搬默认值而是根据数据集特性调整过的结果。yolo detect train \ datadataset.yaml \ modelyolov8s.pt \ epochs100 \ imgsz640 \ batch16 \ lr00.01 \ lrf0.01 \ momentum0.937 \ weight_decay0.0005 \ warmup_epochs3.0 \ warmup_momentum0.8 \ warmup_bias_lr0.1 \ box7.5 \ cls0.5 \ dfl1.5 \ hsv_h0.015 \ hsv_s0.7 \ hsv_v0.4 \ degrees0.0 \ translate0.1 \ scale0.5 \ fliplr0.5 \ mosaic1.0参数说明imgsz640YOLOv8默认训练尺寸就是640配对多数GPU显存环境。如果你的卡只有8G显存imgsz640加batch16可能放不下要降batch8。batch的设置逻辑我的环境是单卡显存24Gbatch16时每步训练约占用15G左右。显存小的机器可以先试batch8。degrees0.0这个数据集图片中工程车辆的方向分布比较统一没有大规模随机旋转的必要旋转数据增强反而可能让模型学到错误的方向特征。YOLOv8在degrees参数为0时不做旋转增强只保留上下翻转fliplr0.5这对大部分目标检测任务都够用。scale0.5控制缩放增强幅度。工程车辆大小差异明显但0.5的scale已经足够让模型学习尺度不变性。如果发现小目标工人漏检率高可以适当调整这个值让模型在训练时看到更多不同尺度的目标。mosaic1.0Mosaic增强把4张图拼成一张训练对小目标检测和泛化能力提升很有帮助但如果训练后期loss迟迟不降可以考虑降到0.5左右给模型减负。训练过程中重点观察两个指标一是train/box_loss和train/cls_loss是否随epoch稳步下降二是val/box_loss和val/cls_loss是否出现反弹。如果验证集loss在某个epoch后开始回升说明模型开始过拟合可以考虑用patience参数早停。4.3 一份高质量的训练过程截图比模型文件更有说服力训练完成后产出的最佳权重位于runs/detect/train/weights/best.pt。评估模型时光看最终mAP不够还要看PR曲线、混淆矩阵和每个类别的AP值。YOLOv8训练结束后会在runs/detect/train/目录下自动生成这些图表其中confusion_matrix.png和results.png是我最常看的两个文件。如果某个类别的AP明显低于其他类别比如Worker只有0.5而其他类别都在0.8以上大概率是两种原因一是该类别的样本数量太少二是该类别的目标尺度太小模型的特征提取网络不太擅长捕捉。解决办法是针对性增加该类别的训练图片或者检查标注质量——Worker有时会被Excavator的大框包住导致学习时出现类别歧义。这里用来示例的pretrained文​​件来自Ultralytics官方release如果你对版本敏感可以锁定某个具体版本号保证实验可复现。4.4 显存不足时的替代方案如果显存不足导致训练中断优先把batch降到8或者4不要先改imgsz。因为imgsz640是匹配预训练权重输入尺寸的降到416后可以跑通但可能因为分辨率下降影响小目标检测精度。batch减半后单步迭代次数翻倍训练时间会拉长但精度通常不会明显掉。机器学习训练的内存分配法则是梯度累积和大batch的拟合能降低损失函数噪声但batch过小会让loss曲线剧烈振荡。如果你强行用了batch4可以把close_mosaic设为10意思是最后10个epoch关闭Mosaic增强让模型在正常图片上稳定收敛——这个技巧来自Ultralytics的官方trick实测对最终精度提升有帮助。5. 工程车辆检测数据集的避坑与排查格式、路径、类别映射四类高频问题5.1 解压后TXT标注文件大量出现乱码现象解压后用文本编辑器打开TXT标注文件发现内容显示歪七扭八的字符。虽然YOLO训练时用Python读取没报错但不放心总感觉数据有问题。原因TXT文件编码问题有些标注工具输出的是UTF-8编码有些是ANSI编码用Windows记事本打开时可能显示异常。另外7z压缩包如果在Windows下创建Linux下解压时可能出现换行符差异CRLF和LF混用也会让文本编辑器显示异常。解决方式直接用cat和od命令检查文件底层的字节内容不要靠图形化编辑器判断。# 查看原始字节确认编码 od -A x -c firc_pic_99.txt | head -10 # 检查文件类型和换行符 file firc_pic_99.txt如果od输出的内容和期望的标注格式一致只是行尾多了\r不影响YOLO训练器解析YOLO的加载逻辑能自动剥离\r。但如果你要写自定义数据加载器最好做一次统一格式清洗# 统一所有TXT文件为UTF-8无BOM、LF换行 find . -name *.txt -exec sed -i s/\r$// {} 这类问题不会让训练直接崩但会在你手动写数据检查工具时悄悄埋雷。我一般拿到数据就统一做一遍换行符清洗避免后续每次解析都有奇怪的边界bug。5.2 VOC和YOLO坐标对不上差了整整一个数量级现象用脚本交叉验证VOC和YOLO坐标时发现YOLO格式的坐标值全部是0.0x级别的值把VOC坐标归一化后得到的值却超过了1。原因TXT文件里的坐标不是归一化值而是像素坐标。当XML标注的图片分辨率是1920×1080px坐标值在300到1500之间直接放进TXT里当YOLO标注用训练时模型会把几百几千的坐标当作归一化值强行解析导致边界框完全错乱。解决方式先确认这份数据集的TXT标注到底用的是哪种格式。YOLO标准是0到1的归一化值但有些标注工具导出的TXT直接存储像素坐标。检查方法是读一行TXT看其数值范围# 读取第一行TXT标注 head -3 firc_pic_99.txt # 如果第二列到第五列都小于1是归一化格式 # 如果数值在几十到两千之间是像素坐标需要转换如果是像素坐标用以下脚本统一转换import os import xml.etree.ElementTree as ET def convert_pixel_to_normalized(txt_dir, xml_dir, output_dir): for txt_file in os.listdir(txt_dir): if not txt_file.endswith(.txt): continue base txt_file.replace(.txt, ) xml_path os.path.join(xml_dir, base .xml) tree ET.parse(xml_path) root tree.getroot() width int(root.find(size).find(width).text) height int(root.find(size).find(height).text) with open(os.path.join(txt_dir, txt_file), r) as f: lines f.readlines() new_lines [] for line in lines: parts line.strip().split() if len(parts) 5 and float(parts[1]) 1.0: cls parts[0] cx float(parts[1]) / width cy float(parts[2]) / height w float(parts[3]) / width h float(parts[4]) / height new_lines.append(f{cls} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}\n) else: new_lines.append(line) with open(os.path.join(output_dir, txt_file), w) as f: f.writelines(new_lines) convert_pixel_to_normalized(./txt, ./xml, ./txt_normalized)转换逻辑的核心是用XML里记录的图片宽高做归一化分母除以宽高后圆心坐标和宽高都落入0到1区间。转换后重新跑之前写的验证脚本这次坐标就能对齐。这类问题通常在从第三方下载数据集时出现自己标注的数据一般不会有这个风险。5.3 训练时mAP表现不错但推理检测不出小目标工人现象训练100个epoch后验证集mAP50达到0.85以上但推理测试时发现距离稍远的工人占画面不到5%的小目标完全检测不到只有靠近镜头的工人能命中。原因这套数据的原始图片以1920×1080高清图为主训练时缩放到640×640小目标的像素面积急剧缩小。一个在原始图片中占据50×80像素的工人缩放到640×640后可能只剩20×30像素特征信息非常少模型难以区分工人和背景纹理。解决方式分两步走。第一步先把训练输入尺寸从640提升到960或者1280通常能直接拉高小目标AP。第二步针对小目标做Tiling策略——把原始大图切成若干小块分别检测再合并结果。# 用更大的输入尺寸重新训练 yolo detect train \ datadataset.yaml \ modelyolov8s.pt \ epochs100 \ imgsz1280 \ batch8从640调到1280后显存占用会翻4倍左右面积是平方关系所以要同时把batch从16下调到8甚至4。训练时间也会明显变长但工人这个类别的AP通常能从0.5提升到0.7以上。这是解决工程车辆场景小目标问题的常用方案。如果显存确实撑不住1280另一个思路是只在推理阶段使用高分辨率训练阶段仍然用640。推理通用的做法是yolo predict时指定imgsz1280模型在推理时按指定尺寸缩放。不过这种做法不是首选因为训练和推理的输入分布不一致会影响最终效果。5.4 类别名大小写不一致导致训练报错现象制作data.yaml时类别名直接复制摘要里的[“ConcreteTruck”,“Excavator”...]结果训练时报错说class name mismatch。原因XML里的类别名可能是ConcreteTruck但不同文件的标注在导出时出现了concretetruck或者Concrete_Truck这类名称变体客户端和训练端对不上。解决方式训练前用脚本对XML和类别名做一次清洗把名称统一映射成目标命名规则。import os import xml.etree.ElementTree as ET name_mapping { ConcreteTruck: ConcreteTruck, concretetruck: ConcreteTruck, Concrete_Truck: ConcreteTruck, Excavator: Excavator, excavator: Excavator, Forklift: Forklift, forklift: Forklift, Loader: Loader, Steamroller: Steamroller, Truck: Truck, Worker: Worker } def normalize_xml_names(xml_dir): for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue path os.path.join(xml_dir, xml_file) tree ET.parse(path) root tree.getroot() for obj in root.iter(object): name obj.find(name).text if name in name_mapping: obj.find(name).text name_mapping[name] tree.write(path, encodingutf-8, xml_declarationTrue)这个脚本遍历全部XML文件把目标名称统一成类别定义中的主名称。注意如果同一个XML里两个目标用的是不同写法的同类别名比如一个ConcreteTruck、一个concretetruck清洗前需要先确认它们确实是同一个类别比如在数据集类别表里都有对应项再合并。5.5 标注框把整张图框住模型训出大量无效背景现象训练完成后可视化验证集推理结果发现很多预测框是整张大框——比如一个Excavator框变成了覆盖整个画面的390×300框。显然不是合理的检出。原因这是标注质量问题。个别XML文件里的bndbox坐标异常比如xmin0, ymin0, xmax1920, ymax1080整个框就是图片本身的大小。训练时模型把这些异常框当作真值学习AUC和定位结果都会被带偏。解决方式把这种异常框过滤掉。一个直观的判定是框面积超过图片面积90%就跳过同时对宽高比过大或过小的框也要留心。import os import xml.etree.ElementTree as ET def filter_bad_boxes(xml_dir, txt_dir, output_dir): 过滤掉面积占比过大的异常标注框 for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue base xml_file.replace(.xml, ) tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() width int(root.find(size).find(width).text) height int(root.find(size).find(height).text) img_area width * height objects root.findall(object) valid_boxes [] for obj in objects: box obj.find(bndbox) xmin int(box.find(xmin).text) ymin int(box.find(ymin).text) xmax int(box.find(xmax).text) ymax int(box.find(ymax).text) w xmax - xmin h ymax - ymin area_ratio w * h / img_area aspect_ratio w / h if h 0 else 0 if area_ratio 0.9 and 0.05 aspect_ratio 20: valid_boxes.append(obj) # 移除异常框重新写回XML for obj in objects: root.remove(obj) for obj in valid_boxes: root.append(obj) tree.write(os.path.join(xml_dir, xml_file)) # 同步清洗TXT文件 txt_path os.path.join(txt_dir, base .txt) if os.path.exists(txt_path): with open(txt_path, r) as f: lines f.readlines() new_lines [] for line in lines: parts line.strip().split() x float(parts[1]) # 归一化中心x y float(parts[2]) w_box float(parts[3]) h_box float(parts[4]) if w_box * h_box 0.9 and 0.05 w_box / h_box 20: new_lines.append(line) with open(txt_path, w) as f: f.writelines(new_lines)这套过滤逻辑的思路很直接先算出每个框占原图面积的比例比例超过0.9就视为整图框同时过滤宽高比异常的目标。阈值定成0.9是因为正常的工程车辆框占整张图比例一般在0.01到0.6之间极少超过0.8。如果数据集背景单一比如固定位置的摄像头这个阈值可以适当收紧。6. 用混淆矩阵和锚框设置做检测精度调优把工人漏检率压下去训练跑完之后模型权重拿到手只是第一步。真正要落地的是把这个模型在真实工地场景里跑起来并且保证关键类别尤其是工人和挖掘机的检测精度够用。这一章侧重讲两个调优方向用混淆矩阵诊断类别混淆问题以及针对小目标优化锚框设置。6.1 混淆矩阵找出类别之间的互相认错模式YOLOv8训练完会在runs/detect/train/目录下生成confusion_matrix.png。这张图能直观告诉你哪两个类别经常被模型搞混。以这个数据集为例常见混淆模式有两组第一组是Truck和ConcreteTruck。混凝土运输车本质上就是一种卡车如果训练数据里两者出现场景高度重叠模型很容易把混凝土车识别成普通卡车或者反过来。这个问题的本质是类别定义边界模糊——相同外形、不同用途的目标人类可以凭借背景信息区分模型只能靠外观特征。看一下混淆矩阵上这两个类别的交叉点数值如果超过15%建议做两件事一是确认训练数据里两类样本是否有足够的差异性比如混凝土车通常带有搅拌罐体二是考虑把这两类合并成一个Truck类后续如果需要细分再单独收集带搅拌罐特征的样本补充训练。第二组是Worker和Excavator。当工人站在挖掘机旁边或者正在操作挖掘机时两个目标的边界框高度重叠模型在NMS阶段容易把工人的框抑制掉。混淆矩阵上表现为Worker被误检成Excavator。这种场景非常常见因为工人和挖掘机的空间位置天然强相关。缓解办法是在后处理阶段调低NMS的IoU阈值默认0.45可以试试0.3让两个高度重叠的框同时保留下来。我是这样处理的from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict( sourcetest_images/, conf0.25, iou0.3, imgsz1280 )iou0.3意味着两个框的IoU超过0.3才会被NMS合并比默认的0.45更宽松工人和挖掘机的重叠框更容易同时存活。这个改动通常能拿回不少被吞掉的工人框。代价是重叠物体的误检也会变多需要根据实际场景微调。6.2 锚框尺寸让先验框匹配工程车辆的尺度分布YOLOv8虽然默认使用自适应锚框但训练时会根据数据集分布重新计算先验框大小。如果你用的是YOLOv5或者更早的版本锚框是人工设置的。从这份数据集里我看出来的一个规律是Worker类别的小目标居多标注框面积占比普遍在0.1%到2%之间ConcreteTruck和Steamroller这类大型车辆框面积占比可以达到20%到40%。锚框尺寸如果不匹配这个分布小目标漏检率会明显偏高。如果框架支持自定义锚框做法是先统计数据集标注框的宽高分布import os def analyze_bbox_sizes(txt_dir): 统计数据集标注框的宽高分布用于设置锚框尺寸 widths [] heights [] for txt_file in os.listdir(txt_dir): if not txt_file.endswith(.txt): continue with open(os.path.join(txt_dir, txt_file), r) as f: for line in f: parts line.strip().split() w float(parts[3]) h float(parts[4]) widths.append(w) heights.append(h) print(f平均宽度: {sum(widths)/len(widths):.4f}) print(f平均高度: {sum(heights)/len(heights):.4f}) print(f宽度中位数: {sorted(widths)[len(widths)//2]:.4f}) print(f高度中位数: {sorted(heights)[len(heights)//2]:.4f}) analyze_bbox_sizes(./txt)统计结果出来后如果Worker类别的标注宽高普遍在0.02到0.06之间而大型车辆的宽高在0.2到0.5之间锚框就应该按这个尺度分布去设定小、中、大三组锚框。实操经验是与其手动精调锚框不如优先保证训练输入尺寸和Mosaic增强的配置合理。自适应锚框机制在YOLOv8里已经做得够好省下的时间用在优化数据本身更划算。手动改锚框是最后一步而且改完一定要跑实验对比mAP变化锚框改对了通常涨1到2个点的mAP50改错了反而会掉点。6.3 用TTA测试时增强做最后的精度兜底当模型精度就差那么一两个点不想重新训练又想要更低漏检率时TTA是最省事的办法。TTA的意思是在推理阶段对输入做多种变换翻转、缩放等把所有预测结果合并后再输出用小幅推理耗时换取检测精度。model YOLO(runs/detect/train/weights/best.pt) results model.predict( sourcetest_images/, conf0.25, iou0.3, imgsz1280, augmentTrue # 开启TTA )开启augmentTrue后推理时间会变成原来的3到5倍。对实时性要求不高的场景比如离线视频分析、定时巡检抓拍这个代价可以接受。实测下来TTA对Worker这种小目标类别的提升最明显通常能涨2到4个点的AP。我第一次拿这个数据集训练时Worker的AP只有0.43mAP50在0.78左右。做了三个改动之后——把imgsz从640升到1280、iou从0.45降到0.3、推理阶段开TTA——Worker的AP涨到0.67mAP50到了0.85。这个提升主要源于输入分辨率的提升后两个改动负责把重叠场景里被抑制的目标捡回来。从那以后我每次拿到一个新的检测数据集都会强制自己先跑一遍analyze_bbox_sizes和类别分布统计把数据画像摸清了再动训练参数。不光是数据集本身能用好换成其他场景的数据也能直接套用这套流程。希望这份数据集的拆解和调优记录帮到你少走几趟弯路。本文还有配套的精品资源点击获取