简介粉尘检测数据集包含922张真实环境监测场景图片及其标注文件采用YOLO目标检测格式面向需要训练粉尘颗粒物检测模型的AI开发者、环保技术研究人员与工业安全工程人员。数据集划分明确训练集797张、验证集83张、测试集42张统一标注为粉尘类别边界框坐标与类别标签完整可直接接入YOLO系列框架训练与验证。压缩包共1846个文件主要包含922张图像、922份标签文本、1个模型配置文件与1份说明文档总大小约59.23MB目录清晰便于按划分集使用。目前已有261人学习下载适合用于环境空气监测预警、建筑工地与工厂粉尘防控等专项模型开发。依托真实场景中多样化的粉尘形态可提升模型在复杂光照与背景下的泛化能力配套说明文档与配置文件能帮助初学者快速了解数据结构与训练参数聚焦粉尘检测这一细分任务为环保与职业健康安全领域的AI落地提供可靠的数据基础。1. 粉尘检测数据集.zip 是什么解压前先弄清楚这几件事粉尘检测数据集.zip这一名字听着像个现成武器但多数人解压后就卡住图片有一堆标签格式对不上类别比例失衡远处的粉尘小到标注框只有几十个像素。我把处理这类数据集的路子完整走一遍从解压一个 zip 开始到 YOLOv8 训练再到拿指标排查为什么漏检适合做工地扬尘、工厂车间、矿山粉尘等视觉识别的算法工程师或安监项目集成商。看完你可以判断这个方向值不值得投入——如果数据质量本身有问题后面的模型调参大多是玄学。2. 解压与盘点先把 zip 伪加密、解压乱码和目录结构一次看全2.1 用 7-Zip 识别 zip 伪加密并安全解压拿到任何标注数据集的 zip我都不建议直接在 Windows 上右键“全部提取”。这类包从网盘、同事移动硬盘、线上标注平台传下来很可能被加过密码或压缩工具改过标志位。最常见的是 zip 伪加密文件头里有个通用位标记general purpose bit flag第 0 位被置成 1表示“此条目有密码”但实际数据流没有做任何加密。Windows 的资源管理器信了这个标志弹窗要密码7-Zip 则直接无视它。7z x 粉尘检测数据集.zip -o./dust_data -y-o指定解压目录后面不能加空格写成-o./dust_data-y表示遇到覆盖询问全部同意。如果 7-Zip 直接开始解压这个包就是伪加密不用去找 zip 密码移除之类的工具。如果命令停在Enter password说明确实有加密只能向提供数据的人要密码。在 Linux 服务器上如果只有 unzip伪加密包会提示needs password这时先apt install p7zip-full再回来用7z。解压前建议先测试压缩包完整性避免解压到一半报错7z t 粉尘检测数据集.zip输出的每一项如果显示OK则文件没问题有Data Error的项说明包体损坏。这种情况直接重新下载或找原始文件后续所有步骤都别再基于这个包做。2.2 解压后的目录盘点图片、标注、类别文件各归哪解压完先别急着翻图。我一般用三条命令看清楚里面有什么。find dust_data -maxdepth 2 -type f | sed s/.*\.// | sort | uniq -c ls dust_data第一条从扩展名角度统计文件类型分布第二条看顶层目录。正常的粉尘检测包基本长这样images里是 jpg/pngannotations里是 xml/json/txtclasses.txt写类别名。如果只有images而没有标注目录那这个 zip 就只是个图片包不是可训练数据集后续需要重新标注。再看图片和标注数量是否对得上find dust_data/images -type f | wc -l find dust_data/annotations -type f | wc -l如果标注数量明显少于图片说明里面有大量负样本也就是没有目标的背景图。YOLO 训练时负样本需要单独处理不能直接和正样本一起当训练对。如果两类数量完全一致大概率每张图都有标注训练前还要确认标注文件里有没有空文件。然后校验图片是否能正常打开。有的包为了压缩体积把传输过程中损坏的图片也塞进来了文件存在但图像数据是坏的。from pathlib import Path from PIL import Image img_dir Path(dust_data/images) broken [] for p in img_dir.iterdir(): if p.suffix.lower() not in (.jpg, .jpeg, .png): continue try: with Image.open(p) as im: im.load() except Exception as e: broken.append((p.name, e)) print(fbroken images: {len(broken)}) for name, err in broken[:10]: print(name, err)im.load()会把像素数据真正读入内存能抓出文件头正常但内容已损坏的图片。如果 broken 数量过大直接从源头重下不要硬着头皮训练。这个脚本在拿到任何数据集 zip 后都值得保留后面每次换数据集都能用。2.3 判断标注格式VOC、COCO、YOLO 一眼认出粉尘检测数据的标注格式最常见是三种其中 COCO 结构基本沿用 coco2017 数据集结构。判断方法不用靠猜打开标注目录扫一眼即可。import json from pathlib import Path ann_dir Path(dust_data/annotations) if list(ann_dir.glob(*.xml)): print(VOC XML) elif list(ann_dir.glob(*.json)): p list(ann_dir.glob(*.json))[0] data json.loads(p.read_text(encodingutf-8)) print(keys:, list(data.keys())) if annotations in data and categories in data: print(COCO-style JSON) else: txt_count len(list(ann_dir.glob(*.txt))) print(fpossible YOLO txt, count{txt_count})COCO json 的顶层一定是images、annotations、categories三个字段annotations里的每条记录有area、bbox、category_id其中bbox是[x, y, width, height]单位是像素。VOC 格式是 xml每个对象在object节点下边界框字段bndbox是xmin, ymin, xmax, ymax也就是左上角和右下角坐标。YOLO 格式则是 txt每行五个数类别索引、归一化中心 x、归一化中心 y、归一化宽、归一化高。从标注格式能反推数据产生的时间线人工手工标的多是 VOC标注平台导出多半是 COCO搬运过一手大概率被转成 YOLO。如果是 YOLO txt还要打开看几行确认不是绝对坐标。3. 把 VOC/COCO 粉尘标注转换成 YOLO 格式转换脚本与四个参数3.1 为什么训练前必须统一格式YOLOv8 的训练管线只认 YOLO 格式的标签一张图对应一个 txt省去运行时解析 json/xml 的开销也更容易和 OpenCV 的数据增强配合。因此第一步是把标注统一成 YOLO 格式而不是把 yaml 直接指向 VOC 或 COCO 文件。转换过程常见的四个参数是类别顺序、图像宽高、归一化方式、输出目录。任何一项错了训练都能跑通但指标永远是废的。3.2 VOC XML 转 YOLO 的脚本下面这段脚本可以处理大部分 VOC 标注烟尘数据。import xml.etree.ElementTree as ET from pathlib import Path def voc_to_yolo(xml_path, class_names, out_dir): tree ET.parse(xml_path) root tree.getroot() size root.find(size) w int(size.find(width).text) h int(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) x_center (xmin xmax) / 2 / w y_center (ymin ymax) / 2 / h bw (xmax - xmin) / w bh (ymax - ymin) / h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {bw:.6f} {bh:.6f}) out_path out_dir / (xml_path.stem .txt) out_path.write_text(\n.join(lines), encodingutf-8) class_names [dust] # 按实际 classes.txt 顺序填 xml_dir Path(dust_data/annotations) out_dir Path(dust_data/labels) out_dir.mkdir(exist_okTrue) for xml_path in xml_dir.glob(*.xml): voc_to_yolo(xml_path, class_names, out_dir)逻辑说明脚本先从size节点读取图像宽高坐标归一化必须有这个值bndbox的四个数是绝对像素坐标要转成中心坐标和宽高比class_names的顺序必须和之后的data.yaml完全一致如果一个类别在classes.txt里排在 index 2这里也要放 index 2。如果 xml 里出现脚本没见过的类别名会被直接跳过所以转换前先检查类别拼写。先跑这条命令看实际标注里有哪些类别名grep -h name dust_data/annotations/*.xml | sort | uniq -c输出每一行的类别名和出现次数。把出现过的类别按你想要的目标顺序填进class_names不要按字母序或外观顺序乱排。3.3 COCO JSON 转 YOLO 的脚本如果打开 json 后看到典型的 COCO 结构用下面脚本转换。import json from pathlib import Path def coco_to_yolo(json_path, out_dir): data json.loads(open(json_path, encodingutf-8).read()) cat_id_to_idx {cat[id]: i for i, cat in enumerate(data[categories])} img_id_to_info {img[id]: img for img in data[images]} anns_by_img {} for ann in data[annotations]: anns_by_img.setdefault(ann[image_id], []).append(ann) for img_id, anns in anns_by_img.items(): img img_id_to_info[img_id] w, h img[width], img[height] name Path(img[file_name]).stem lines [] for ann in anns: cls_id cat_id_to_idx[ann[category_id]] x, y, bw, bh ann[bbox] x_center (x bw / 2) / w y_center (y bh / 2) / h bw_norm bw / w bh_norm bh / h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {bw_norm:.6f} {bh_norm:.6f}) (out_dir / f{name}.txt).write_text(\n.join(lines), encodingutf-8) out_dir Path(dust_data/labels) out_dir.mkdir(exist_okTrue) coco_to_yolo(dust_data/annotations/train.json, out_dir)这段脚本有三个关键点。第一COCO 的category_id不是连续索引可能从 1 开始也可能中间缺号所以要先通过categories列表重新映射成 0 开始的索引。第二COCO 的bbox是[x, y, width, height]转 YOLO 时要先算出中心点再归一化。第三file_name可能是相对路径这里取Path(img[file_name]).stem避免带出子目录名。转换后如果出现负数坐标或因边框越过图像边界导致宽高比大于 1可以在写行前加一段保护x_center min(max(x_center, 0.0), 1.0) y_center min(max(y_center, 0.0), 1.0) bw_norm min(bw_norm, 1.0) bh_norm min(bh_norm, 1.0)这段保护不是万能药。坐标大面积越界说明原 json 的width/height和实际图片尺寸不一致需要优先查数据源头。3.4 转换后的四轮检查清单转换脚本跑完训练前要过四轮检查。# 1. 标注文件数量是否等于图片数量 ls dust_data/images/*.jpg | wc -l ls dust_data/labels/*.txt | wc -l # 2. 抽查坐标范围x_center, y_center, w, h 都应小于 1 head -3 dust_data/labels/00001.txt # 3. 找出越界坐标 awk {if ($20 || $21 || $30 || $31 || $40 || $41 || $50 || $51) print} dust_data/labels/*.txt | head # 4. 空标注文件统计 find dust_data/labels -name *.txt -size 0 | wc -l坐标越界的行会直接打在屏幕上有输出就要回查转换脚本。空 txt 表示该图没有目标YOLO 训练时会把这张图当背景。如果空文件占比超过 10%模型很容易偏向负样本导致 recall 掉得厉害。还有一个常见坑手机或相机拍的图带 EXIF 旋转信息但 json 里的宽高用的是文件头尺寸两者相反时所有框都会错位。转换前随机找几张图用 OpenCV 读一次和标注文件的宽高对比。python -c import cv2; im cv2.imread(dust_data/images/00001.jpg); print(im.shape)如果输出是(width, height, 3)还是(height, width, 3)要看具体写法重要的是先确认图片实际排列和标注一致。4. 用 YOLOv8 训练自己的粉尘数据集最小命令与三个关键参数4.1 目录重组与 data.yaml训练前先把数据整理成 YOLO 要求的目录结构dust_data/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── dust.yamlimages和labels目录必须同级同名YOLO 才能通过图片路径自动找到对应的 txt。如果解压出来是单一images和labels目录需要先划分但不能按单张图随机分。粉尘数据很多来自视频抽帧同一场景的连续帧在画面内容上非常相似如果同时进训练集和验证集指标会虚高到不真实。按场景分组的拆分脚本如下import random from pathlib import Path img_root Path(dust_data/images) src_labels Path(dust_data/labels) scene_groups {} for img in img_root.glob(*.jpg): scene_id img.name.rsplit(_, 1)[0] # 假设文件名是 scene_0001.jpg scene_groups.setdefault(scene_id, []).append(img) scene_list list(scene_groups.keys()) random.Random(42).shuffle(scene_list) train_scenes scene_list[:int(len(scene_list) * 0.85)] val_scenes scene_list[int(len(scene_list) * 0.85):] for split, scenes in [(train, train_scenes), (val, val_scenes)]: (img_root / split).mkdir(exist_okTrue) (src_labels / split).mkdir(exist_okTrue) for scene in scenes: for img in scene_groups[scene]: img.rename(img_root / split / img.name) txt src_labels / (img.stem .txt) if txt.exists(): txt.rename(src_labels / split / txt.name)固定随机种子Random(42)保证每次拆分结果一致方便对比模型改动前后的效果。用rename会直接移动原始文件如果不想改原目录把rename换成shutil.copy2即可。文件名中间的分隔符不一定是下划线先ls dust_data/images | head -5看命名规律再改拆分逻辑。拆分后写dust.yamlpath: C:/work/dust_data train: images/train val: images/val names: 0: dust 1: smokepath建议写绝对路径避免训练时相对路径解析出错train和val是相对path的目录不要再写成dust_data/images/train。names的索引顺序必须与转换脚本里的class_names顺序一致。如果只有一个类别也要写成0: dustYOLO 不支持从 1 开始的类别编号。4.2 训练命令先小模型跑通再谈调优环境装好后最小可用训练命令是这样pip install ultralytics yolo detect train datadust.yaml modelyolov8n.pt epochs50 imgsz640 batch8 device0modelyolov8n.pt是 nano 版本先拿它跑通流程验证数据和标注没有大问题再换yolov8s.pt或yolov8m.pt。一次性上大模型遇到代码或数据问题排错成本高很多。epochs50是第一批的稳妥值不要一上来就训练 300 轮看前 50 轮的 loss 和 mAP 趋势就能判断数据质量。batch8按显存调整8GB 显存跑 640x640 的 nano 问题不大OOM 就降到 4 或 2。如果训练中因为断电、显存溢出中断有后悔药可用yolo detect train resume modelruns/detect/train2/weights/last.ptultralytics 会自动读取训练状态并续跑不需要重新加载数据集。这也提醒我们训练中途尽量不要手动改data.yaml或目录结构否则续跑时标签对不上。4.3 三个关键参数imgsz、batch、close_mosaic粉尘检测最关键的参数是imgsz。粉尘目标通常比较小远处扬尘可能只占几十个像素imgsz640只是起步线。显存允许的情况下试试imgsz960小目标的 mAP 往往能涨 5 个点以上。显存不够时不要先降 imgsz优先降 batch然后用梯度累积补回来。第二个是batch。它不只是一个显存参数也会影响 BN 层的统计量。小数据集上 batch 不要拉太大模型在小 batch 下收敛更稳。粉尘数据集通常只有几千到几万张图batch16已经够用。第三个容易被忽略的是close_mosaic。建议在训练末尾把 mosaic 增强关掉yolo detect train datadust.yaml modelyolov8n.pt epochs50 imgsz960 batch8 close_mosaic10close_mosaic10表示最后 10 个 epoch 不再使用 mosaic。mosaic 会把四张图拼在一起小目标被切碎后期模型需要回到真实数据分布上精调否则检测框会偏大或位置不稳。4.4 跑完先看五个数字再决定要不要继续训练结束后的验证命令yolo detect val modelruns/detect/train/weights/best.pt datadust.yaml输出里先看五个数字precision、recall、mAP50、mAP50-95、fitness。粉尘检测的应用场景是安监和环保漏检一个扬尘源的代价比误报更大所以重点看recall而不是单纯 mAP。如果mAP50高但mAP50-95低说明框的定位不稳框的边界和真实边界吻合度差这和标注框边界模糊高度相关。此时调模型不如先清理标注。第一次跑通后去runs/detect/train/目录下看results.png、confusion_matrix.png和val_batch*.jpg。results.png里如果 loss 曲线在最后 10 轮还在大幅波动说明学习率或增强策略还有问题confusion_matrix.png则能直接暴露模型把背景误判成粉尘的情况。5. 粉尘检测常见坑与排查从类别失衡到边界框抖动这个方向坑特别多而且很多不在模型侧在数据和标注侧。我按三个层面记录踩过的坑每条按现象、原因、解决排。5.1 文件层解压乱码和损坏图片现象解压后文件目录名和图片名全是乱码用 Python 读标注文件报UnicodeDecodeError。原因压缩包里文件名用的是 GBK 编码Windows 自带解压按本地编码处理老工具打包时常出这个问题。标注文件内容也可能不是 UTF-8导致 json/xml 解析失败。解决用 7-Zip 重新解压它在编码处理上更宽容如果还不行用 Pythonzipfile读取原始文件名字节再按 GBK 解码后重命名。最直接的办法是让提供方重新打包一份 UTF-8 编码的 zip很多包重传一次就省掉后面的折腾。现象训练到某个 epoch 突然报错Loss变成nan而且复现时随机崩重新跑一遍可能不崩。原因图片文件损坏但扩展名还是 .jpg数据加载时 OpenCV 读到空图某些增强操作把空图变成nan张量。这类问题很隐蔽因为数据集管理器认为文件存在就合法。解决训练前用cv2.imread遍历每张图返回None的直接删除或者把这些图片单独放到 ignore 目录不打进数据 yaml。习惯上我会把这一步写进数据体检脚本每次拿到新 zip 先跑一遍避免中途翻车。5.2 标注层边界模糊、小目标和类别不平衡现象同一个扬尘点在相邻几帧里检测框忽大忽小模型输出也跟着抖动。原因粉尘边缘是半透明渐变标注员很难统一“哪条边是边界”。有人框核心浓度区有人把淡薄外沿也框进去模型学到的边界标准是乱的。解决在标注规范里定义“可见浓度边”只框高浓度核心区低浓度外沿不框。如果数据集已经标完清洗比调参更有效——把明显的越界框重新标一遍或者删掉边界争议大的样本。这是血泪经验模型对边界模糊的框再怎么调 IoU 阈值都没用。现象模型对远处粉尘完全没反应但整体 mAP 不低。原因远处粉尘框只有十几个像素YOLO 骨干下采样到 1/32 后特征几乎消失mAP 被近处大目标拉高了远处小目标的问题被平均指标掩盖。解决训练时把imgsz提到 960数据增强里保留更多小目标推理阶段用切片推理把大图切成 640x640 的小块分别检测后再合并。小目标不是玄学是分辨率和特征尺度的问题。现象某一类样本太少训练后该类别的 precision/recall 永远是 0。原因类别不平衡严重模型把少数类别全当成背景。粉尘相关数据里常见“只有烟尘没有火焰”或“只有火焰没有烟尘”的单边分布。解决先统计每个类别的实例数。方法是遍历 labels 下所有 txt统计第一列每个索引的出现次数。少数类别过采样复制该类别的图片和 txt加入训练集或者删除部分多数类别样本把比例压到 1:3 以内。YOLOv8 没有直接的 class weight 参数常见做法就是过采样别指望 loss 自动均衡。5.3 训练策略层数据泄漏和类别索引错位现象验证集 mAP 高达 0.93部署到现场却漏检严重。原因数据划分时按单张图随机切分同一视频的连续帧同时进了 train 和 val网络等于提前见过答案。视频抽帧数据集尤其容易犯。解决按视频片段或场景目录划分而不是按单张随机分。上面 4.1 的脚本已经处理了这一点但要注意文件名前缀的提取必须准确否则分组失效。现象某张图预测出来的类别索引和实际完全对不上比如粉尘标成了 3。原因data.yaml的names顺序和转换脚本里的class_names不一致或者原标注数据里有一个类别标号偏离。解决训练前检查所有标签文件的最大类别索引必须小于names的长度。ls dust_data/labels/*.txt | xargs awk {if ($1 max) max$1} END {print max class idx:, max}如果输出大于等于类别数说明有标签索引越界回查转换脚本的类别映射。这个坑经常在“别人转好的数据”里出现拿到手不要直接信标注版本号先跑这一行。6. 验证与进阶用混淆矩阵和切片推理压出模型上限训练完先不要急着部署。我一般会打开runs/detect/train/confusion_matrix.png重点看背景列非零值。粉尘检测最常见的问题不是把粉尘认成别的而是把背景认成粉尘直观表现就是背景那一列非零值过大。如果只盯 mAP很容易被加权结果骗过去。下一步是切片推理。粉尘监控画面往往是大画幅相机或 4K 球机整图直接送进模型远处的目标缩到几十像素检测效果很差。常见做法是用 SAHI 这类切片推理工具把大图切成小块每块单独做检测再把结果合并回原图坐标。from sahi.model import Yolov8DetectionModel from sahi.predict import get_sliced_prediction model Yolov8DetectionModel( model_pathruns/detect/train/weights/best.pt, confidence_threshold0.25, ) result get_sliced_prediction( test_images/dust_site_014.jpg, model, slice_height640, slice_width640, overlap_height_ratio0.2, overlap_width_ratio0.2, )切片大小和训练时的imgsz保持一致重叠率 0.2 能避免目标刚好被切到边界时丢失。拼接回原图后如果检测框边缘锯齿明显说明切片重叠率不够或置信度阈值太低。我的习惯是每次拿到这样的数据集包先写一个检查脚本把文件数量、空标签、越界坐标、重复图片 md5 全部打印出来再做格式转换和训练。模型调参再精细也补不了数据集的债。先花半天把数据底细摸清后面能省下好几天的调参时间。希望帮到你。本文还有配套的精品资源点击获取