简介这份资源面向从事深度学习目标检测的开发者与研究者提供一套可直接用于训练的光伏板缺陷检测数据集覆盖YOLO系列、Faster R-CNN、SSD等主流模型帮助解决工业场景下缺陷样本获取难、标注成本高的问题。压缩包共约2000个文件以1999个txt标注文件和1个yaml类别配置文件为主txt对应每张图片的边界框与类别信息yaml则声明Crack、Grid、Spot三类缺陷及数据路径整体约311MB图片与标签已按训练集、验证集、测试集划分完毕开箱即可投入训练。目前已有1915人学习下载适合需要快速验证算法或开展光伏巡检课题的中高级实践者。读者可借此省去数据采集与标注环节直接聚焦模型选型、超参调优与精度对比同时借助清晰的目录结构理解标准检测数据集的字段组织方式为迁移到其他工业缺陷场景提供参考。1. 光伏板缺陷检测数据集与目标检测从航拍到落地的第一道坎光伏电站的运维人员最怕什么不是逆变器报警而是巡检报告里写着“3号方阵第12串组件存在热斑”你带着人爬上去发现是鸟粪。这种“狼来了”的戏码根源往往不在模型而在数据集。光伏板缺陷检测数据集配上目标检测算法要解决的就是把航拍红外或可见光图像里的异常区域框出来并分清是隐裂、热斑、二极管故障还是表面污渍。这件事适合谁手里有无人机航拍图、想用 YOLO 系列快速搭一套巡检辅助系统的算法工程师以及被外包标注质量坑过、决定自己动手的数据负责人。别急着上 yolov26 或者纠结多模态融合先把数据集这一关过了模型微调崩了十有八九是标注格式或类别定义埋的雷。这一章不讲虚的只拆清楚光伏板缺陷目标检测的数据集长什么样、和通用目标检测数据集有什么本质区别、以及为什么你拿到的第一版数据大概率不能用。2. 光伏板缺陷数据集从原始航拍图到 YOLO 可读格式的四个硬步骤2.1 缺陷类别定义与标注边界为什么“热斑”和“污渍”最容易标混拿到一批航拍图第一件事不是打开 LabelImg 就画框。光伏板缺陷的类别体系直接决定模型上限。常见做法是分五类隐裂、热斑、二极管故障、表面污渍、玻璃破裂。但这里有个血泪经验——热斑和污渍在红外图里都表现为亮斑区别在于热斑边缘模糊且温度梯度大污渍边缘锐利且温度均匀。如果你让标注员凭肉眼判断一致性不会超过 70%。我一般会先定一份标注手册用温度阈值辅助红外图中亮斑区域与周边温差超过 15℃ 且形状不规则标为热斑温差低于 10℃ 且形状贴合组件边缘标为污渍。可见光图里污渍有颜色纹理热斑通常不可见。标注框的边界要贴着缺陷外接矩形不要留太多背景否则模型学到的全是组件边框特征。另一个坑是“隐裂”。隐裂在可见光下几乎不可见在 EL 图像里才清晰。如果你的数据集混了可见光和 EL 图必须分域标注否则模型会精神分裂。常见做法是给每张图打上domain标签训练时做域自适应或者干脆分两个模型。新手建议先只做红外热斑和可见光污渍两类跑通再扩类。提示类别数不是越多越好。5 类以下每类至少 500 个实例模型才有稳定表现。少于 200 个实例的类别直接合并或放弃。2.2 从 VOC 到 YOLO转换脚本与四个边界坑很多公开的光伏板缺陷数据集是 VOC 格式XML 文件里藏着bndbox。YOLO 要的是归一化的class_id x_center y_center width height。转换脚本网上一搜一大把但光伏板图像有几个特殊坑图像尺寸不统一、有些图是旋转过的、XML 里存在宽高为 0 的脏框。下面这个脚本是我改过五版的版本加了边界检查和旋转校正标记import xml.etree.ElementTree as ET import os from PIL import Image def voc_to_yolo(xml_dir, img_dir, out_dir, class_map): xml_dir: VOC标注文件夹 img_dir: 对应图片文件夹 out_dir: 输出YOLO标签文件夹 class_map: {hotspot:0, crack:1, ...} os.makedirs(out_dir, exist_okTrue) for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() # 找对应图片注意扩展名可能不一致 img_name xml_file.replace(.xml, ) img_path None for ext in [.jpg, .png, .jpeg, .JPG]: candidate os.path.join(img_dir, img_name ext) if os.path.exists(candidate): img_path candidate break if img_path is None: print(f跳过 {xml_file}找不到对应图片) continue with Image.open(img_path) as im: w, h im.size lines [] for obj in root.findall(object): cls_name obj.find(name).text.strip() if cls_name not in class_map: continue bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 边界裁剪防止越界 xmin max(0, min(xmin, w)) xmax max(0, min(xmax, w)) ymin max(0, min(ymin, h)) ymax max(0, min(ymax, h)) bw xmax - xmin bh ymax - ymin if bw 2 or bh 2: # 过滤脏框 continue x_center (xmin xmax) / 2.0 / w y_center (ymin ymax) / 2.0 / h nw bw / w nh bh / h lines.append(f{class_map[cls_name]} {x_center:.6f} {y_center:.6f} {nw:.6f} {nh:.6f}) if lines: with open(os.path.join(out_dir, img_name .txt), w) as f: f.write(\n.join(lines))逻辑说明先通过 XML 找同名图片遍历所有可能扩展名避免因大小写或格式不一致漏图。边界裁剪把坐标卡在图像范围内防止某些标注员手抖画出界。宽高小于 2 像素的框直接丢弃这种框在训练时会产生巨大损失。归一化用六位小数足够精度且不浪费存储。参数说明class_map必须和后续训练时的data.yaml里names顺序完全一致否则模型学出来的类别是乱的。out_dir里只保留有有效框的标签文件空标签文件不要生成否则 YOLO 会把纯背景图当负样本比例太高会拉低召回。2.3 数据集划分与防泄漏别让同一块组件的图同时出现在训练和验证集光伏板航拍图有一个特点同一串组件会被拍很多张角度略有不同。如果你随机按图划分训练集和验证集同一块板子的不同角度图会同时出现在两边验证指标虚高上线就翻车。这是目标检测里典型的“数据泄漏”。正确做法是按“串”或“方阵”划分。具体操作在采集时记录每张图对应的组件串 ID划分时以串为单位整个串的图要么全在训练集要么全在验证集。如果没有串 ID至少按拍摄日期或飞行架次划分同一次飞行的图放同一边。import os import random from collections import defaultdict def split_by_group(label_dir, img_dir, group_key_func, ratios(0.7, 0.2, 0.1)): group_key_func: 输入文件名返回组ID例如取文件名前8位作为架次号 groups defaultdict(list) for f in os.listdir(label_dir): if f.endswith(.txt): name f.replace(.txt, ) gid group_key_func(name) groups[gid].append(name) group_ids list(groups.keys()) random.shuffle(group_ids) n len(group_ids) n_train int(n * ratios[0]) n_val int(n * ratios[1]) train_g group_ids[:n_train] val_g group_ids[n_train:n_trainn_val] test_g group_ids[n_trainn_val:] for split_name, gids in [(train, train_g), (val, val_g), (test, test_g)]: os.makedirs(fimages/{split_name}, exist_okTrue) os.makedirs(flabels/{split_name}, exist_okTrue) for gid in gids: for name in groups[gid]: # 复制或软链接图片和标签 src_img os.path.join(img_dir, name .jpg) src_lbl os.path.join(label_dir, name .txt) if os.path.exists(src_img): os.symlink(os.path.abspath(src_img), fimages/{split_name}/{name}.jpg) if os.path.exists(src_lbl): os.symlink(os.path.abspath(src_lbl), flabels/{split_name}/{name}.txt)参数说明group_key_func是关键我一般用文件名前 8 位作为架次号因为航拍文件命名通常带时间戳。ratios按 7:2:1 分如果数据量少于 1000 张验证集比例可以降到 0.15。用软链接而不是复制节省磁盘且方便追溯。2.4 数据增强的边界光伏板图像不能随便翻转和旋转通用目标检测里随机翻转、旋转、裁剪是标配。但光伏板缺陷检测有物理约束组件是矩形排列的翻转后纹理方向变了热斑的物理意义可能不成立。比如水平翻转后原本在组件右上角的热斑跑到左上角但实际热斑位置与电路布局有关翻转会引入虚假模式。我一般只用三种增强亮度抖动模拟不同光照、对比度抖动模拟红外温差变化、小角度旋转±10°以内模拟无人机姿态偏差。禁用垂直翻转和 90° 旋转。Mosaic 增强可以用但要注意拼接后的图里组件方向不能乱。# data.yaml 示例 path: ./pv_defect train: images/train val: images/val test: images/test nc: 5 names: [hotspot, crack, diode_fault, stain, glass_break]注意nc和names的顺序必须与转换脚本里的class_map完全一致。改类别时先改class_map重新生成标签再改data.yaml顺序不能反。3. 用 YOLOv8 跑通光伏板缺陷检测训练参数与显存优化3.1 从预训练权重到微调学习率与冻结层的选择光伏板缺陷数据集通常不大几千张图算中等规模。直接从头训练 YOLOv8 会过拟合常见做法是加载 COCO 预训练权重冻结 backbone 前几层只微调 neck 和 head。YOLOv8 的model.train()里有个freeze参数可以指定冻结前 N 层。我一般先冻结前 10 层跑 20 个 epoch学习率设 0.001然后解冻全部学习率降到 0.0001 再跑 50 个 epoch。这样 backbone 的通用特征先稳住再让整个网络适应光伏板域。如果数据量少于 2000 张冻结层数加到 15解冻后的学习率再降一半。from ultralytics import YOLO model YOLO(yolov8s.pt) # 小模型适合边缘部署 # 第一阶段冻结backbone model.train( datadata.yaml, epochs20, imgsz640, batch16, lr00.001, freeze10, projectpv_defect, namestage1_freeze, exist_okTrue ) # 第二阶段解冻微调 model YOLO(pv_defect/stage1_freeze/weights/best.pt) model.train( datadata.yaml, epochs50, imgsz640, batch16, lr00.0001, freeze0, projectpv_defect, namestage2_full, exist_okTrue )参数说明imgsz640是 YOLOv8 的默认输入尺寸光伏板缺陷目标通常不大640 够用如果热斑很小可以提到 1280但显存翻倍。batch16在 8GB 显存上跑 yolov8s 刚好如果 OOM 就降到 8 并开ampTrue。freeze10表示冻结前 10 层具体层数可以用model.model打印结构看。3.2 显存不够时的三个降级方案不是人人都有 A100。8GB 甚至 6GB 显存跑 YOLOv8 训练很常见三个降级方案按优先级来第一换更小的模型yolov8n 比 yolov8s 省一半显存精度掉 2-3 个点但光伏板缺陷特征明显通常够用。第二开混合精度ampTrue省 30% 显存几乎不掉精度。第三减小imgsz到 512 或 416但小目标召回会降热斑检测要谨慎。如果还不行用梯度累积batch4但accumulate4等效 batch16显存只按 4 算。YOLOv8 的train里没有直接accumulate参数但可以通过batch和nbs配合或者手动改训练循环。更简单的办法是用yolov8nimgsz512ampTrue6GB 显存也能跑。# 命令行方式适合快速试 yolo detect train datadata.yaml modelyolov8n.pt epochs100 imgsz512 batch8 ampTrue device0提示训练时用watch -n 1 nvidia-smi盯着显存如果看到显存缓慢增长然后 OOM多半是 dataloader 的workers设太大了降到 2 或 0。3.3 评价指标怎么看mAP50 够用但别忽略每类召回YOLOv8 训练完会输出mAP50、mAP50-95、每类 precision 和 recall。光伏板缺陷检测里mAP50到 0.85 以上算不错但真正要盯的是每类召回。热斑召回低于 0.8漏检就多运维会骂人。污渍召回可以低一点因为污渍误报成本低漏了下次巡检还能发现。如果某一类召回特别低先看验证集里这类实例数是不是太少再看标注框是不是普遍偏小。小目标召回低是常态可以单独对这类做过采样或者用copy_paste增强。YOLOv8 的copy_paste对小目标有效但光伏板图像里复制粘贴热斑可能破坏物理合理性慎用。# 验证时输出每类指标 metrics model.val(datadata.yaml, splitval) print(metrics.box.maps) # 每类mAP print(metrics.box.ap50) # 每类AP504. 光伏板缺陷检测的避坑与排查五条血泪经验4.1 现象训练 loss 正常下降但验证 mAP 始终为 0原因data.yaml里的names顺序和标签文件里的class_id对不上。比如标签里 0 是热斑names里 0 写成了隐裂模型学出来的类别全错验证时按正确类别算 mAP 就是 0。解决用脚本统计标签文件里出现的所有class_id和names逐一对齐。改完后重新生成标签不要只改data.yaml。4.2 现象模型把组件边框当成缺陷到处画框原因标注时框留了太多背景模型学到了组件边缘特征。或者负样本太少模型没见过纯背景图。解决重新标注框贴紧缺陷外接矩形。加入 10%-20% 的纯背景图作为负样本标签文件为空。YOLOv8 支持空标签文件但比例不要超过 20%。4.3 现象训练到一半 loss 突然变成 NaN原因学习率太大或者某个批次的标注框宽高为 0计算 loss 时除零。解决降学习率到 0.0001 重跑。检查标签文件里有没有0.000000的宽高用前面的转换脚本过滤掉。如果还有 NaN开ampFalse排除混合精度问题。4.4 现象推理时同一块板子被重复框选原因NMS 的iou_thres设太高重叠框没被抑制。或者标注时同一缺陷被多人标了多个框。解决推理时把iou_thres从默认 0.7 降到 0.5。训练前用脚本检查同一张图里 IoU 大于 0.8 的同类框合并或删除。4.5 现象模型在验证集上表现好上线后漏检严重原因数据泄漏同一串组件的图同时出现在训练和验证集。或者验证集和实际场景的光照、角度差异大。解决按串或架次重新划分数据集。上线前用一批完全没参与训练的新数据做测试mAP 掉 10 个点以内算正常掉 20 个点以上要重新审视数据分布。5. 进阶技巧用切片推理和 TTA 把光伏板小缺陷召回拉高 8 个点光伏板缺陷里隐裂和早期热斑在 640 分辨率下可能只有十几个像素YOLOv8 直接推理容易漏。我试过两个技巧组合起来召回能拉高 8 个点左右代价是推理时间翻倍适合离线巡检报告生成不适合实时视频流。第一个是切片推理SAHI。把原图切成 640x640 的块块之间重叠 20%每块单独推理再把结果映射回原图做 NMS。这样小目标在每块里相对变大召回明显提升。SAHI 有现成库和 YOLOv8 对接很简单from sahi import AutoDetectionModel from sahi.predict import get_sliced_prediction detection_model AutoDetectionModel.from_pretrained( model_typeyolov8, model_pathpv_defect/stage2_full/weights/best.pt, confidence_threshold0.3, devicecuda:0 ) result get_sliced_prediction( test_image.jpg, detection_model, slice_height640, slice_width640, overlap_height_ratio0.2, overlap_width_ratio0.2 ) result.export_visuals(export_dirsahi_output/)参数说明slice_height和slice_width设成和训练imgsz一致避免尺度不匹配。overlap_ratio设 0.2 是平衡速度和召回设 0.3 召回更高但推理更慢。confidence_threshold可以比正常推理低一点因为切片后误报会在 NMS 阶段被过滤。第二个是 TTA测试时增强。推理时对同一张图做水平翻转、亮度微调分别推理后融合结果。YOLOv8 的model.predict()里没有内置 TTA但可以手动跑三次再合并。合并时用 WBF加权框融合比 NMS 更稳WBF 对重叠框的加权平均能保留更多真实框。import cv2 import numpy as np from ultralytics import YOLO model YOLO(pv_defect/stage2_full/weights/best.pt) img cv2.imread(test_image.jpg) # 原图推理 r1 model.predict(img, conf0.3, iou0.5)[0] # 水平翻转推理 img_flip cv2.flip(img, 1) r2 model.predict(img_flip, conf0.3, iou0.5)[0] # 亮度增强推理 img_bright cv2.convertScaleAbs(img, alpha1.2, beta10) r3 model.predict(img_bright, conf0.3, iou0.5)[0] # 把翻转的框映射回原图坐标 boxes [] for r in [r1, r2, r3]: for box in r.boxes: xyxy box.xyxy.cpu().numpy()[0] if r is r2: xyxy[0], xyxy[2] img.shape[1] - xyxy[2], img.shape[1] - xyxy[0] boxes.append([*xyxy, float(box.conf), int(box.cls)]) # 这里用WBF或NMS合并boxes代码略TTA 的代价是推理时间三倍但召回提升在光伏板小缺陷上很值。我一般只在生成月度巡检报告时开 TTA日常巡检用单次推理。最后说个习惯每次改完数据集或训练参数先跑 10 个 epoch 看 loss 曲线和验证 mAP别一上来就 100 个 epoch。10 个 epoch 里 mAP 不涨后面大概率也不涨早点回头查数据比死磕参数强。希望帮到你。本文还有配套的精品资源点击获取