简介这份资源面向计算机视觉初学者与安全监控、火灾预警方向的开发者围绕烟火图像的识别与分类任务提供从图像预处理、特征提取到模型训练与评估的完整实践素材。压缩包共3627个文件以3617张bmp图像为主体构成带类别标注的烟火样本集另含xml标注文件、1个jpg示例图、1个py训练脚本、1个ipynb预处理与实验笔记以及项目配置类文件整体约11.18MB目录结构便于按类别检索与批量读取。资源覆盖去噪、增强、灰度化、二值化等预处理思路SIFT、SURF与CNN特征提取方法以及SVM、随机森林、AlexNet、VGG、ResNet等分类模型的训练与调优流程并涉及数据扩增、准确率与F1分数等评估指标。已有217人学习下载适合希望快速搭建烟火识别基线、复现实验并理解完整项目流程的读者参考。1. 烟火图像的识别与分类从一张监控截图到可落地的检测流水线凌晨两点林场监控摄像头拍到一团橙红色亮斑值班员肉眼判断是炊烟还是山火往往要犹豫十几秒。这十几秒在烟火识别场景里可能就是几十公顷的差距。烟火图像的识别与分类要解决的就是把「疑似烟火」的视觉信号稳定地转成「有火/有烟/无目标」的结构化判断。它适合三类人做智慧消防、林火预警、工业厂区安全监控的算法工程师手里有摄像头但缺标注数据的集成商以及想把烟火检测塞进边缘盒子、又担心误报率压不下来的开发者。核心难点不在模型能不能跑而在烟和云、雾、晨霭、车灯、反光这些「长得像」的东西怎么分开以及火焰在早期只有几个像素时怎么不被漏掉。这篇笔记按「数据怎么造 → 模型怎么选 → 训练怎么调 → 部署怎么省 → 坑怎么避」的顺序把一条能复现的烟火识别流水线拆开讲。2. 烟火数据从哪来公开集、自采与合成三条路怎么选2.1 先看清烟火检测和通用目标检测的差别通用检测器在 COCO 上能跑出很高的 mAP直接拿来测烟火经常翻车原因有三个。第一烟火是非刚性、边界模糊的目标烟尤其没有清晰轮廓标注框本身就带主观性两个人标同一张图IoU 可能只有 0.6。第二类内差异极大白烟、黑烟、黄烟在像素分布上几乎是不同物体火焰从暗红到亮黄跨度也大。第三类间相似云、雾、蒸汽、扬尘、夕阳、车灯、焊接火花都会触发误报。所以烟火识别不能只当普通检测做通常要拆成「检测 分类」两级或者用带注意力机制的单阶段网络让模型学会关注纹理和运动线索而不是只记颜色。常见做法是先把任务定义清楚是要火焰检测、烟雾检测还是烟火联合检测。三者数据分布和评价指标都不一样。火焰召回优先烟雾则更看重低误报因为烟雾面积大、传播快但误报也最烦人。我一般建议先做单类跑通再合并别一上来就多类混训。2.2 公开数据集与自采数据的取舍公开烟火数据集数量有限常见的有基于视频帧的火焰集和烟雾集规模从几千到几万张不等场景偏森林和建筑。直接拿来训厂区监控域差异会很明显。我的做法是公开集做预训练和基线自采数据做微调和验证。自采时注意三点摄像头位置要覆盖实际部署角度别只拍正前方要采负样本也就是有云、有雾、有灯光但没有烟火的画面负样本数量建议至少是正样本的 1.5 倍要采困难负样本比如清晨薄雾、傍晚逆光、蒸汽管道。如果自采成本高合成数据可以补。用游戏引擎或图像合成工具把火焰烟雾素材贴到不同背景上控制透明度、光照和运动模糊。合成数据不能替代真实数据但能显著提升模型对颜色和形状的鲁棒性。下面这段脚本演示如何用 OpenCV 做简单的烟火区域增强把一张火焰图叠加到负样本背景上生成带标注的合成图。import cv2 import numpy as np import random def blend_fire(background_path, fire_path, alpha0.7): # 读取背景和火焰前景火焰图建议带 alpha 通道 bg cv2.imread(background_path) fg cv2.imread(fire_path, cv2.IMREAD_UNCHANGED) if fg.shape[2] 3: # 没有 alpha 通道时用亮度做简易掩码 gray cv2.cvtColor(fg, cv2.COLOR_BGR2GRAY) _, mask cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY) mask cv2.merge([mask, mask, mask]) else: mask fg[:, :, 3] fg fg[:, :, :3] # 随机缩放火焰模拟远近 scale random.uniform(0.3, 1.0) h, w fg.shape[:2] fg cv2.resize(fg, (int(w * scale), int(h * scale))) mask cv2.resize(mask, (fg.shape[1], fg.shape[0])) # 随机选择粘贴位置 x random.randint(0, bg.shape[1] - fg.shape[1]) y random.randint(0, bg.shape[0] - fg.shape[0]) roi bg[y:yfg.shape[0], x:xfg.shape[1]] # 按 alpha 混合 roi[:] cv2.addWeighted(roi, 1 - alpha, fg, alpha, 0) # 返回合成图和火焰框 return bg, (x, y, x fg.shape[1], y fg.shape[0]) bg, box blend_fire(bg_forest.jpg, fire.png, alpha0.6) cv2.imwrite(synthetic_fire.jpg, bg) print(合成框坐标:, box)这段代码的逻辑是把火焰前景按随机比例缩放贴到背景的随机位置用 alpha 混合让边缘过渡自然。alpha控制火焰透明度实际用的时候建议在 0.4 到 0.8 之间随机太透明会丢纹理太实会像贴纸。mask的处理是关键如果火焰图没有 alpha 通道用亮度阈值提取掩码只适合亮色火焰暗色火焰需要换成 HSV 空间里的饱和度通道。合成框坐标直接作为 YOLO 格式的标注来源注意 YOLO 需要归一化的中心点和宽高转换时除以图像宽高即可。2.3 标注规范别让框的歧义毁掉训练烟火标注最容易出问题的是烟雾框。我的经验是烟雾只标可见主体不标稀薄边缘火焰标到外焰轮廓不标光晕。如果一张图里烟和火同时存在分开标两个框不要合并成一个大框否则分类头学不到区别。标注工具用 LabelImg 或 CVAT 都行导出 YOLO 格式。标完抽 10% 做交叉检查两个人标同一批IoU 低于 0.5 的框拿出来讨论统一标准。这一步花的时间比后面调参省下的时间多得多。3. 模型选型与训练YOLO 系、两阶段和轻量骨干怎么定3.1 为什么烟火检测常用 YOLO 系而不是 Faster R-CNNFaster R-CNN 精度稳但推理速度在边缘设备上很难做到实时。烟火预警通常要求 15 到 30 FPSYOLO 系单阶段网络更合适。YOLOv5、YOLOv8 在烟火数据集上微调后mAP 能到 0.7 以上具体看数据质量。如果烟雾小目标多可以选带 P2 小目标层的变体或者用 YOLOv8 的n和s两个尺度做对比。我的建议是先跑 YOLOv8s 做基线再根据漏报和误报方向决定加不加小目标层。不要一上来就上大模型边缘盒子跑不动调参周期也长。两阶段方案不是不能用而是用在误报率要求极低的场景比如化工厂区宁可漏报也不能误报。这时候可以用 YOLO 做候选框再用一个分类网络ResNet18 或 MobileNetV3对每个框做二次判断把云、雾、灯光过滤掉。代价是速度降一半但误报能压下来。3.2 训练参数怎么设从学习率到数据增强下面是一份 YOLOv8 训练烟火的配置示例用ultralytics库。假设数据已经按 YOLO 格式组织好data.yaml里写了训练集、验证集路径和类别名。# data.yaml path: ./fire_smoke_dataset train: images/train val: images/val nc: 2 names: [fire, smoke]from ultralytics import YOLO # 加载预训练权重n 是 nanos 是 small按设备选 model YOLO(yolov8s.pt) # 训练参数 results model.train( datadata.yaml, epochs120, # 烟火数据少epoch 可以多一点但要看验证集早停 imgsz640, # 边缘部署常用 640再大速度掉得厉害 batch16, # 显存不够就降到 8 lr00.01, # 初始学习率微调时比从头训小 lrf0.01, # 最终学习率因子 momentum0.937, weight_decay0.0005, warmup_epochs3, # 前几轮预热防止早期梯度爆炸 augmentTrue, # 开启内置增强 hsv_h0.015, # 色调扰动模拟不同光照 hsv_s0.7, # 饱和度扰动让模型别只认颜色 hsv_v0.4, # 亮度扰动 fliplr0.5, # 水平翻转 mosaic1.0, # mosaic 增强小目标友好 mixup0.1, # 少量 mixup提升泛化 patience30, # 30 轮没提升就早停 device0 # GPU 编号CPU 用 cpu )参数里最值得说的是hsv_s和hsv_h。烟火识别最怕模型走捷径只靠颜色判断。把饱和度扰动开大模型会被迫学纹理和形状。mosaic对小目标烟雾很有用四张图拼一张等效于增加小目标样本。但mixup别开太大0.1 到 0.2 够了太大反而让火焰边界更模糊。imgsz如果部署在 Jetson 这类设备上640 是甜点再往上帧率掉得明显。batch根据显存调不要为了大 batch 牺牲学习率两者要匹配。训练过程中重点看验证集的召回率和误报率不要只盯 mAP。烟火场景里漏报一个火点比误报十次更严重。如果召回低先查标注有没有漏标再考虑加小目标层或提高输入分辨率。如果误报高优先补困难负样本而不是调低置信度阈值。3.3 分类头怎么加把云和烟分开如果检测器误报还是高可以在检测框后面接一个分类网络。做法是用检测器输出框裁剪对应区域缩放到 224×224送进一个二分类或三分类网络。分类网络的训练数据就是这些裁剪块正样本是烟和火负样本是云、雾、灯光。下面是一个简单的分类训练代码片段用 PyTorch 和预训练的 MobileNetV3。import torch import torch.nn as nn from torchvision import models, transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder # 数据增强训练时随机裁剪翻转验证时只缩放 train_tf transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.2, 0.2, 0.2), transforms.ToTensor(), ]) val_tf transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), ]) train_ds ImageFolder(cls_data/train, transformtrain_tf) val_ds ImageFolder(cls_data/val, transformval_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue) val_loader DataLoader(val_ds, batch_size32) # 加载预训练 MobileNetV3替换最后一层 model models.mobilenet_v3_small(pretrainedTrue) model.classifier[3] nn.Linear(model.classifier[3].in_features, 2) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-4) for epoch in range(20): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() # 验证阶段省略实际要算准确率和混淆矩阵 print(fepoch {epoch} done)分类网络的关键是负样本要够「难」。云和烟在低分辨率下很像所以裁剪块里要包含各种云、雾、蒸汽。训练完后用混淆矩阵看哪类负样本容易被判成烟再针对性补数据。这个二级分类器可以量化成 ONNX 或 TensorRT和检测器串起来跑延迟增加不多。4. 部署与加速边缘盒子上怎么跑到实时4.1 模型导出与量化训练完的 PyTorch 权重不能直接上边缘设备通常要转 ONNX 再转 TensorRT 或 OpenVINO。YOLOv8 自带导出命令# 导出 ONNX动态 batch 方便后续调 yolo export modelruns/detect/train/weights/best.pt formatonnx dynamicTrue # 导出 TensorRTFP16 量化Jetson 上常用 yolo export modelruns/detect/train/weights/best.pt formatengine halfTrue device0halfTrue是 FP16 量化速度能提升接近一倍精度掉得很少。如果设备支持 INT8可以用校准集做 INT8 量化但烟火数据分布窄INT8 有时候会把暗色烟雾量化没需要验证。导出后一定要用同一批测试图对比 PyTorch 和 TensorRT 的输出看框的偏移和置信度变化。我遇到过导出后小目标烟雾置信度从 0.6 掉到 0.3 的情况原因是量化时把低对比度区域压没了后来换回 FP16 才稳定。4.2 推理流水线解码、NMS 和阈值部署时的后处理参数和训练时不一样。置信度阈值不要照搬训练配置要在验证集上扫一遍。下面是一个简化的推理后处理逻辑用 NumPy 演示 NMS 和阈值过滤。import numpy as np def nms(boxes, scores, iou_thres0.5): # boxes: [x1, y1, x2, y2], scores: 置信度 order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(boxes[i, 0], boxes[order[1:], 0]) yy1 np.maximum(boxes[i, 1], boxes[order[1:], 1]) xx2 np.minimum(boxes[i, 2], boxes[order[1:], 2]) yy2 np.minimum(boxes[i, 3], boxes[order[1:], 3]) w np.maximum(0.0, xx2 - xx1) h np.maximum(0.0, yy2 - yy1) inter w * h area_i (boxes[i, 2] - boxes[i, 0]) * (boxes[i, 3] - boxes[i, 1]) area_o (boxes[order[1:], 2] - boxes[order[1:], 0]) * (boxes[order[1:], 3] - boxes[order[1:], 1]) iou inter / (area_i area_o - inter) inds np.where(iou iou_thres)[0] order order[inds 1] return keep # 假设 raw_boxes 和 raw_scores 来自模型输出 conf_thres 0.35 # 火焰可以低一点烟雾建议 0.4 以上 keep nms(raw_boxes[raw_scores conf_thres], raw_scores[raw_scores conf_thres])conf_thres是部署时最需要调的参数。火焰早期像素少阈值太高会漏建议 0.25 到 0.35烟雾误报多阈值可以提到 0.4 到 0.5。iou_thres用 0.5 左右烟雾框重叠多的话可以降到 0.4。另外视频流里可以加帧间投票连续 3 帧都检测到同一区域才报警能压掉大量瞬时误报。这个逻辑用简单的跟踪器如 IoU 匹配就能实现不需要上复杂模型。5. 避坑与排查烟火识别里最容易翻车的五件事5.1 现象模型在验证集上 mAP 很高一到现场就疯狂误报原因通常是验证集和现场分布不一致尤其是负样本不够。公开数据集的负样本多是森林背景现场可能是厂区、公路、水面云和反光完全没学过。解决方法是把现场误报的帧截下来人工确认后加入负样本集重新微调。每次现场误报都补一批迭代两三轮误报能降一个数量级。5.2 现象烟雾检测召回率极低明明有烟却不出框先查标注。烟雾标注如果只标了浓烟薄烟没标模型就学不会。再查输入分辨率烟雾在 640 输入下可能只有十几个像素P3 层感受野不够。解决加 P2 小目标层或者把输入提到 960但速度会降。另一个原因是hsv_s扰动太大把淡烟的颜色特征洗掉了适当调回 0.5 左右。5.3 现象训练 loss 震荡不收敛常见于学习率太大或 batch 太小。烟火数据量通常不大lr0从 0.01 降到 0.001 试试warmup_epochs加到 5。如果用了 mosaic 和 mixup前期 loss 震荡是正常的看验证集指标为准。另外检查标注文件有没有越界框或宽高为 0 的框这些脏数据会让 loss 突然飙高。5.4 现象TensorRT 推理结果和 PyTorch 对不上导出时的预处理要一致。PyTorch 推理时用的是 RGB、归一化到 0-1TensorRT 如果用了不同的均值和方差结果就会偏。检查导出配置里的mean和stdYOLOv8 默认是 0-1 归一化不要额外减均值。另外 FP16 量化后小目标的置信度会普遍下降可以在后处理时对烟雾类单独降低阈值补偿。5.5 现象边缘设备跑几小时就发热降频帧率掉一半这是功耗和散热问题不是模型问题。先看设备是否开了最大功耗模式Jetson 系列用nvpmodel和jetson_clocks锁定频率。如果还降频说明模型太重换 YOLOv8n 或对输入做隔帧推理。烟火预警不需要每帧都跑隔一帧推理中间帧用跟踪补帧率能翻倍漏报增加很少。6. 把误报压下去的进阶技巧负样本挖掘与帧间投票的配合负样本挖掘不是一次性工作而是一个循环。我的习惯是每周从现场抽一批误报帧按置信度从高到低排序取前 200 张人工过一遍确认是负样本的加入训练集。加入时不要直接混进去而是按 1:1 比例和正样本混合避免负样本过多导致召回下降。重新训练时学习率调小到 1e-4只微调 20 到 30 轮防止把之前学到的特征洗掉。帧间投票的实现比想象中简单。用检测框的中心点和面积做匹配连续 N 帧内同一位置出现检测框才触发报警。N 取 3 比较稳取 5 会延迟报警。下面是一个简单的投票逻辑from collections import deque class FireVoter: def __init__(self, window5, threshold3): self.window window self.threshold threshold self.history deque(maxlenwindow) def update(self, detections): # detections: list of (x_center, y_center, area) self.history.append(detections) if len(self.history) self.window: return False # 统计每个位置出现的次数简化版看最近 window 帧是否有超过 threshold 帧有检测 count sum(1 for d in self.history if len(d) 0) return count self.threshold这个投票器只做了「有没有检测」的粗粒度判断实际用的时候可以按区域分块每块独立投票。比如把画面分成 3×3 网格某个网格连续 3 帧有火才报警。这样能避免画面边缘的瞬时反光触发全局报警。window和threshold根据场景调林火场景可以放宽到 3/5厂区可以严到 4/5。还有一个技巧是颜色空间交叉验证。模型输出框后在框内算 HSV 空间的火焰像素占比如果占比低于阈值即使模型置信度高也压掉。这个后处理对车灯、夕阳这类高亮误报特别有效。火焰的饱和度通常高且集中在红黄区间车灯偏白夕阳偏橙但面积大、纹理平滑。用简单的直方图统计就能区分不需要额外模型。最后说一个我踩过的坑不要用测试集调阈值。测试集调出来的阈值在现场一定偏乐观。正确做法是留一个现场验证集只用来定阈值和投票参数不参与训练。这个验证集要覆盖不同时段、不同天气至少 500 张。每次模型更新都在这个验证集上重新扫一遍阈值。阈值不是固定值是跟着模型和数据走的。希望帮到你。本文还有配套的精品资源点击获取