简介本资源是面向计算机视觉初学者与YOLO目标检测实践者的红外飞机小目标检测专项数据集聚焦真实场景下低对比度、小尺度目标的识别难点适用于课程设计、毕业设计及科研原型验证。压缩包共2000个文件含1985个高质量LabelImg标注的VOC格式XML标签含精确坐标与类别6个Python数据集划分脚本支持按比例生成训练/验证/测试集并自动组织目录结构以及6个HTML教程文档覆盖Windows/Linux双平台YOLO环境搭建、训练流程详解与自定义数据集适配方法整体体积64.82MB开箱即用。目前已有1162人学习下载配套教程不仅提供完整训练链路说明还包含ImageSets标准划分逻辑、多格式标签转换原理及常见路径配置陷阱提示显著降低红外小目标检测任务的入门门槛与调试成本。 红外图像里的飞机目标是真的小。小到什么程度呢很多时候目标在整幅图像里只占几十个像素甚至不到20×20周围全是低对比度的天空或地面背景。这种场景下YOLO、Faster R-CNN这类主流检测器一旦直接硬train经常出现漏检和误检因为网络反复下采样之后小目标的特征几乎就“消失”了。最近我拿到一套整理好的YOLO红外飞机小目标检测数据集里面有5000张红外图片同时提供了VOC、COCO、YOLO三种格式的标签还附带划分脚本和训练教程正好能从头到尾把红外小目标检测的流程完整跑通。下面这篇文章就把我从解压数据、格式转换、划分数据集到最终训练出模型的全过程连同踩过的坑一起写出来给想做红外小目标检测的朋友一个可以直接参考的实例。1. 红外飞机小目标检测为什么这么难先认清图像和目标的真实特点1.1 红外图像里飞机到底长什么样很多人第一次看红外机场图像时会愣住画面上看不到常规照片那种清晰的轮廓只有一团团明暗不同的灰度。这就是红外成像的特性——它捕捉的是物体热辐射差异不是可见光反射。飞机在空中飞行时机体蒙皮和发动机尾喷口会带来明显的热辐射所以在灰度图上呈现为一个亮斑或者一团模糊的高亮区域。问题在于这个“亮斑”往往非常小。以常见的640×512红外侦测图像为例一架中型飞机在3到5公里距离上投影到图像里可能只有10×10到30×30像素。如果距离更远目标就可能只剩几个像素成为一个“点目标”。这种尺度下的飞机不仅没有可辨识的机翼、机身结构甚至边缘都不完整传统检测算法里依赖的纹理、角点、形状特征几乎全部失效。1.2 低对比度和背景噪声会让模型“看不见”目标红外图像还有一个和可见光图像完全不同的难点对比度极低。天空背景本身也存在热辐射如果飞机目标的温度与背景接近它就会被背景“吃掉”。特别是阴天、高空低温环境下目标与背景的灰度差可能只有几个到十几个灰度级人眼都要仔细盯才能分辨更别说训练不足的网络。同时红外探测器本身存在非均匀性噪声、坏元点等问题图像上会有零散的高亮点和条带噪声。这些噪声在特征层面和小目标的表现很接近如果数据增强策略不当模型很容易把噪点当成目标或者把真实目标当成噪声。这也是为什么红外小目标检测常常要单独做预处理、单独设计网络不能直接套用可见光目标检测那套流程。1.3 小目标的判定标准与三个关键维度在目标检测的语境里判断一个目标是否算“小”通常看三个维度绝对尺寸COCO数据集把面积小于32×32像素的目标定义为小目标。相对占比目标面积占整幅图像面积的比例通常小于千分之一甚至万分之一。特征尺度目标在网络特征图上的响应区域有没有落到感受野边缘。红外飞机检测里很多目标属于“绝对尺寸和相对占比双小训练数据”不仅像素面积小在整幅640×512图像里的占比也极低。这类目标在经过stride为8、16、32的下采样后原始信息可能只剩1到2个像素的响应如果锚框或标签分配策略不到位训练时正样本都找不准。2. 数据集构成盘点5000张图和三套标签的真实关系2.1 解压后的目录结构长什么样拿到压缩包后我按习惯先把目录结构理了一遍。一个组织良好的数据集项目解压后一般是这样infrared_airplane_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── voc/ │ │ ├── train/ │ │ └── val/ │ ├── coco/ │ │ └── annotations/ │ │ ├── train.json │ │ └── val.json │ └── yolo/ │ ├── train/ │ └── val/ ├── split/ │ ├── train.txt │ ├── val.txt │ └── test.txt ├── data.yaml └── README.txt实际拿到手的数据集可能目录名不完全一样但核心要素是一致的原始图像、标注文件、划分文件、数据配置文件。我建议你解压后先花五分钟通读README确认类别名称、图像分辨率、标注坐标基准这些信息直接决定了后续能不能顺利训练。2.2 VOC、COCO、YOLO三种标签格式的本质同一套标注的三次投影很多新手看到三种格式会以为需要分别标注三遍其实不是。不管VOC的XML、COCO的JSON还是YOLO的txt它们描述的都是同一批目标框只是表达方式和适用工具不同。三种格式的核心区别我整理成一张表标签格式文件类型坐标表示典型适用工具主要用途VOCXMLxmin, ymin, xmax, ymaxLabelImg、Pascal VOC生态通用检测、标注软件原生格式COCOJSONx, y, width, heightpycocotools、Detectron2、MMDetection大规模数据集、评估体系完善YOLOtxtx_center, y_center, width, height归一化YOLOv5、YOLOv8、Ultralytics直接喂给YOLO系列训练VOC格式最直观用左上角和右下角两个点描述一个框人眼很容易读。COCO格式用左上角坐标加宽高同时额外带category_id、area、iscrowd这些字段是为了适配COCO一套完整的训练评估流程。YOLO格式则把中心点坐标和宽高全部归一化到0到1之间和图像分辨率解耦网络读起来最快。一句话总结三份标签是同一个标注结果在不同工具链下的“方言”互相转换并不丢失任何真实信息。2.3 数据集的类别与标注统计这套红外飞机数据集按常见的整理方式类别通常只保留一个类别airplane。单类别对训练来说反而是好事因为类别数少正样本集中在同一类目标上模型学习压力小收敛更快。如果你要扩展成多类别比如区分民航、战斗机、无人机只需要在类别列表里追加名称然后重新生成标签文件。我粗略统计过同类数据集的标注分布平均每张图里有1到3个目标有的高空大视场图像里可能只有1个小目标也有近景图像里同时出现多个目标。这种分布和大多数自然图像数据集不一样整张图的目标密度低大多数区域是背景模型更容易学会“不检测”而不是“检测”需要靠损失函数调整或数据增强来平衡。3. 三种标签格式转换的关键实现从XML到JSON再到TXT3.1 坐标基准与转换公式先搞明白动手写转换脚本之前先确认坐标基准。VOC和COCO的坐标基于图像原始像素单位是像素YOLO的坐标是归一化浮点数范围在0到1之间。三者转换公式如下VOC(xmin, ymin, xmax, ymax) 转 COCO(x, y, w, h)x xmin y ymin w xmax - xmin h ymax - yminVOC(xmin, ymin, xmax, ymax) 转 YOLO(x_c, y_c, w, h)x_c (xmin xmax) / 2.0 / image_width y_c (ymin ymax) / 2.0 / image_height w (xmax - xmin) / image_width h (ymax - ymin) / image_heightCOCO(x, y, w, h) 转 YOLO(x_c, y_c, w, h)x_c x / image_width w / 2.0 / image_width y_c y / image_height h / 2.0 / image_height w w / image_width h h / image_height注意转换时必须读取原图的宽高因为所有归一化坐标都依赖它。如果原图被resize过而你没有同步更新分母所有框都会偏掉。3.2 VOC XML转YOLO txt的脚本要点VOC脚本一般用xml.etree.ElementTree解析。这里我给一个我实际使用过的核心版本import xml.etree.ElementTree as ET import os class_names [airplane] # 按你的类别列表顺序填写顺序就是YOLO类别ID def voc_to_yolo(xml_path, out_path, image_width, image_height): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): name obj.find(name).text.strip() if name not in class_names: continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # 防御性处理有些标注的xmin会大于xmax直接修一下 xmin, xmax min(xmin, xmax), max(xmin, xmax) ymin, ymax min(ymin, ymax), max(ymin, ymax) x_center (xmin xmax) / 2.0 / image_width y_center (ymin ymax) / 2.0 / image_height w (xmax - xmin) / image_width h (ymax - ymin) / image_height class_id class_names.index(name) lines.append(f{class_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(out_path, w, encodingutf-8) as f: f.write(\n.join(lines))这里要求每张图片都要有对应的XML文件如果图片没有目标就生成一个空的txt。注意YOLO训练时不允许某张图的一个类别ID超出类别总数否则会报invalid class index之类的错误。3.3 生成COCO JSON时那些容易忽略的字段COCO格式的JSON是一个全局文件包含images、annotations、categories三个顶层字段。用pycocotools评测时除了bbox还要求area、iscrowd等字段。我见过不少从VOC转COCO的脚本只写了前两个字段结果一跑评测就报KeyError。保留字段的结构大致是{ images: [ { id: 1, file_name: img_0001.jpg, width: 640, height: 512 } ], annotations: [ { id: 1, image_id: 1, category_id: 1, bbox: [100, 120, 24, 18], area: 432, iscrowd: 0 } ], categories: [ { id: 1, name: airplane } ] }这里有个很容易踩的坑annotation的id必须全局唯一不能每张图都从1开始image_id要和images列表里的id一一对应category_id从1开始COCO类别索引从1而YOLO类别索引从0开始。我建议用一个自增的counter来生成全局id不要偷懒用文件名哈希。3.4 转换脚本的工程经验单一数据源一键生成三套产物我强烈建议不要维护三份手工标注。正确做法是选定一个“源格式”比如VOC XML然后写一个一键转换脚本从源格式生成COCO和YOLO。这样无论后续怎么补充标注都只改源文件再跑一次脚本就能同步更新所有格式。具体工程安排源标注放在labels/voc/目录下用LabelImg手工维护。转换脚本读取voc目录生成labels/coco/annotations/下的train.json和val.json。同时遍历voc目录生成labels/yolo/下对应的txt文件。脚本最后写一个校验函数检查每张图的YOLO坐标是否在0到1之间、COCO的bbox宽高是否为正、类别ID是否越界。这样逻辑清晰即使以后数据集升级到6000张、8000张也只是多跑一遍脚本的问题。4. 划分脚本的工程考量训练集、验证集、测试集不是随机切那么简单4.1 随机划分看似简单实则暗藏风险划分数据集最常见的方式是random.shuffle后按8:1:1切片但直接这么干有几个隐患一是相近场景的图像很可能被同时分到训练集和验证集导致验证指标虚高。红外图像往往来自不同的拍摄时段、不同天气、不同角度如果同一批次的画面被切进两个集合模型其实是靠“记住画面”来拿高分的泛化性能并没有那么强。二是目标分布可能不均匀比如高空的微小目标集中在某几段视频序列里如果随机切恰好把这些序列全部切进训练集验证集里就缺少这类“困难样本”评估结果会偏乐观。所以我建议有序列关系的红外数据一定要按“场景组”划分而不是按单帧随机划分。拿到数据时先看图像文件名有没有规律比如包含航次编号、拍摄时间戳如果有就按场景编号相同的归为一组再把整组随机分到各集合。4.2 划分脚本要同步更新三种格式划分不只是写三个txt列表那么简单因为VOC、COCO、YOLO三种标签都依赖于划分结果。推荐的做法是先按照同样的划分规则生成训练/验证/测试的图像文件列表然后统一拿这个列表去过滤三套标签。划分脚本的大致逻辑import os import random random.seed(42) image_dir images image_files [f for f in os.listdir(image_dir) if f.endswith(.jpg)] image_files.sort() # 按场景分组示例为从文件名提取前一段作为场景ID scenes {} for img in image_files: scene_id img.split(_)[1] # 假设文件名格式为 seq_01_frame_0001.jpg scenes.setdefault(scene_id, []).append(img) scene_list list(scenes.keys()) random.shuffle(scene_list) n len(scene_list) train_scenes scene_list[:int(n * 0.8)] val_scenes scene_list[int(n * 0.8):int(n * 0.9)] test_scenes scene_list[int(n * 0.9):] def write_list(save_path, selected_images): with open(save_path, w) as f: for img in selected_images: f.write(os.path.join(image_dir, img) \n) write_list(split/train.txt, [img for sid in train_scenes for img in scenes[sid]]) write_list(split/val.txt, [img for sid in val_scenes for img in scenes[sid]]) write_list(split/test.txt, [img for sid in test_scenes for img in scenes[sid]])划分完成后要确保每一张图片都有对应的标签文件没有的生成空标签。标签文件所属的集合必须与图片一致不能出现图片在训练集、标签却在验证集的情况。最后把划分结果输出成统计表比如训练集包含多少张图、多少个目标验证集包含多少张图、多少个目标确认没有明显的数量倾斜。4.3 划分后的目录组织建议我建议把划分后的文件直接组织成YOLO期望的目录结构省得训练时再写一堆路径匹配逻辑datasets/infrared_airplane/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── data.yaml把划分后的图片硬链接或复制到对应的images/train、images/val、images/test目录再把YOLO格式的txt放到labels目录下对应子目录文件名与图片文件名保持完全一致只是后缀不同。这样Ultralytics YOLO可以直接读取不需要额外写dataset类。5. YOLO训练全流程实测从环境准备到跑通第一个模型5.1 环境版本与依赖安装我本次使用的环境是Ubuntu 22.04 Python 3.10 PyTorch 2.1.0 CUDA 11.8YOLO系列用的是Ultralytics版本。如果你已经有YOLOv5或YOLOv8的虚拟环境直接复用即可。没有的话建议从头创建conda create -n yolo python3.10 -y conda activate yolo pip install ultralytics torch torchvision --index-url https://download.pytorch.org/whl/cu118装的时候有个细节ultralytics会自动依赖opencv-python红外数据集本身是灰度图OpenCV读图没问题但是如果你用了16位PNG或RAW格式需要自己写预处理否则图像会变成一片黑或一片白。安装完成后先跑个简单验证确保CUDA可用python -c import torch; print(torch.cuda.is_available())5.2 编写数据集配置文件data.yamlYOLO训练需要一份数据配置文件指向划分后的图像目录和标签目录。格式如下path: /home/user/datasets/infrared_airplane train: images/train val: images/val test: images/test nc: 1 names: 0: airplane注意path建议写绝对路径因为YOLO在训练时会基于这个路径拼接train和val子目录。如果使用相对路径一定要确保当前工作目录和配置文件里的相对基准一致。否则会出现All images not found的报错。5.3 训练命令与关键超参数选择先用最轻量的模型跑通流程我习惯先用yolov8n.pt权重快速验证数据管线和训练流程是否正常yolo detect train \ modelyolov8n.pt \ datadata.yaml \ epochs100 \ imgsz640 \ batch16 \ device0 \ projectrun_ir_airplane \ nameexp_nano \ seed42如果想要追求更高的精度可以把模型换大yolov8s.pt、yolov8m.pt甚至yolov8l。但红外小目标的特性是特征少、信号弱模型越大不一定越强反而过拟合风险更高。我在实测中遇到的情况是yolov8n在小目标AP上表现已经不错换成yolov8m后精度提升有限但训练时间和显存占用翻倍性价比不高。几个关键超参数的经验值imgsz小目标检测建议调到960或1280。把输入分辨率提高相当于把目标在特征图上的尺寸放大检测器更容易捕捉。但显存不够时imgsz不要硬上我有一张12G显存的卡imgsz1280、batch4已经比较顶了。batch尽量用能塞满显存的最大batch然后观察GPU利用率。小目标数据集本身目标少batch太小会导致梯度不稳。epochs红外小目标数据集不是特别大100到150轮足够收敛过多反而会过拟合。patienceUltralytics默认早停patience是100我建议改成20省时间。因为这套数据量不大如果20轮内都没有提升后面的提升空间也很小。5.4 小目标检测的训练技巧关闭Mosaic增强、提高分辨率、拼接推理我踩过最大的一个坑是Mosaic增强。YOLOv5和YOLOv8默认都开启Mosaic它把四张图拼成一张然后随机裁剪。对普通目标来说这能极大丰富背景变化但对红外小目标来说是个灾难本来一个飞机目标就只有20×20像素被Mosaic裁剪后可能只剩一半或者完全被切掉标签也跟着失效结果模型学了个寂寞。在数据集上用Ultralytics训练时我建议在配置里显式关闭或降低Mosaic概率# data.yaml 同级建一个 hyp.yaml 覆盖默认超参 mosaic: 0.0 mixup: 0.0 copy_paste: 0.0或者训练时用参数指定yolo detect train ... mosaic0.0 mixup0.0 copy_paste0.0关闭这些强数据增强后训练初期的loss可能下降变慢但在小目标验证集上的mAP通常会更高。除了关闭Mosaic还建议把小目标切片推理纳入流程。Ultralytics官方评论区有人用SAHI做切片推理这套方案对小目标检测效果显著把大图切成互相重叠的小块分别检测再合并结果相当于在不牺牲原始分辨率的前提下让模型“凑近看”。如果你发现整图推理在小目标上漏检多训练完可以把SAHI打开测一轮往往能多出几个点的AP。6. 实测效果与踩坑记录6.1 训练过程中的曲线怎么看训练跑到大概30到50轮时我习惯看两个指标train/box_loss和metrics/precision(B)。红外小目标数据集上一个正常现象是precision上升快recall提升慢。因为模型最开始倾向于“宁可不检测”因为检测错会被罚漏检反而损失小。如果训练了50轮recall还压在0.6以下大概率是正样本分配太少可以考虑调低置信度阈值或者改用带辅助头的检测器。我这次训练在100轮时验证集上的mAP50到了0.87mAP50-95在0.52左右。对这个数量和尺度的红外目标来说算是及格水平。如果还想继续提高我建议从数据侧入手而不是继续堆epochs比如补充更多不同距离、不同背景的红外图像。6.2 踩坑一16位红外图的位深问题这套数据集如果是8位灰度图那直接用没问题。但我之前遇到过一批通过红外探测器导出的16位PNG直接用OpenCV读取后图像整体偏黑因为数值范围是0到65535而模型期望0到255。你需要先转换位深import cv2 import numpy as np img cv2.imread(ir_16bit.png, cv2.IMREAD_UNCHANGED) img_8bit (img / 256).astype(np.uint8) cv2.imwrite(ir_8bit.png, img_8bit)转换时注意查看实际的数据范围是不是满幅65535有些探测器只用到8000到14000的范围这种图像最好先做分段线性拉伸或直方图均衡否则目标对比度会被压制。6.3 踩坑二YOLO标签归一化后数值过小导致下采样丢失有朋友把VOC转YOLO后直接用结果发现模型预测框总是偏小。排查后发现原图是640×512目标只有16×16归一化后宽高是0.025和0.031。这种数值在float32下没任何问题但在某些半精度训练场景下接近0的梯度数值可能被截断小目标边界框回归变得不稳定。一个常见技巧是在训练时对损失函数中box部分的权重做微调给box_loss略高的权重。Ultralytics自定义loss比较麻烦但可以通过修改损失系数达到类似效果或者干脆把模型输入分辨率从640提高到960让目标在图像上的绝对尺寸增大归一化数值变大。6.4 踩坑三验证集mAP虚高与数据集重叠我有一轮训练跑出来的验证集mAP50高达0.96开心了几分钟然后换到新采集的红外视频上一测效果惨不忍睹。查了发现是划分脚本写得太随意同一个视频序列的帧没有按组划分训练集和验证集大量重叠模型把那些画面直接“背”了下来。从那以后我养成了两个习惯一是划分前先看文件名或场景分组信息确保同场景帧不被同时分入训练和验证二是训练完后留出一批独立拍摄的测试图这些图绝对不参与训练也不参与验证只在最后测一次泛化性能。6.5 踩坑四COCO格式的category_id和YOLO的class id差1COCO里category_id习惯从1开始YOLO的class id从0开始。如果转换脚本没处理好训练出来的模型所有预测框的类别都可能错位。遇到这种问题最直接的排查方式是把训练集中的某张图连同其YOLO txt标签可视化出来肉眼核对框的位置和类别文本。Ultralytics提供了一行命令yolo detect predict modelbest.pt sourcetest_image.jpg save_txtTrue查看生成的txt文件中类别索引是什么再对应到原图目标的真实类别很容易定位是索引没对上还是坐标算错了。7. 再多说几句这套数据流能复用到哪些场景整个流程不只是给红外飞机用的。如果你手里有红外舰船、红外车辆、或者光学遥感小目标数据这套“VOC转COCO转YOLO → 按场景划分 → 关闭Mosaic训练 → 切片推理”的链路完全可以平移过去。格式转换和划分脚本本质上是通用的换的只是图像目录和类别列表。我个人的一个小习惯是每次拿到新数据花了多少时间在标注和转换上都会记录下来。因为真正耗时的不是训练而是数据处理和格式对齐。一个可靠的数据管线能让后续十几次模型迭代都顺顺利利这个投入非常值得。本文还有配套的精品资源点击获取