简介这是面向疲劳驾驶行为检测研究的VOC格式数据集适用于高校科研人员与安全驾驶算法开发者解决疲劳驾驶场景中高质量标注数据稀缺的问题。压缩包内文件总数2000个整体大小约255.77MB主体为1997个XML标注文件记录目标框与类别信息便于图像检测模型直接读取另有3个TXT列表按7:2:1的比例划分训练集、验证集与测试集适合直接进入深度学习训练流程。该资源已有243人学习浏览适合需要规范化疲劳驾驶数据开展实验的个人和团队。数据内容覆盖驾驶员面部表情、眼动及操作行为等典型场景标注粒度清晰可用来训练疲劳状态分类、目标检测或关键点识别模型配套的TXT文件让数据划分和加载更为高效减少预处理时间。借助此数据集研究者能快速验证算法、横向对比模型效果为疲劳驾驶预警与辅助驾驶系统的研发提供可靠的数据支撑。1. 疲劳驾驶行为数据集8个XML文件能做什么很多人在群里拿到这份“疲劳驾驶行为数据集-zip”时第一反应是皱眉压缩包里就几个.txt和.xml连一张.jpg都没看到是不是被骗了我第一次拿到时也差点直接删除。但仔细看完两份列表文件和XML结构后发现这个包恰恰是那种“料少但真实”的VOC格式小样本数据集——它把最枯燥的标注整理环节替你做好了适合用来跑通“VOC→YOLO→训练→验证”这条完整链路。它不适合追求百万级样本的刷榜选手反而适合两类人一是刚接触目标检测、想用真实标注数据练手的新手二是需要在疲劳驾驶场景打哈欠、闭眼等状态下快速验证模型可行性的研究者和工程师。这篇笔记带你拆开这个zip把文件作用、格式转换、训练参数和避坑经验一次说清。2. 数据集内部结构VOC格式的组成与文件关系2.1 三个列表文件与XML之间的对应关系这个zip里最先看到的是train_list.txt、val_list.txt、test_list.txt三个文本文件。在Pascal VOC格式的数据集里这类list文件承担的是“索引”职责而不是存放标注内容本身。train_list.txt里存放的是参与训练的样本文件名通常是不带扩展名的前缀val_list.txt和test_list.txt分别对应验证集和测试集的样本索引。按照摘要里明确写的7:2:1划分比例如果你把三个文件的行数加起来会看到训练集占七成、验证集占两成、测试集占一成的分布。VOC格式下有一个很容易被忽略的约定每张图片的标注信息独立存放在一个同名XML文件里。也就是说train_list.txt里写“1429”意味着存在一张1429.jpg的图片以及一张记录该图片中目标位置和类别的1429.xml。这个数据集采供的XML文件是VOC标准结构包含folder、filename、path、size、object等节点其中object节点里的bndbox边界框坐标是后续训练最关心的数值。验证集同理894.xml对应894.jpg二者共享同一个名字前缀这是VOC格式的硬性约定。这里我想强调一个容易踩坑的认知list文件里的“1429”“894”这些数字不是随机编号而是图片与标注文件匹配的主键。如果你后续要自己扩充数据新增一张“5000.jpg”时必须同步生成一个结构一致的“5000.xml”并在列表文件中追加对应行。一旦编号对不上训练时会报出无法找到标注文件的错误。关于这个包的总体样本量从提供的XML文件数量来看规模不大属于典型的小样本数据集这也决定了后续训练策略必须做针对性调整。2.2 解读XML标注从size到object的完整链路打开1429.xml这类文件你会看到类似下面的VOC标准结构annotation folderfatigue/folder filename1429.jpg/filename pathD:/fatigue_dataset/1429.jpg/path source databasefatigue_driving/database /source size width640/width height480/height depth3/depth /size object nameyawn/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin120/xmin ymin200/ymin xmax260/xmax ymax320/ymax /bndbox /object /annotation这段XML的核心价值在object节。name是类别名疲劳驾驶数据集中通常会出现yawn打哈欠、closed_eye闭眼、phone打电话等类别具体类别清单以解压后的实际XML为准。bndbox四个数值决定了目标框的位置xmin/ymin是左上角坐标xmax/ymax是右下角坐标。注意这些坐标是像素值没有做归一化后续转YOLO格式时需要先读图片宽高再做除法。size节点同样不可忽视。转YOLO格式时如果你直接从XML读xmin/xmax然后除以width逻辑很简单但很多人在自制数据集时忽略了一个细节如果XML里记录的width和height与实际图片尺寸不一致比如你后来用脚本压缩过图片但忘了更新XML训练时就会因为归一化坐标错位导致检测框偏移。我用这个数据集时通常会把size节点里的值与实际用PIL读出的图片尺寸做一个断言校验不一致时优先以真实图片为准。VOC格式本身不复杂但这些小细节决定了转换脚本是“一次跑通”还是“反复返工”。2.3 为什么这个比例值得信任7:2:1的设定逻辑数据集提供方已经把train/val/test按7:2:1分好这省去了自己划分的麻烦。这个比例背后的逻辑是训练集需要足够多的样本让模型学习到类别特征验证集用来在训练过程中监控过拟合程度并调整超参数测试集则独立于整个训练流程用来评估最终模型的泛化能力。在样本量本就不大的情况下测试集只占一成是最务实的选择——如果测试集占比过高训练集样本会进一步缩水模型连基线精度都学不出来。有一点你需要心里有数这个小体量的数据集按7:2:1划分后验证集和测试集的数量只会是个位数。这意味着单次划分的验证结果有较大偶然性某个样本恰好难度偏高时mAP会剧烈波动。我后面会讲一种更适合小样本的评估方式——K折交叉验证。实战中我会把原始7:2:1划分作为“默认基线”但真正给结论时一定要做多次随机划分求平均否则你连“这个模型到底行不行”都说不清楚。3. 把VOC转成YOLO格式转换脚本与格式细节3.1 目录重建VOC风格与YOLO风格的本质差异VOC格式和YOLO格式在目录组织上完全不同。VOC风格通常是一个JPEGImages目录放图片、一个Annotations目录放XML而YOLO风格则要求图片和对应的txt标签放在同一个目录层级下txt文件里每一行代表一个目标框五个数值依次为类别id、归一化中心点x、归一化中心点y、归一化宽度w、归一化高度h。这就是为什么拿到VOC格式数据后第一步永远是写转换脚本。我在转换前会先重建一套干净的目录结构常见的做法是fatigue_yolo/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/这一步完成后把数据集zip里的图片文件按train_list.txt、val_list.txt、test_list.txt的索引分别拷入对应的images子目录。注意如果列表文件里写的是“1429”但你手头只有1429.xml而没有1429.jpg说明这个zip本身只提供了标注文件图片需要从原始来源补齐。我在实操时遇到这种情况会先把XML全部解析一遍确认哪些图片是确实存在的再往下走流程。确保图片与标注一一对应这一步看着琐碎但能避免训练时“图片找不到”的翻车现场。3.2 解析XML并生成YOLO txt标签这步是转换的核心用Python脚本一次完成XML解析和txt生成。以下是通用转换脚本类别映射需要根据自己的数据集调整import xml.etree.ElementTree as ET import os # 类别映射表按自己数据集的类别顺序调整 # 常见疲劳驾驶数据集类别yawn、closed_eye、phone class_mapping { yawn: 0, closed_eye: 1, phone: 2 } def convert_bbox_to_yolo(size, box): 将VOC格式的绝对坐标转换为YOLO格式的归一化坐标 size: (width, height) box: (xmin, ymin, xmax, ymax) dw 1.0 / size[0] dh 1.0 / size[1] x_center (box[0] box[2]) / 2.0 y_center (box[1] box[3]) / 2.0 w box[2] - box[0] h box[3] - box[1] return (x_center * dw, y_center * dh, w * dw, h * dh) def convert_annotation(xml_path, output_path, class_mapping): tree ET.parse(xml_path) root tree.getroot() size root.find(size) width int(size.find(width).text) height int(size.find(height).text) out_lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_mapping: # 遇到未知类别时跳过并打印警告 print(f[WARN] 未知类别 {name}已跳过) continue cls_id class_mapping[name] bndbox obj.find(bndbox) box [ float(bndbox.find(xmin).text), float(bndbox.find(ymin).text), float(bndbox.find(xmax).text), float(bndbox.find(ymax).text) ] yolo_bbox convert_bbox_to_yolo((width, height), box) out_lines.append(f{cls_id} {yolo_bbox[0]:.6f} {yolo_bbox[1]:.6f} {yolo_bbox[2]:.6f} {yolo_bbox[3]:.6f}) with open(output_path, w) as f: f.write(\n.join(out_lines)) # 解析train_list.txt批量转换 with open(train_list.txt, r) as f: names [line.strip() for line in f if line.strip()] xml_dir Annotations label_dir labels/train for name in names: xml_path os.path.join(xml_dir, f{name}.xml) out_path os.path.join(label_dir, f{name}.txt) if os.path.exists(xml_path): convert_annotation(xml_path, out_path, class_mapping) print(f[OK] {name}.xml - {name}.txt) else: print(f[MISS] {name}.xml 不存在请检查数据集)逻辑说明脚本先解析XML里的size拿到原始图片宽高这是后续归一化的分母然后遍历所有object节点把bndbox的四个像素坐标转成中心点加宽高的格式再分别除以宽高得到0~1之间的浮点数。类别名通过class_mapping字典映射成整数idYOLO训练时标签文件里第一列必须是整数类别id。转出来的坐标保留6位小数精度足够且不会让文件体积膨胀。参数说明class_mapping这个字典是你最先需要修改的地方。这份zip里的XML里name具体的值要以实际解压后的内容为准——有可能是yawn和closed_eye也有可能是别的命名。遇到不认识的类别名脚本会打印警告并跳过这可以防止你带着错乱的类别id去训练。输出路径output_path需要提前建好目录否则写文件时会报FileNotFoundError。3.3 生成数据集配置文件YOLO训练前的最后一步标签转完后还需要给训练框架提供一个数据集描述文件。以YOLOv5/v8为例需要在data目录下建一个fatigue.yaml# 疲劳驾驶数据集配置文件 train: fatigue_yolo/images/train val: fatigue_yolo/images/val test: fatigue_yolo/images/test # 类别数 nc: 3 # 类别名称列表必须与class_mapping的key顺序对应 names: [yawn, closed_eye, phone]逻辑说明这个yaml文件的作用是把上一步生成的图片目录告诉训练框架同时声明类别数量和类别名称。train、val、test三个字段指向的是图片目录路径训练时框架会自动去同级的labels目录下找对应的txt标签文件。names列表的顺序必须与转换脚本里class_mapping的value一一对应——id为0的类别在names里必须排第一位否则模型学到的类别和你在推理时理解的类别会错位。这里有一个新手最容易翻车的点YOLO框架的标签路径约定是“图片路径的父目录/labels/图片同名.txt”。假设你的图片放在fatigue_yolo/images/train/1429.jpg框架会去fatigue_yolo/labels/train/1429.txt找标签。所以转换脚本里把标签输出到labels/train是符合约定的但如果你自己手改目录结构比如把标签统一扔到一个大目录里训练时就会全部报“label not found”。4. 训练避坑指南样本量小到濒危时的自救方法4.1 现象加了预训练权重还是过拟合loss降不下去我第一次拿这份数据集直接跑YOLOv5时用的默认参数、默认yolov5s预训练权重训练50个epoch后训练集loss降得很漂亮但验证集mAP在0.2附近晃荡——典型的过拟合。当时还以为是参数没调对浪费了两天时间。原因在于这个数据集的样本量太小模型参数量相对样本规模严重过剩背下了训练集的细节却学不到可泛化的特征。解决思路有两个方向一是换更小的模型骨架比如yolov5n或yolov8n二是加大数据增强的力度尤其是mosaic增强和随机仿射变换。4.2 现象验证集指标忽高忽低同一个模型两次训练结果差一大截小样本数据集的另一个特征是验证集只有少数几张图一张难样本就能让mAP掉10个点。我第一次跑完mAP0.5是0.55第二次同样的参数跑出来变成0.41让我一度以为代码有bug。原因不是代码问题而是验证集的样本太少缺乏统计稳定性。解决办法是在YOLOv5的val.py里指定多个不同划分来多次验证或者直接采用K折交叉验证——把整个数据集分成K份每次用K-1份训练、1份验证最终把K次结果取平均。我一般对这个小数据集做5折每折训练30~50个epoch虽然时间翻了几倍但拿到手的mAP值才敢写进结论里。4.3 现象XML读取时报“not well-formed”或者训练时txt里出现NaN如果你遇到解析XML报错多半是标注文件里出现了不合法字符比如全角引号、未转义的符号等。XML是严格的文本规范一个字符出错就会让解析器直接罢工。还有一类问题出现在坐标转换时如果某个目标框的xmin和xmax相等宽度为0归一化后w就是0这行标签会变成NaN喂给模型训练时直接报损失为NaN。解决方式是在转换脚本里增加一个合法性校验检查w和h是否大于0检查xmin xmax且ymin ymax检查所有坐标是否在图片尺寸范围内。小数据集的人工标注偶尔会有边界错误这种校验能省掉大量排查时间。4.4 训练参数推荐小样本场景下的合理配置针对小样本疲劳驾驶数据集我习惯用下面的参数组合起手参数推荐值设置理由模型YOLOv8n 或 YOLOv5n参数量最小泛化风险最低输入分辨率640 × 640保持默认不盲目提升分辨率batch-size8 或 16显存允许前提下尽量取大稳定BN层统计量epochs50~80小数据集50轮足够再多就开始背样本mosaic增强开启前10轮关闭增加样本多样性但要防止把疲劳特征截断预训练权重coco.pt 或同类迁移权重迁移学习能极大提升小样本收敛速度hsv_h / hsv_s0.015 / 0.5轻微颜色扰动即可过强会破坏肤色特征特别提醒一下mosaic增强它在拼接四张图时可能会把目标切掉一半对于疲劳驾驶这种目标区域高度集中的场景切掉打哈欠区域一半会导致模型学到错误特征。我用YOLOv8时会把mosaic设置在最后一个epoch之前关闭或者在前10轮关闭mosaic从第11轮再开启反正排查干扰时优先看看这个开关。5. 进阶验证把mAP做实再做一次跨场景冒烟测试5.1 用K折交叉验证替代单次划分单次7:2:1划分在这个数据量级下得到的验证指标不稳定这一点前面已经提到。我处理这个数据集时会把train_list.txt里的所有样本汇聚起来做5折交叉验证。具体做法是把样本按顺序分到5个桶里每次取4个桶做训练、1个桶做验证训练5次。由于每次验证集完全不同最终取平均的mAP值具备统计意义。虽然训练5次比单次训练耗时长但对小样本场景来说这是唯一能让你在方案汇报中挺直腰杆的验证方式。K折交叉验证在图像检测任务中的实现不要手动写循环去调YOLO训练接口直接用框架的tools脚本或者把五种划分的list文件都生成好依次跑五遍训练。跑完后记录每一次的mAP0.5和mAP0.5:0.95最终报告中给出均值和标准差这是小样本深度学习里相对负责任的评估口径。5.2 跨场景冒烟测试验证模型“出了训练集还能不能用”有一次我用这份数据集训了一个疲劳检测模型单折mAP到了0.6自我感觉尚可。但随后我把模型用到一段夜间行车录像上结果哈欠基本没检出、闭眼漏检一片。原因不复杂数据集的样本来源比较单一大概率是日间在驾驶模拟器或封闭道路上拍摄的夜间光线、带墨镜、不同座姿这些场景差异直接击穿了模型的泛化边界。从那以后我每次拿到小样本模型都会额外准备一段完全不参与训练的视频或图片做冒烟测试哪怕只是五六张不同场景的照片也能暴露70%的泛化问题。这个冒烟测试的另一个价值是能帮你判断数据集本身的覆盖缺口。如果模型在日间样本上表现尚可、在夜间样本上崩溃说明你需要补充夜间疲劳驾驶样本而不是盲目调参和加训练轮次。对这份zip数据集的局限我的结论是它适合跑通流程和建立基线但不适合直接上生产环境你需要用自己的数据做增量训练。5.3 写在最后的两个习惯我养成了两个固定习惯一是每次拿到VOC格式数据先写校验脚本检查XML的坐标合法性再进入转换流程几分钟的事能避免后面一整天的排查二是小数据集训练的任何一个结论必须附带多次运行的平均值和标准差单次结果只用来判断“有没有明显bug”不用于判断“模型效果好不好”。如果你也拿到这份疲劳驾驶数据集不妨按这个链路走一遍拆包看XML结构、转YOLO格式、小模型短训练跑通、K折验证拿稳定指标、跨场景冒烟测出模型边界。希望这份笔记能让你少走点弯路把时间花在真正有用的模型迭代上。本文还有配套的精品资源点击获取