简介面向教室监控场景的人头密集检测任务这份YOLO格式数据集包含约2000张已标注图像类别仅head一项可无缝接入YOLOv5/YOLOv8等主流检测框架用于训练和评估密集人头检测模型。压缩包内共2000个文件其中1999个为txt标注文件另附1个show.py可视化脚本整体大小约173MB数据已按训练集、验证集、测试集划分完毕省去自行切分的预处理时间。目前已有154人学习下载适合教室人数统计、课堂秩序监控、异常聚集分析等教育信息化方向的研究与实践。配套的可视化脚本能快速检查标注质量作者还提供了YOLOv5改进实战教程围绕密集小目标场景给出优化思路无论用于科研实验还是项目原型验证这份数据集都能提供可靠的训练基础帮助读者把更多精力集中在模型调优与算法改进上。1. 监控视角下的教室人头密集图像目标检测为什么这件事比想象中难把摄像头挂在教室前上方向下俯拍一整间坐满学生的教室然后用目标检测模型数出画面里有多少个人头、每个头在哪——这个需求在很多场景里都会冒出来考勤统计、课堂活跃度分析、考场异常行为预警。看起来只是“人头检测”四个字但监控视角和密集场景会让它和普通的目标检测任务拉开很大差距。俯拍角度下人脸信息大量缺失能依赖的主要是头顶轮廓学生前后排遮挡严重边界框互相重叠2000张标注数据虽然能支撑训练但要在不同教室、不同光照下保持稳定光靠跑通一个YOLO训练脚本远远不够。这篇文章会从数据审校、模型选型、训练参数、密集场景专项处理到最终视频验证把这条链路完整走一遍。2. 数据先行的检查清单拿到2000张YOLO标注后先别急着训练2.1 先看图片分辨率和摄像头视角的分布教室监控数据有一个很容易被忽视的问题不同摄像头的安装高度、俯仰角度、焦距差异非常大。同样标成“人头”的框在画面上的尺寸可能相差十几倍。有的摄像头装在黑板正上方画面里前后三排人头大小接近有的装在教室后墙角前排人头特别大、后排人头只有十几个像素。如果2000张图里这两种视角混杂在一起模型会很难收敛因为同一个类别在不同尺度下的特征差异太大。我拿到数据的第一件事是把2000张图的标注信息全部读出来统计每张图里目标框的宽度分布。用下面这段脚本可以快速看到全局情况import os from collections import Counter label_dir labels size_counter Counter() per_image_count [] for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue boxes 0 with open(os.path.join(label_dir, fname), r) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue # YOLO格式: class x_center y_center width height均为归一化值 w float(parts[3]) * 1000 # 放大到千分比便于阅读 h float(parts[4]) * 1000 size_counter[(round(w/20)*20, round(h/20)*20)] 1 boxes 1 per_image_count.append(boxes) print(平均每张图目标数:, sum(per_image_count) / len(per_image_count)) print(框宽度分布Top10(千分比):, size_counter.most_common(10))这段脚本把归一化宽高放大1000倍后再按20分桶统计能直观看出目标框的主流尺寸区间。如果大部分框的宽度集中在20~60约等于在1080P画面上占20~60像素说明这是一批典型的小目标数据如果跨度从20到300都有就要考虑是不是混了多个摄像头视角。还需要统计每张图的目标数量。教室场景里一张空教室图可能只有0~1个框满员时可能有40~50个框目标数分布差异极大。这直接影响训练时的batch组成如果同一个batch里既有空教室又有满员教室模型在梯度更新时会被少数困难样本主导。踩过这个坑之后我养成了习惯先看目标数分布再决定要不要做难样本过采样。2.2 YOLO格式标注的逐项校验不只是能打开就完事YOLO格式的标注文件长相很简单每行五个数字类别索引、归一化中心x、归一化中心y、归一化宽度、归一化高度。但越是简单的格式越容易出错。2000张数据里最常见的几个问题我用脚本全查过一遍from pathlib import Path img_dir Path(images) label_dir Path(labels) errors [] for label_file in label_dir.glob(*.txt): img_file img_dir / (label_file.stem .jpg) if not img_file.exists(): img_file img_dir / (label_file.stem .png) if not img_file.exists(): errors.append((label_file.name, 找不到对应图片)) continue lines label_file.read_text().strip().splitlines() for i, line in enumerate(lines): parts line.split() if len(parts) ! 5: errors.append((label_file.name, f第{i1}行字段数不对)) continue try: cls int(parts[0]) x, y, w, h map(float, parts[1:]) except ValueError: errors.append((label_file.name, f第{i1}行非数字)) continue if not (0 x 1 and 0 y 1 and 0 w 1 and 0 h 1): errors.append((label_file.name, f第{i1}行坐标越界)) continue # 中心点加减半宽后必须仍在画面内 if not (0 x - w/2 and x w/2 1 and 0 y - h/2 and y h/2 1): errors.append((label_file.name, f第{i1}行框超出图像边界)) print(发现错误数:, len(errors)) for e in errors[:30]: print(e[0], e[1])这段脚本做了三件事文件名关联校验、字段完整性与数值范围校验、边界框是否超出图像范围。边界越界这个问题尤其隐蔽有些标注工具允许框有一小部分在画面外但检测模型训练时会因为正样本不完整产生错误的梯度信号。对于密集人头这种本身就带截断的场景我通常建议把越界超过10%的框直接删除而不是保留。还有一个容易忽略的点类别索引一致性。YOLO格式的类别索引只是数字必须和data.yaml里的names列表对应。如果标注文件里出现了类别索引3但names只有两类训练时要么报错要么静默忽略。遇到这种情况没有捷径只能逐个文件核对类别编号。2.3 训练集与验证集的划分策略别让同源数据污染评估结果教室监控是典型的视频流数据视频每秒25帧连续帧之间的画面高度相似。如果按文件名随机划分train和val很可能出现这种情况同一段视频里第100帧在训练集、第105帧在验证集两边画面几乎一样。这样训练出来的模型在val上表现很好但换一个教室就立刻现出原形。这种同源泄露是目标检测里最常见的“虚高mAP”来源。正确做法是按视频序列分组划分而不是按单张图片划分。比如2000张图来自5个教室的5段视频就把整个视频按比例切分3个教室全部进训练集1个教室进验证集1个教室留作最终测试。如果标注数据里没有记录视频来源信息那就只能靠文件名聚类或者用图像特征向量做粗略分组。一个折中方案是按照拍摄时间段分组因为监控视频通常按时间戳命名同一时间段必然来自同一场景。2000张数据并不算多如果直接按8:1:1划分验证集和测试集各只有200张评估结果的置信区间会很大。我的做法是先用全部数据做5折交叉验证看稳定性再用其中一折作为最终评估。交叉验证在YOLO训练里不算麻烦ultralytics提供了kfold脚本但需要保证每折的划分都遵守视频分组原则否则交叉验证的意义就打了折扣。3. 模型选型与训练参数从YOLOv8到自己训练的完整落地路径3.1 为什么这个场景仍然首选YOLO系列教室人头检测这个任务候选模型并不少Faster R-CNN、SSD、YOLO系列、基于Transformer的DETR以及专门做密集检测的CrowdDet等。但落地时要考虑训练成本、推理速度和部署难度。人头密集场景下DETR这类端到端模型在遮挡处理上有优势但训练需要更长的时间和更大的数据量2000张图很难喂饱它Faster R-CNN的检测精度并不差可是单张1080P图像在CPU或低端GPU上的推理速度很难达到实时。实际项目里YOLO系列仍然是最稳妥的起点。原因有三点第一训练生态完善数据格式、预训练权重、数据增强配置开箱即用第二模型体积灵活从nano到x-large可以按部署设备的算力选择第三社区踩过的坑多遇到问题容易找到对应解法。对于这张2000张的数据集我一般会在YOLOv8n和YOLOv8s之间选一个作为基线先跑通再谈优化。YOLOv6和YOLOv7也能做同样的事但训练脚本和数据接口不如ultralytics这套统一。3.2 训练前的配置文件data.yaml、超参数和预训练权重先写最基础的data.yaml。这个文件只做一件事告诉训练脚本类别和数据的路径。path: /data/classroom_head # 数据集根目录 train: images/train # 训练图片相对路径 val: images/val # 验证图片相对路径 names: 0: head单片机的部署或者边缘设备的推理最终导出格式和量化方案都得单独考虑这里配置界面简单一点。训练超参数里我对这个数据集最看重四个imgsz、batch、epochs和mosaic增强概率。监控画面通常是1920x1080人头目标可能只有20~40像素。如果直接缩放到640x640输入小目标信息会被严重压缩。我建议imgsz开到1280这会让训练内存占用变成640的4倍左右但密集小目标场景下这个代价值得付出。如果显存不够优先考虑减少batch而不是降低imgsz因为尺寸对小目标的影响比batch更直接。3.3 训练命令与日志解读怎么判断模型真的在变好用ultralytics训练的命令很直白yolo detect train \ data/data/classroom_head/data.yaml \ modelyolov8s.pt \ imgsz1280 \ batch16 \ epochs150 \ lr00.005 \ lrf0.01 \ mosaic0.5 \ patience20 \ device0这里每个参数都是根据数据情况调过的lr0设成0.005而不是默认的0.01因为2000张数据量不大学习率太猛容易在初始阶段就把特征弄坏mosaic设为0.5而不是默认的1.0因为mosaic会把四张图拼在一起密集人头场景下本来就有大量重叠框叠加后小目标会被进一步缩小模型容易学不到有效特征。patience设为20做早停避免无效训练浪费时间。训练日志里需要盯三个指标box_loss持续下降、cls_loss下降、val/box_map50稳步上升。如果box_loss降了但map50纹丝不动多半是正负样本不平衡或者标注框本身有问题如果三个loss都在降但map50波动很大先怀疑验证集划分是不是出了同源泄露。另外要注意训练前几个epoch出现的大幅loss波动那是模型在适应新的数据分布不用慌等30个epoch以后再看趋势。3.4 预训练权重到底用不用YOLO预训练模型下载的意义有人会问2000张数据是不是从头训练更“干净”。我的经验是除非有特殊理由否则一定加载COCO预训练权重。预训练模型下载到本地后模型已经具备通用的边缘、纹理、形状特征提取能力微调到人头检测通常几十个epoch就能收敛。从头训练在上千类通用物体上学到的先验全部丢失2000张图很容易陷入过拟合。加载方式就是在train命令里指定model为对应架构的.pt文件框架会自动处理层权重迁移不需要额外代码。4. 密集场景的专项攻坚小目标、遮挡与推理切图4.1 小目标检测的三个处理手段密集人头场景本质上是小目标检测问题。模型在特征提取过程中小目标的特征经过多次下采样后可能只剩几个像素分类头拿到的信息极其有限。常用的处理手段无非三种更高分辨率输入、更浅的特征层、图像切块推理。高分辨率输入已经在训练里通过imgsz1280实现了。更浅的特征层在YOLOv8里默认做了从P3到P5的检测头融合P3对应80x80特征图对小目标相对友好。但监控视角下人头尺寸可能低于20x20即使P3层也很难覆盖。这时就需要图像切块推理。4.2 推理端切图把1080P切成四个960x540区域再合并结果训练时用全图、推理时也全图输入对于一个只有25x25像素的人头模型漏检率会很高。我的做法是在推理阶段把画面均匀切成2x2的子图每个子图独立检测后再把框坐标映射回原图import cv2 import numpy as np from ultralytics import YOLO model YOLO(best.pt) img cv2.imread(classroom.jpg) H, W img.shape[:2] # 切成2x2每个子图约960x540 tiles [] coords [] for i in range(2): for j in range(2): x0, y0 j * W // 2, i * H // 2 x1, y1 (j 1) * W // 2, (i 1) * H // 2 tiles.append(img[y0:y1, x0:x1]) coords.append((x0, y0)) all_boxes [] for tile, (x0, y0) in zip(tiles, coords): results model(tile, imgsz1280, conf0.25, iou0.5) for r in results: for box in r.boxes: # 把子图坐标加回偏移量还原到原图坐标系 xt, yt, xb, yb map(int, box.xyxy[0].tolist()) all_boxes.append([ xt x0, yt y0, xb x0, yb y0, float(box.conf[0]) ]) # 合并重叠框NMS阈值适当调低 from ultralytics.utils.ops import non_max_suppression boxes_tensor np.array([b[:4] for b in all_boxes], dtypenp.float32) scores_tensor np.array([b[4] for b in all_boxes], dtypenp.float32) final non_max_suppression( torch.from_numpy(boxes_tensor).unsqueeze(0), torch.from_numpy(scores_tensor).unsqueeze(0), iou_thres0.4 )切图会让位于切分边界的同一个头被两个子图各检测一次所以合并后的NMS必不可少。iou_thres设为0.4而非默认0.5是因为两个框的实际重叠面积在边界处可能不到一半阈值太低会保留两个重复框。切图有一个边界问题如果一个头正好被切在分界线中央它的特征在两边子图里都是残缺的两个子图都可能漏检。缓解办法是让相邻子图有少量重叠比如重叠10%宽度这样每个目标至少在一个子图里是完整的。4.3 数据增强的取舍Mosaic在密集场景为什么容易翻车训练时Mosaic增强把四张图随机缩放拼接对小目标通常是有利的因为拼接后的图里目标种类更多、样本更多。但教室人头密集场景里有个反直觉的问题Mosaic在随机裁剪四张图时很容易把本来就只有几十像素的人头切割得只剩半个轮廓另一半来自别的图片产生大量不完整的正样本。另外Mosaic还会造成严重的人工密集假象——四张不同教室的拥挤画面拼在一起相当于把目标密度人为抬升了一倍多。模型会学到“画面里人头就该这么多”推理时面对真实教室反而更容易漏检后排稀疏的小头。我在这套数据上把mosaic降到0.3~0.5比较合适同时把copy_paste这类增强关掉因为人对遮挡区域的粘贴会制造出大量不真实的重叠关系。4.4 损失函数和NMS参数模型训练和推理的边界要分开调YOLOv8的损失函数由box_loss和cls_loss组成训练时这些参数通常不用动。但推理时的conf阈值和NMS的IOU阈值必须针对密集场景单独调。教室人头几乎没有“低置信度真实框”这个概念该信任的框置信度常常在0.5以上但密集场景下同一个头的多个候选框置信度都很高IOU重叠又多。如果按默认的conf0.25、iou0.7跑几乎必定出现同一个头被框两三次的情况。我把推理参数设为conf0.35、iou0.45放在普通监控场景里略高但适合人头密集场景。需要注意的是这两个阈值对最终人数统计影响极大宁可漏掉少数极模糊的框也要避免重复计数被当成真实人数。5. 常见问题排查训练、推理、标注的踩坑记录5.1 标注文件与图片对不上模型loss正常但检测结果全错位现象训练过程loss曲线很漂亮但可视化检测结果时框全部偏移有的落在人肩膀旁边有的甚至歪到墙边。原因标注文件里归一化坐标的参照系和训练用的图像尺寸不一致。比如标注时用1920x1080的图标注但训练前预处理把图片等比缩放到640x640并做了letterbox没有同步修改标注坐标。解决检查图片加载和预处理代码务必使用letterbox返回的缩放比例和填充偏移量对预测框做反向映射。更省心的是统一走ultralytics的Dataset流程不要自己写预处理脚本。这个问题我遇到过两次第二次是在换显卡后重装环境时又踩了一遍后来干脆写了个可视化脚本把标注框直接画在图上人眼检查一遍再开训。5.2 训练loss一直下降但mAP0.5上不去现象box_loss从初始值1.5降到了0.3cls_loss也降了但val/box_map50始终徘徊在0.5以下反复训练多次都一样。原因最常被忽略的是验证集和训练集来自同一段视频的连续帧模型其实已经“记住”了验证画面但当分布略有偏移时性能骤降。另一种可能是标注框严重不贴合人头轮廓——很多标注员习惯把框画得比头大一圈导致模型学到的目标边界模糊mAP计算时预测框和真值框的IOU不达阈值。解决先用2.1节的脚本重新检查标注框宽高分布再按视频分组重新划分数据集。如果重划后mAP上去了就断定是同源泄露如果还是不行建议用标注工具重新抽检200张图逐张看框的贴合度。5.3 推理时同一个头被检测出三四个框现象模型训练完单张教室图上一个人头被框了3次而且置信度都是0.4左右。原因推理时conf阈值太低产生大量低质候选框同时NMS的iou阈值太高导致重叠框没被合并。密集场景下人头框之间IOU本来就偏高默认阈值不再适用。解决把conf从默认0.25提高到0.35~0.4把iou从0.7降到0.4~0.5。如果还无法解决检查模型输出的tensor尺度是否和推理脚本匹配——如果训练用的imgsz和推理时不一致输出坐标会有系统性偏移。5.4 训练显存不够或训练中途OOM现象imgsz1280、batch16时报CUDA out of memory训练终止。原因显存不足问题不在于模型太大而是输入分辨率太高。解决优先把batch降到8或4如果还不行再降imgsz。也可以开启梯度累积batch4配合accumulate4等效于batch16的更新步长但显存占用只有四分之一。另外检查是否开启了AMP混合精度ultralytics默认开启如果手动关闭会让显存占用翻倍。5.5 换了教室摄像头后效果急剧下降现象训练时在自己的数据上mAP 0.5达到0.9部署到另一间教室漏检率直接翻倍。原因训练数据里的教室类型单一比如全是阶梯教室摄像头都装在正前方高处新教室是平层小教室装的摄像头在侧面视角差异大。解决没有银弹。可行的路径是先收集目标教室的少量图像做标注微调或者让推理时支持多分辨率自适应。如果只是换摄像头高度可以用TTA测试时增强把不同尺度推理结果合并但这会增加推理耗时。6. 用实际视频验证模型两个必须做的最终检验前面所有训练和调参工作最后都要面对一段完整的教室监控视频而不是测试集里的静态图片。我一般会用一段5分钟、每秒抽出两帧的监控视频做验证重点看两个指标人数曲线是否平滑、检测框是否抖动。人数曲线平滑性这个检验在密集场景特别有效。一段5分钟的教室内学生人数不会突变。如果模型每帧检测出的人数在25、40、19之间跳变说明大量目标在漏检和误检之间摇摆问题通常出在阈值设置而不是模型结构上。观察具体跳变的帧如果漏检集中在后排就用第4章的方法切图推理如果误检集中在投影幕布或黑板上需要把那些区域的预测框单独过滤。检测框时间稳定性检验更直接连续几帧中同一个人的框中心点位置差应该在几个像素以内如果出现框在人的头顶和肩膀之间来回跳动说明IoU阈值或NMS设置不当。把视频帧逐张存入列表统计相邻帧之间的框位置偏移就能快速发现异常帧。我自己在第一个版本模型上跑这段检验时发现框中心点抖动达到15像素后来把NMS的iou从0.4调高到0.6抖动立刻降到3像素以内。最后提一句验证习惯我会把模型连同推理脚本固定好版本后单独留存一份测试视频、一版从未参与过训练的验证集图片和对应的预测结果截图。被人质疑模型效果时这套资料能最快地证明问题所在而不是空口说“我训练得挺好的”。这个习惯救过我很多次也希望帮到你。本文还有配套的精品资源点击获取