简介这套真实课堂与教室行为检测目标检测数据已标注约11,800张图像采用YOLO标注格式覆盖回答问题、板书等4类课堂行为适合目标检测学习者、YOLO改进研究者及课堂行为分析系统开发者用于模型训练、验证与效果评估。资源共2000个文件以1999个txt标签文件为主体格式符合YOLO标注要求另有show.py脚本用于可视化检查标注结果压缩包总大小787.64MB。数据集已划分好训练集与验证集下载后按YOLO流程即可投入训练。目前已有75人浏览/学习。这份数据将真实教室监控场景整理为规范的目标检测标注集能省去大量数据采集与转换环节配合标签可视化脚本可帮助读者专注于课堂行为识别模型的设计与改进。1. 真实课堂行为检测图像数据集为什么 11,800 张已标注教室图值得认真对待做教学督导、智慧校园或课堂质量评估的工程师早晚都会撞上同一个需求摄像头画面里怎么判断学生是在举手、趴桌、玩手机还是认真写字。单看视频流无法直接回答得先通过目标检测把画面里的人定位成边界框再按行为类别去分类。真实课堂、教室行为检测图像目标检测数据正是为这个场景准备的约 11,800 张图像已经完成标注标签统一采用 YOLO 标注格式拿到手不必再做格式转换就能直接进入训练流程。对教育科技开发者、计算机视觉工程师和做校园安防系统的人来说这份数据的价值不在于“多”而在于它替你把真实教室里最麻烦的一环——收集、抽帧、清洗、标注——一次性做完了。下面我会从标注格式怎么读、数据怎么验、训练参数怎么设、教室场景有什么坑一直讲到部署前的后处理技巧。2. 拆解 YOLO 标注格式用统计脚本和可视化把 11,800 张标签彻底看清拿到任何一份标注好的检测数据第一件事都不是直接开训。我的习惯是先把它当黑匣子打开逐项核对格式、类别、坐标和图像是否匹配然后才能放心交进训练管线。YOLO 标注格式最大的优点是干净每个 txt 文件对应一张同名图像每行一个目标五个数字依次是类别、中心点 x、中心点 y、框宽、框高后四项全部归一化到 0 到 1 之间。这个格式读取极快几乎没有冗余信息适合大规模训练时的 IO 压力代价是它肉眼完全不可读不写点脚本做可视化你看到的只是一堆毫无规律的浮点数。2.1 YOLO txt 的字段构成与课堂行为类别定义以典型的真实课堂数据来看图像文件是 classroom_00001.jpg同目录下就有对应的 classroom_00001.txt。标签文件里的每一行都代表一个标注目标字段位置固定字段顺序含义取值范围第 0 项类别编号整数从 0 开始0 到类别数减 1第 1 项目标框中心点横坐标 ÷ 图像宽度0 ~ 1第 2 项目标框中心点纵坐标 ÷ 图像高度0 ~ 1第 3 项目标框宽度 ÷ 图像宽度 0第 4 项目标框高度 ÷ 图像高度 0这四个浮点数的精度很关键。YOLO 格式本身不约束小数点位数标注工具导出的精度到 0.000001 就足够用了图像坐标乘以宽度之后亚像素精度没有意义。如果你发现某个 txt 文件里出现了负数或者大于 1 的坐标需要立刻把这行标为非法否则训练时数据加载器轻则报警告重则直接跳过这一批图像。课堂行为检测的类别划分是决定模型能力上限的第一步。常见做法是把行为分成六到十个类别比如类别编号行为典型标注对象0raising_hand 举手举起的手臂和手掌区域1sleeping 睡觉趴在桌上的头部区域2writing 书写手和笔接触桌面的区域3using_phone 玩手机手机屏幕或持手机的手4reading 阅读摊开的书本区域5listening 听讲正脸或侧脸头部区域6standing 起立上半身区域具体列表要以你拿到的 classes.txt 为准课堂行为数据集的类别范围通常不会差太远但一定不要把“猜的类别顺序”当成事实。标签文件里类别编号是整数一旦 classes.txt 与标注文件里的数字对应不上训练出来的模型会表现得让人摸不着头脑明明标注里是“举手”推理时输出却对应“睡觉”。先核对类别清单再谈训练。2.2 写脚本统计类别分布、排查非法标注行我拿到数据后一般先跑一遍统计脚本把每个类别有多少个框、每张图平均多少个目标、非法标注行有多少全部量化出来。不要凭感觉判断数据好坏数字不会骗人import os from collections import Counter label_dir labels # 所有 YOLO txt 标注文件所在目录 counter Counter() invalid_files [] total_boxes 0 boxes_per_image [] for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue path os.path.join(label_dir, fname) with open(path, r, encodingutf-8) as f: lines [line.strip() for line in f if line.strip()] image_box_count 0 for line in lines: parts line.split() if len(parts) ! 5: invalid_files.append((fname, line, 字段数不等于5)) continue cls int(parts[0]) x, y, w, h map(float, parts[1:]) if w 0 or h 0 or not (0 x 1 and 0 y 1): invalid_files.append((fname, line, 坐标越界或宽高非法)) continue counter[cls] 1 total_boxes 1 image_box_count 1 boxes_per_image.append(image_box_count) print(f总标注框数: {total_boxes}) print(f每图平均目标数: {total_boxes / len(boxes_per_image):.2f}) for cls in sorted(counter): ratio counter[cls] / total_boxes print(f类别 {cls}: {counter[cls]:6d} 框, 占比 {ratio:.2%}) print(f非法标注行数: {len(invalid_files)}) for fname, line, reason in invalid_files[:10]: print(f {fname}: {line} - {reason})这段脚本的逻辑要点有三个。第一个是字段长度校验YOLO 格式每一行必须是五个值多了少了都说明标注文件格式有问题需要返回人工核对。第二个是坐标范围校验x、y 理论上应该在 0 到 1 之间w 和 h 必须大于 0否则框在图像外或反向训练数据加载器会报警告。第三个是类别分布统计能直接看出类别不平衡的程度如果某个类别占比不到 5%后面训练时必须针对它做重采样或增强否则模型大概率会把这类目标直接漏掉。现实中对 11,800 张图的量级来说标签文件如果有几十行非法格式通常只是个别文件夹损坏或坐标导出时出了问题手动修掉即可。但如果非法行占比超过 0.1%我会选择把那几批图像直接丢出数据集不值得在脏数据上反复排查浪费时间。2.3 可视化叠加边界框用肉眼校准标注质量统计脚本能检查格式但格式正确不代表语义正确。标注框画歪了、类别贴错了、该框住的区域只框住一半——这些问题只有可视化才能暴露。我会随机抽 200 张图把边界框和类别名画回图像上一张张扫过去import cv2 import os import random random.seed(2024) img_dir images label_dir labels output_dir visual_check os.makedirs(output_dir, exist_okTrue) class_names [raising_hand, sleeping, writing, using_phone, reading, listening, standing] img_files [f for f in os.listdir(img_dir) if f.endswith(.jpg)] sample random.sample(img_files, 200) for idx, img_name in enumerate(sample): img cv2.imread(os.path.join(img_dir, img_name)) h_img, w_img img.shape[:2] label_path os.path.join(label_dir, os.path.splitext(img_name)[0] .txt) if not os.path.exists(label_path): continue with open(label_path, r, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue cls, xc, yc, bw, bh int(parts[0]), *map(float, parts[1:]) x1 int((xc - bw / 2) * w_img) y1 int((yc - bh / 2) * h_img) x2 int((xc bw / 2) * w_img) y2 int((yc bh / 2) * h_img) x1, y1 max(0, x1), max(0, y1) x2, y2 min(w_img, x2), min(h_img, y2) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) label_text f{class_names[cls]} cv2.putText(img, label_text, (x1, max(15, y1 - 8)), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2) cv2.imwrite(os.path.join(output_dir, fcheck_{idx:03d}_{img_name}), img) print(f已输出 {len(sample)} 张可视化结果到 {output_dir})这个脚本本身很朴素但你把结果图拼成九宫格扫一遍能发现不少典型问题。最常见的是类别贴错学生低头看手机框却在书的位置标注者大概率把 using_phone 和 reading 绑错了对象。第二种是框范围不合理睡觉的框只框住脸没有把趴下的整个头部区域包进去模型对目标尺寸产生歧义。第三种是漏标明显的目标在画面里却没有对应框这类图比例一高模型会学习到“这些行为可以不检测”的错误倾向。抽样可视化是成本最低的质量验收动作。11,800 张图不用全看200 张足够暴露系统性标注问题。如果 200 张里抽查出超过 15 张有明显标注错误我会再抽 200 张确认比例超过 5% 就值得对数据集整体清洗一轮如果只是零星几处错误直接人工改掉这几条标签即可不要因噎废食。3. 用 YOLO 训练课堂行为检测模型从数据划分到关键参数全流程数据验证完毕接下来进入训练阶段。这里有一个容易犯错的设计决定训练集、验证集、测试集怎么切分。最常见的做法是把图像随机打乱按 8:1:1 分成三份脚本跑起来很快但这对课堂行为检测存在一个隐蔽问题如果同一间教室的视频被抽成多张图随机打乱会让同一教室的图像同时出现在训练集和验证集里验证集的精度会虚高。换句话讲模型见过的不只是教室这种“风格”还包括这个教室的“记忆”。3.1 按教室划分训练/验证/测试集避免随机切分带来的评分虚高我在处理教室行为数据时会先把图像文件名的前缀按教室来源分组然后以教室为单位划分数据集。假设文件名格式是 classroom_01_0001.jpg其中 classroom_01 是教室编号后面是帧序号就可以用教室编号做分组切分import os import random import shutil from collections import defaultdict random.seed(42) img_dir images label_dir labels groups defaultdict(list) for fname in os.listdir(img_dir): if not fname.endswith(.jpg): continue camera_key fname.rsplit(_, 1)[0] # 取 classroom_01 这一段 groups[camera_key].append(fname) group_names list(groups.keys()) random.shuffle(group_names) n_groups len(group_names) train_groups set(group_names[: int(n_groups * 0.8)]) val_groups set(group_names[int(n_groups * 0.8): int(n_groups * 0.9)]) test_groups set(group_names[int(n_groups * 0.9):]) for split_name, split_groups in [(train, train_groups), (val, val_groups), (test, test_groups)]: os.makedirs(f{split_name}/images, exist_okTrue) os.makedirs(f{split_name}/labels, exist_okTrue) for g in split_groups: for fname in groups[g]: stem os.path.splitext(fname)[0] src_img os.path.join(img_dir, fname) src_lbl os.path.join(label_dir, stem .txt) dst_img os.path.join(split_name, images, fname) dst_lbl os.path.join(split_name, labels, stem .txt) shutil.copy(src_img, dst_img) if os.path.exists(src_lbl): shutil.copy(src_lbl, dst_lbl)这段代码的关键在 camera_key 的提取。按教室编号分组切分后同一个教室的图像只会出现在一个划分里验证集和测试集面对的都是模型没见过的教室场景指标才有说服力。如果你硬要随机切分十有八九验证集分数比真实部署场景高出一大截上线后被现实数据教育一轮才知道是切分方式埋的雷。数据划分完成后需要一份数据集配置文件。Ultralytics YOLO 训练时需要一个 yaml 文件描述路径和类别path: ./classroom_split train: train/images val: val/images test: test/images nc: 7 names: 0: raising_hand 1: sleeping 2: writing 3: using_phone 4: reading 5: listening 6: standing注意 categories 顺序必须和标注文件里的类别编号完全一致这里错了训练损失会收敛得很奇怪mAP 也会在某个阈值附近卡死。3.2 训练 YOLO 模型的参数设置与数据增强策略数据准备好了选择模型规模。11,800 张图属于中等规模数据集建议从 YOLOv8n 或 YOLOv8s 开始跑基线不要一上来就上 YOLOv8x模型容量大了但数据量喂不饱过拟合反而是主要矛盾。我用 yolo 命令行训练时常用下面这一组参数yolo detect train \ modelyolov8n.pt \ dataclassroom.yaml \ epochs120 \ imgsz640 \ batch16 \ lr00.01 \ lrf0.01 \ momentum0.937 \ weight_decay0.0005 \ mosaic1.0 \ close_mosaic10 \ fliplr0.5 \ flipud0.0 \ degrees5 \ translate0.1 \ scale0.3 \ hsv_h0.02 \ hsv_s0.5 \ hsv_v0.4参数选择有几个针对性考虑。imgsz 用 640 是把「检测精度」和「训练速度」的平衡点教室里的目标大多是中尺寸的人体框640 不会太小也不会像 1280 那样显存翻倍。close_mosaic10 表示最后 10 个 epoch 关闭 mosaic 增强让模型在收敛阶段看到真实的单图分布避免验证集和部署场景出现 mAP 虚高。flipud 设为 0 是因为课堂摄像头是固定视角学生不会倒过来上下翻转会制造出训练分布里不存在的“反重力”样本。degrees5、scale0.3 都是对教室场景比较保守的增强幅度学生姿势千奇百怪但尺度不能乱变比如「书写」行为框的尺度一变模型就不知道该盯手还是盯桌面了。hsv_h、hsv_s、hsv_v 三个参数值得单独说。真实教室照明差异很大荧光灯下发白靠近窗户的座位偏自然光投影仪亮着时整体偏暗。把 hsv 增强拉到 hsv_s0.5、hsv_v0.4可以让模型对颜色不再敏感重点关注行为姿态本身。但不要拉得太过hsv_h 超过 0.05 后颜色可能失真到学生肤色都变了反而破坏行为识别所需的纹理信息。如果你是在自己的代码里调用训练接口等价写法是from ultralytics import YOLO model YOLO(yolov8n.pt) model.train( dataclassroom.yaml, epochs120, imgsz640, batch16, lr00.01, lrf0.01, momentum0.937, weight_decay0.0005, mosaic1.0, close_mosaic10, fliplr0.5, flipud0.0, degrees5, translate0.1, scale0.3, hsv_h0.02, hsv_s0.5, hsv_v0.4, )3.3 训练监控与模型评估要点训练启动后不要只看 loss 曲线。Ultralytics 会在 runs/detect/train 目录下产出 results.csv里面的 val_loss、metrics/precision(B)、metrics/recall(B)、metrics/mAP50(B)、metrics/mAP50-95(B) 才是判断模型状态的依据。我一般关注三个信号第一个信号是 val_loss 是否在训练后期回升。如果 val_loss 先降后升train loss 一直下降说明模型开始在训练集上死记硬背了此时把 epochs 缩短或者把数据增强强度调回去都能拉一把。第二个信号是 mAP50 和 mAP50-95 之间的差距。教室行为检测里边界框通常比较大mAP50 容易涨到 0.8 以上但 mAP50-95 如果长期低于 0.5说明框的位置和大小还不够准这时候调高 imgsz 到 960 往往有奇效代价是训练时间变长。第三个信号是混淆矩阵。训练结束后 runs/detect/train 下会生成 confusion_matrix.png这张图直接告诉你哪两个类别在互相打架。课堂行为检测里最常见的混淆是 reading 和 using_phone因为两者的共同点是“低头看东西”。如果混淆严重先不要急着调模型回到标注定义上把两个类别的边界重新说清楚再清洗一轮标签效果比改任何超参数都明显。还有一个非常值得提的训练期问题如果 batch size 设得小、学习率又没配合调整训练到中途可能遇到 BN 层崩溃特征是 loss 突然变成 nan 或者 validation 指标瞬间掉到接近 0。这种情况在 YOLO 训练里不算罕见解决方法是先减小 lr0再把 batch 调大或者打开梯度累积不要硬着头皮继续跑。4. 课堂行为检测避坑记录类别不平衡、遮挡、光照和脏标注数据是真实课堂采集的训练就会出现真实课堂特有的麻烦。这一章把这些坑按“现象 → 原因 → 解决”写清楚全部是我实际踩过的。4.1 类别不平衡为什么「睡觉」总是学不会现象验证集上逐类别看指标sleeping 的 recall 只有其他类别的三分之一。测试集里一个学生明显趴在桌上模型却输出“无目标”或者“听讲”。原因sleeping 的标签框大多是头部小框面积只占整张图的 1% 左右小目标在特征图上的响应本身就弱。再加上睡觉这个行为在数据里占比往往只有 2% 到 3%正样本不足和特征薄弱叠加模型就学不会。解决先做类别重采样。把 sleeping 这类低占比类别的样本在训练时多采样一倍让每个 epoch 的类别分布不再极端再用 mosaic 增强把出现概率提上来mosaic 把四张图拼成一张小目标的相对尺度会变大模型更容易学到“小框跟着一个趴着的头”这个模式。如果还不行就在推理时把 sleep 类别的置信度阈值单独下调让它更容易被召回代价是误检增多需要在后续行为判断逻辑里用时间平滑把这个噪声压下去。4.2 拥挤场景下的重叠遮挡NMS 阈值设太低导致漏检现象学生站起来挡住后面的同学两个一模一样的框重叠得很厉害。推理时 NMS 把两个高度重叠的框中只保留了一个另一个直接消失。坐在后排被挡的学生整体漏检率明显上升。原因NMS 的 IoU 阈值默认在 0.45 到 0.5 之间。当两个人的目标框靠得太近重叠度超过阈值算法认为它们是同一个目标的重复检测把其中置信度较低的直接删掉。教室里的学生天然高度密集这个问题会被放大。解决把 NMS 的 IoU 阈值提高到 0.7让算法对重叠框更宽容。使用 Ultralytics 推理时加参数 iou0.7 即可from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict( sourcetest/images, conf0.25, iou0.7, # 调高 IoU 阈值保留更多重叠框 save_txtTrue, )但注意阈值不是越高越好。设到 0.85 以上同一人的重复框也会被大量保留输出框数翻倍后处理更麻烦。更好的办法是换用 Soft-NMS它根据重叠程度衰减置信度而不是直接删除框对密集人群场景友好得多。如果你的部署框架不支持 Soft-NMS退而求其次调 iou0.7 加 reasonable conf0.3 也能缓解。4.3 跨教室光照与视角域偏移现象模型在训练教室的视频上表现不错换到另一间只有吊灯照明、摄像头安装在侧后方高处的教室mAP 掉到原来的六成。学生还是那些学生行为还是那些行为模型就像换了双眼睛。原因教室场景的域偏移主要来自两个方向。一是光照荧光灯 vs 自然光 vs 投影仪补光色彩分布差异很大二是视角有的摄像头在教室正前方有的在侧面甚至后排高处同一个行为在画面里的几何形态完全不同侧面视角的举手框比例和正面视角差很多。解决把 hsv_s、hsv_v 增强拉大让模型学会忽略光照颜色差异关注姿态纹理。如果已经拿到目标部署教室的少量视频把这些视频抽帧后人工标注一两百张加进训练集能迅速拉低域偏移。更省事的做法是用旧模型对目标教室数据做伪标注然后人工修正高风险样本相当于用最小成本让模型见过目标视角。关键是模型必须见过目标摄像头的透视失真否则泛化失败只能靠试错补齐。4.4 脏标注置信度分布不会骗人现象训练完第一轮测试集里 using_phone 类别有一大批低置信度预测叠在 reading 的框上两个类别的混淆矩阵热力图上颜色一片模糊。原因标注时两个类别的视觉特征相似标注人员把手机误标成书标签变成了噪声。模型学到的不是“手机屏幕反光”这个特征而是“手持物品并低头”的模糊模式推理时看到类似姿势就输出不确定结果。解决第一轮训练结束后把置信度低于 0.4 的预测框全部导出按类别分组人工复查。这个动作能高效揪出错标样本from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(sourcetest/images, conf0.25, iou0.7, save_confTrue) for r in results: if r.boxes is None: continue for box in r.boxes: conf float(box.conf[0]) cls int(box.cls[0]) if conf 0.4: print(f低置信度样本: 类别 {cls}, 置信度 {conf:.2f}, 图 {r.path})我在项目里也会用 save_txtTrue 把预测结果落盘和原始标注做一次逐图 diff找出“标注里没有但模型预测了”的框这些框大概率是漏标或错标。等错标清完重新训练一轮模型在这个类别的表现通常会有明显提升。清洗数据始终比调参有效这是我一贯的判断。5. 从检测框到行为判定帧间跟踪与滑动窗口投票的部署技巧这份数据集是静止图像但真实课堂场景里视频是连续的。如果直接把单帧检测结果作为行为判定输出会出现一个让人头疼的问题某一帧学生正好弯腰捡笔模型把他判定成 sleeping系统里弹出一条“学生睡觉”告警实际上是误报。单帧检测没有时间语义瞬时动作和稳定状态区分不开。我的做法是在检测模型后面接一层帧间跟踪和滑动窗口投票。先用 ByteTrack 或者简单的 IoU 关联把相邻帧里同一个人的检测框串成轨迹给每个学生分配一个持续存在的 ID然后对每个 ID 的行为类别序列做滑动窗口多数投票def sliding_window_vote(detections, window_size15, majority0.6): detections: 某学生连续帧的类别 ID 列表按帧顺序排列 返回: 每帧最终行为类别None 表示处于动作切换期暂不判定 from collections import Counter n len(detections) final [] for i in range(n): left max(0, i - window_size // 2) right min(n, i window_size // 2 1) window detections[left:right] counter Counter(window) best_cls, best_count counter.most_common(1)[0] if best_count / len(window) majority: final.append(best_cls) else: final.append(None) return final这个投票逻辑有两个实际收益。第一单帧误判被抑制了只有连续十几帧里超过 60% 的判定都是同一类别系统才认为该学生的状态稳定偶尔一帧检测出错不会被计入最终结果。第二动作切换瞬间不会被误报学生从听讲切换到写字需要一个过程窗口跨越两种状态时 vote 比例达不到阈值函数返回 None业务系统可以把它解释为“状态切换中”不触发任何告警。这比生硬地给检测结果加规则可靠得多因为规则写不完所有动作边界。我还习惯把滑动窗口的窗口大小设成和部署视频帧率挂钩。15 帧以内适合 15 FPS 左右的摄像头对应约一秒的上下文如果部署端是 30 FPS我会把窗口提高到 21 或 25让判定覆盖更长时间进一步压低抖动带来的误报。这个参数不是玄学直接关系到告警灵敏度窗口越长越稳定但真实的行为切换响应也会变慢需要按业务容忍度取舍。整个项目走到这一步数据管理始终是我的底线。11,800 张标注图听起来不多但一旦按教室切分、类别均衡、清洗错标这几件事做扎实模型在真实课堂场景的表现反而比贪图“更大数据集但脏数据”的方案稳健得多。希望这份流程能帮你在类似的项目上少走一些弯路省下的时间足够你再跑十轮消融实验。本文还有配套的精品资源点击获取