简介基于Python人脸识别技术实现的课堂抬头率检测系统主要面向高校计算机专业的课程设计、毕业设计以及人脸识别入门学习者解决教室场景下实时统计学生抬头状态、辅助教学质量评估的问题。系统调用摄像头采集教室实时画面通过人脸识别模块检测学生状态并结合数据库中的选课人数计算实时抬头率同时提供UI操作界面方便管理人员浏览管理。压缩包共22个文件大小仅2.9MB其中包含可独立运行的.py与.ipynb两种格式源码、训练好的XML人脸模型、JPG测试图片、Excel选课数据表格以及CAJ参考论文等目录划分清晰便于按需取用。目前已有422人学习下载完整源码配合训练好的模型与测试数据可立即运行演示并支持二次开发附带的参考论文也有助于撰写课程设计报告适合作为人脸识别方向的基础项目实践。1. 为什么课堂抬头率检测最难的不是人脸识别“基于python人脸识别实现课堂抬头率检测”这个需求很多团队试过之后会发现人脸识别本身早就不是瓶颈瓶颈是“抬头”怎么定义成机器能算的数值。课堂和门禁不一样门禁摄像头正对一张脸课堂摄像头在教室斜后方高位安装画面里有三十张脸后排可能只有十几个像素而且大多数时间学生的头在转动、低头、写字、交头接耳。我们要做的是一套能在这种噪声里稳定回答“这一分钟有多少人在看黑板”的统计系统。我的做法是拆成三段先做人脸检测和跨帧关联再做头部姿态估计或几何指标最后按分钟聚合抬头率。这条路径适合正在做智慧课堂、教学督导、自习室监测的开发者手里有一个普通USB摄像头或录播视频就能把整条链路复现出来。2. 先跑通最小管线用 OpenCV 做人脸检测与同脸去重教室场景和门禁场景有一个本质差异门禁只需要保证当前这一张脸识别正确课堂抬头率却要同时追踪几十个人脸还得让第 1 秒出现的框和第 5 秒出现的框是同一个学生。所以第一步不是叠加更重的模型而是先把“检测-去重-计数”这条闭环跑通。先说明我的选型倾向OpenCV Haar 级联做人脸检测起步MediaPipe 留到第 3 章专门做头部姿态这样把问题拆开排错也容易。2.1 选型为什么先用 Haar 级联而不是直接上 YOLO人脸检测这一层常见的选择有 OpenCV Haar、dlib HOG、MediaPipe Face Detection、YOLO 系列。课堂抬头率对帧率要求很低对 CPU 占用却敏感因为部署用的往往是一台普通教学电脑没有独立显卡。Haar 级联分类器在 CPU 上就能跑模型文件几 MBOpenCV 里一行加载不引入额外运行时依赖这是我拿它起步的原因。Haar 的缺点是漏检率偏高尤其是大角度侧脸和低头到桌面的状态。但这里有一个容易被忽略的点抬头率统计的“分母”本来就是那些能被检测到的采样帧一个人如果一直趴在桌上导致完全检测不到他就不应该被算进统计样本因为画面里根本没有他的状态。这个语义在第 4 章会展开。先承认 Haar 的边界再用统计口径去规避比一开始就为“全量检出”上重型模型更划算。方案CPU 开销小脸召回关键点能力适合阶段OpenCV Haar很低中无最小链路验证dlib HOG低中有需另加载模型中等规模部署MediaPipe FaceMesh中中高468 点直接可用抬头判定阶段YOLO 系列高高需另接关键点分支有 GPU 或离线分析2.2 最小可运行代码摄像头采集、人脸框与同脸去重开局先写一个能真正跑起来的脚本不追求抬头的判定准确只解决“同一个学生到底被记了几次”。用中心点距离做最近邻匹配再用last_seen做超时清理避免无人时刻旧轨道一直被误认为还在画面里。import cv2 face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) class TrackBox: def __init__(self, center, face_id): self.center center self.face_id face_id self.last_seen 0 self.frame_count 1 track_id_pool 0 tracks [] MAX_DIST 120 # 中心点匹配半径按画面宽度调整 TRACK_TIMEOUT 45 # 超过 45 帧找不到则丢轨 cap cv2.VideoCapture(0) frame_idx 0 while cap.isOpened(): ret, frame cap.read() if not ret: break frame_idx 1 if frame_idx % 3 ! 0: # 每 3 帧取 1 帧控制 CPU continue gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.05, minNeighbors4, minSize(12, 12), # 允许更小的脸进入 maxSize(300, 300), ) used [False] * len(tracks) for (x, y, w, h) in faces: cx, cy x w // 2, y h // 2 best_idx, best_dist -1, MAX_DIST for i, t in enumerate(tracks): if used[i]: continue dist ((t.center[0] - cx) ** 2 (t.center[1] - cy) ** 2) ** 0.5 if dist best_dist: best_dist, best_idx dist, i if best_idx 0: tracks[best_idx].center (cx, cy) tracks[best_idx].last_seen frame_idx tracks[best_idx].frame_count 1 used[best_idx] True else: tracks.append(TrackBox((cx, cy), len(tracks))) tracks[-1].last_seen frame_idx tracks[:] [t for t in tracks if frame_idx - t.last_seen TRACK_TIMEOUT] cv2.imshow(face_tracks, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这段代码把检测和去重放在一起逻辑分三层。第一层detectMultiScale拿到当帧所有候选框scaleFactor1.05表示每层金字塔缩小 5%这个值越小检测越慢但越精细minSize(12, 12)是专门为后排小脸留的如果教室能保证摄像头离后排不超过 8 米可以放宽到(10, 10)但误检会变多。第二层把新框和所有轨道做中心点距离匹配约等于一个忽略运动方向的近邻关联。第三层用TRACK_TIMEOUT淘汰长时间没更新的轨道防止画面里没人时旧标识一直占内存。这段代码里最容易忽略的两个参数是MAX_DIST和TRACK_TIMEOUT。MAX_DIST太小一个学生稍微晃一下就会被拆成两个 ID太大相邻座位会互相抢轨道。实践里先按画面宽度取 1/10再根据试跑结果微调。2.3 为什么不能直接把“每帧检出数占比”当抬头率很多人做到 2.2 就停了直接统计“某一分钟检测到 25 张脸其中 18 张框位置偏上于是抬头率 72%”。这么做最大的问题是检测框的 y 坐标和抬头没有稳定关系。后排学生个子矮他的脸在画面里的 y 坐标可能比前排某个低头学生更靠上。同一颗摄像头下身高、座位排距对坐标的影响远大于头部俯仰的影响。另外检测本身有随机漏检如果直接用帧率当分母帧率波动会直接影响抬头率。常见做法是采用固定间隔采样帧检测到谁就统计谁再把每个人的采样帧数聚合。这个口径从 2.2 就开始铺垫第 4 章会把它实现出来。3. 给“抬头”一个可计算的量MediaPipe 关键点与低头指数人脸框只能告诉你“这里有个人”不能告诉你他是在看黑板还是看书。课堂高位摄像头拍到的本来就是一个俯视侧面视角头部状态的判断必须落到脸部关键点的几何关系上。这一章我从最简几何判据讲起再给出 MediaPipe 的落地代码。3.1 为什么先做“低头指数”而不是直接求头部姿态角业界标准的头部姿态估计是用人脸的 2D 关键点和 3D 标准人头模型做solvePnP解出 pitch、yaw、roll 三个角度。这个方案最准确但需要一个稳定的 3D 模型点集而且对关键点精度要求高后排小脸上经常凑不齐 68 个点。课堂场景里pitch 角永远在 -30 到 30 度之间徘徊很多时间处在临界点姿态角的一个像素误差会被旋转矩阵放大成 10 度偏差。先用一个更抗噪声的代理指标课堂应用够用取左右眼和鼻尖三个点计算鼻尖相对双眼连线中心在图像 y 轴上的偏移再用双眼距离做归一化look_down_ratio (nose_y - eye_center_y) / eye_distance人低头时鼻尖在画面里往下移动这个比值变大抬头时鼻尖回到双眼连线附近比值变小。分母用双眼距离做归一化可以让头大、头小、离镜头远近不同的学生共用一个阈值。它不是真正的 pitch 角但是一个稳定、线性、可标定的代理量。等这个指标跑通再往solvePnP升级不迟。3.2 代码用 MediaPipe FaceMesh 取关键点并计算低头指数MediaPipe FaceMesh 输出 468 个脸部关键点里面对鼻尖、双眼外眼角、下巴的索引是固定的鼻尖 1左眼外眼角 33右眼外眼角 263。下面这个函数只做一件事给定一帧检测到的人脸 landmarks返回这个人的低头指数。import mediapipe as mp import numpy as np mp_face_mesh mp.solutions.face_mesh face_mesh mp_face_mesh.FaceMesh( static_image_modeFalse, max_num_faces10, min_detection_confidence0.5, min_tracking_confidence0.5, ) IDX_NOSE 1 IDX_LEFT_EYE 33 IDX_RIGHT_EYE 263 def look_down_ratio(landmarks, img_w, img_h): 从单张脸的 landmarks 计算低头指数。 返回 None 表示特征点质量太差不应参与统计。 def point(i): return np.array([ landmarks.landmark[i].x * img_w, landmarks.landmark[i].y * img_h, ]) nose point(IDX_NOSE) left_eye point(IDX_LEFT_EYE) right_eye point(IDX_RIGHT_EYE) eye_center (left_eye right_eye) / 2 eye_dist np.linalg.norm(left_eye - right_eye) if eye_dist 1e-6: return None return (nose[1] - eye_center[1]) / eye_dist这里img_w, img_h要用原图宽高把归一化坐标换算回像素因为landmark.x和landmark.y是 0 到 1 的归一化值。eye_dist 1e-6是一种保护防止极端情况除零。max_num_faces10需要特别说明这个值不是越大越好。课堂画面里可能同时出现三十个人但实际能稳定检测到关键点的可能只有一半开太大会让 CPU 占用快速上升。建议先按教室监控画面的中心区域裁剪后再送入 FaceMesh而不是把整个教室画面硬塞进去。min_detection_confidence0.5是为了容忍一定程度的模糊再低会让噪声关键点直接污染几何计算。3.3 用滑动窗口加迟滞判“低头/抬头”别拿单帧抖动当真状态低头指数是逐帧算出来的但学生低头写字时头会上下点动摄像头本身的微小抖动也会让鼻尖位置漂移。如果每帧都下结论状态会疯狂跳变。常见做法是维护最近 N 帧的比值窗口窗口平均值超过高阈值判低头低于低阈值判抬头中间地带保持上一次状态。WINDOW_SIZE 5 # 约 1 秒 5FPS DOWN_THRESHOLD 0.32 UP_THRESHOLD 0.18 class HeadStateSmoother: def __init__(self): self.state unknown self.ratios [] def push(self, ratio): if ratio is None: return self.state self.ratios.append(ratio) if len(self.ratios) WINDOW_SIZE * 3: self.ratios self.ratios[-WINDOW_SIZE * 3:] if len(self.ratios) WINDOW_SIZE: avg sum(self.ratios[-WINDOW_SIZE:]) / WINDOW_SIZE if avg DOWN_THRESHOLD: self.state down elif avg UP_THRESHOLD: self.state up return self.state两个阈值的间隔就是迟滞区。学生从抬头慢慢变为低头指数要越过 0.32 才判 down从低头回到抬头要低于 0.18 才判 up。中间地带保留旧状态可以避免在临界值附近来回震荡。窗口长度不要开太大5 帧一平均已经能吃掉点头的波动开 20 帧会把一次真实的短暂抬头也抹平。注意0.18和0.32是按典型教室摄像头高度估的初始值不是通用值。摄像头装在讲台上方、黑板侧方、教室后方得到的头影形态完全不同。第 6 章会给一个用录播视频做标定的闭环流程让这两个数字不再靠猜。4. 抬头率统计的可信度分母、采样窗口与 CSV 输出前两章解决了“一张脸是谁”和“这个是抬头还是低头”接下来才是业务层面的核心问题一大串状态序列怎么变成一个每一分钟可解释的抬头率。4.1 分母用“成功跟踪到的采样帧数”而不是“物理帧数”教室里不是时时刻刻都能看到每一张脸有人低头到桌面被书挡住有人转身和后排说话有人站起来被前排挡住。如果分母用物理帧数无人时段会把抬头率压到极低如果某一帧恰好全部低头又会让抬头率瞬间变成 0。这样的数字没法看。我的约定是某个人在一分钟内被跟踪到的采样帧数作为分母其中被判定为抬头的帧数作为分子。数学上分钟抬头率 该分钟内判为抬头的采样帧数 / 该分钟内成功跟踪到的采样帧数这意味着一个趴在桌上完全没被检测到的学生不会进入统计样本也不会因为不被看到而拉低抬头率。这是“课堂抬头率”和“全班出勤抬头率”两种语义的分界线先定口径再写代码。4.2 按人、按分钟两级聚合的 CSV 输出统计端接收的是(track_id, minute_key, look_up_bool)三元组。minute_key可以用datetime.now().strftime(%H:%M)生成look_up_bool来自第 3 章的平滑器输出。聚合逻辑用defaultdict做两层嵌套内层按人累计。import csv from collections import defaultdict class MinuteStat: def __init__(self): self.total 0 self.look_up 0 def add(self, look_up): self.total 1 self.look_up int(look_up) def rate(self): return self.look_up / self.total if self.total else 0.0 stats defaultdict(lambda: defaultdict(MinuteStat)) def feed(track_id, minute_key, look_up): stats[minute_key][track_id].add(look_up) def save_csv(pathclass_look_rate.csv): rows [] for minute_key, by_id in stats.items(): for track_id, st in by_id.items(): rows.append((minute_key, track_id, st.total, round(st.rate(), 3))) with open(path, w, newline) as f: writer csv.writer(f) writer.writerow([minute, track_id, total_frames, look_up_rate]) writer.writerows(sorted(rows))和常见示例相比我在 CSV 里多加了一列total_frames。这一列是分母的可信度标识某一分钟只抓到 3 帧抬头率 0.66 和抓到 60 帧的 0.66置信度完全不同。留这一列数据下游做可视化或写报告时能做加权而不是傻傻地当平等数据用。4.3 每个结果都要能回到原始记录抬头率统计最怕的是只输出一个数字出问题时无法定位。实践中我把每一帧的原始判断加时间戳写入 SQLite 或 JSONL 文件保留足够排错信息那一秒哪个 track、几个关键点、ratio 是多少、是否被平滑器保留。出现离谱数据时先回到原始序列看是特征点丢失、轨道断链还是阈值写反比盯着聚合结果猜要快得多。5. 课堂部署的四个排查点小脸、断链、逆光与卡顿这一章是课堂场景独有的血泪经验。同样的代码在办公桌前面跑得好好的一搬到教室就翻车原因是教室的光线、距离、动态复杂度远高于单人场景。以下四个排查点是我多次被问到的高频问题。5.1 排查点后排一直检测不到脸先做尺寸自检现象前排统计正常后排学生基本不出现在 CSV 里抬头率整体虚高。原因通常不是模型不够好而是输入图里后排人脸太小低于检测器能提取特征的下限。解决先画调试框把每张脸的检测尺寸实时打印到画面上。for (x, y, w, h) in faces: cv2.putText( frame, f{w}x{h}, (x, y - 6), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1, )要把摄像头固定在最终部署位置后观察。如果最后一排人脸只有 10 个像素任何轻量方案都很难做到稳定召回优先考虑把摄像头分辨率从 720p 提到 1080p或者把安装位置前移。如果人脸有 15 到 20 像素把detectMultiScale的minSize从(20, 20)降到(12, 12)大概率能挽回一截召回。注意刚改完会引入一批误检需要同步把minNeighbors从 3 调到 4 或 5 来平衡。5.2 排查点一条持续低头的记录被拆成多个 ID现象抽样回看原始视频某个学生一直低头趴在桌上但 CSV 里出现了三四个不同的 track_id抬头率反而很高。原因是检测器在目标侧脸、被手遮挡时反复漏检漏检超过TRACK_TIMEOUT后旧轨道被清理重新检测到时就开了一条新轨道摇身一变成“新的人”。解决第一MAX_DIST从默认 120 放宽到 160让低头摆动的中心点漂移不越界第二把TRACK_TIMEOUT从 45 帧提高到 90 帧给短暂遮挡留缓冲第三在展示结果时把不足 10 帧的短轨道直接丢弃短轨道基本都是误检或碎片片段没有统计意义。这是最简单的一层补救更彻底的做法是引入 ByteTrack 这类结合检测框与运动向量的多目标跟踪器但成本会高一个量级先压住这条再考虑升级。5.3 排查点黄昏逆光下检测率骤降先做 CLAHE 而不是换模型现象下午靠窗一侧阳光直射学生背光坐整个班级的检测数量突然掉一半。原因是摄像头自动曝光优先保证画面整体亮度人脸区域严重欠曝Haar 和 FaceMesh 都提取不到特征。解决先固定摄像机的曝光、白平衡、对焦防止画面亮度自己漂移再在送入检测器前做一次 CLAHE 对比度增强。clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray clahe.apply(gray)clipLimit3.0是控制对比度放大幅度越大越容易产生噪声块tileGridSize越大局部增强越明显但块与块之间的拼接痕迹也越明显。逆光不严重时保持1.5到2.0就够。这个技巧只解决轻度背光如果画面里人脸已经全黑任何后处理都救不回来必须加补光或调整安装朝向。5.4 排查点CPU 全核跑满、预览卡成 PPT帧率让位于采样率现象逻辑没报错界面卡死风扇全程高转速。原因是 MediaPipe 每帧都跑深度模型imshow又在同线程里阻塞实际有效用超过了机器能扛的负载。解决统计类任务不需要 25 FPS优先保证每 200 到 300 毫秒产出一个采样结果就好。常见做法是主循环固定取frame_idx % 3或frame_idx % 5的帧把处理分辨率降至 640 宽如果你还要在另一个窗口里实时看标注把imshow放到独立线程主线程只管算避免显示阻塞检测。6. 进阶用法5 分钟粒度曲线与离线阈值标定第 4 章的 CSV 是原始明细直接看很累。实际上教学管理者更关心的是“这节课哪一段开始掉下去”而不是单个学生那一分钟的孤点。我的习惯是再做一层时间窗口聚合把 12 个一分钟格子并成 5 分钟一段输出一条课程抬头率曲线。6.1 按 5 分钟聚合突出注意力波动趋势5 分钟的粒度不是拍脑袋定的课堂注意力的自然波周期大约在 5 到 10 分钟老师讲完一个知识点、布置一次任务都会形成一轮抬头率的升降。把 CSV 按 5 分钟分桶求加权平均曲线会更平滑也更容易定位问题段。import pandas as pd df pd.read_csv(class_look_rate.csv) df[minute] df[minute].astype(int) df[bucket] (df[minute] // 5) * 5 agg df.groupby(bucket).apply( lambda g: (g[look_up_rate] * g[total_frames]).sum() / g[total_frames].sum() ) agg.plot(titleClass Look-up Rate Trend)这里用了带权重的聚合total_frames少的分钟对整体影响小避免某个人被短暂遮挡造成整段曲线悬崖式下跌。6.2 用录播视频做一次半小时的阈值标定换教室、换摄像头位置后第 3 章的0.18 / 0.32阈值应该重新标定。标定不复杂录制 10 分钟课堂视频用播放器手动记录几段“明显低头”和“明显抬头”的时间区间再跑一次检测脚本查看这两个区间里look_down_ratio的分布区间。取两组数据的中位数作为上下限。这套流程第一次标定需要多一点时间但每换一个教室只需要重录 10 分钟视频成本远低于“部署后报表屡屡被人质疑”的返工。我在做一个行为分析需求时一定会留这样一个带 ground truth 的验证片段不然那套阈值就是黑匣子改起来心里没底。6.3 把抬头率当成提醒信号而不是给老师打分做这类系统最大的取舍是产品形态。抬头率曲线更适合用来回答“这节课哪个环节学生参与度掉下去了”不适合用来对老师做绩效考核。一个更自然的落地方式是连续 3 分钟抬头率低于 0.2 时给管理者发一条提醒引导老师调整授课节奏或插入互动。把功能框在这个位置数据可信度要求也会降低不少。我现在的习惯是任何行为分析需求先录一段真实场景视频做闭环标定再谈模型选型和指标优化。模型输出的分数只是中间量最后要能回答“这节课第几分钟发生了什么”这个教学问题才值得投入人力部署。希望帮到你。本文还有配套的精品资源点击获取