简介一套基于Python与OpenCV的实时人眼识别与眨眼检测方案以可直接运行的源代码和分步教程为核心面向计算机视觉初学者及需要快速完成人脸特征检测项目的开发者。压缩包共61个文件其中37个Python脚本覆盖摄像头视频流读取、Haar级联分类器调用、眼睑纵横比计算与闭眼判定等完整流程另有dat格式的人脸关键点模型、PNG与JPG测试图片、PDF高清教程和Markdown说明文档总大小约75.34MB目录归类清楚便于对照学习。目前已有4343人学习下载。读者通过配套教程可在Ubuntu系统中完成依赖安装、环境配置与代码运行并深入理解帧差法、光流法等眨眼检测原理掌握从人眼定位到眨眼/闭眼判断的实现思路还可扩展至疲劳驾驶监测、注意力分析等真实应用作为课程设计或开源项目参考都有很强的实用性。1. 用 Python 和 OpenCV 做实时人眼识别、眨眼检测与闭眼检测一套能直接跑起来的方案很多人一提到人眼识别和眨眼检测第一反应是这东西要上深度学习模型得靠 GPU代码量大到劝退。实际上用 Python 配合 OpenCV再带上一个几十 MB 的经典人脸关键点模型眨眼检测的核心逻辑只有十几行。我拆完这套资源之后最大的感受是真正影响能不能落地的不是检测算法本身而是摄像头能不能打开、模型路径对不对、阈值和连续帧数怎么配合。这篇文章会把 Python OpenCV 实时人眼识别、眨眼检测、闭眼检测的完整链路拆开讲从环境安装到 EAR 指标再到状态机判定最后把安装和调参的坑都列出来。适合刚接触 OpenCV 图像处理、想快速做一个疲劳检测或眨眼统计原型的人也适合已经在跑人脸检测、想加一层眼睛状态判断的开发者。2. 环境准备OpenCV 与 dlib 的安装方法和第一个能跑通的检测脚本2.1 依赖安装与版本选择的常见做法这套检测流程里OpenCV 负责图像采集、人脸检测和结果绘制dlib 负责人脸关键点定位。先说明一下纯 OpenCV 也可以做人眼识别用自带的人脸检测器加眼球检测器就能框出眼睛但这个方案戴眼镜时误检率很高而且没法拿到眼睛的精确轮廓所以要做眨眼检测还是得靠关键点坐标。常见做法是 OpenCV 加 dlib 配合使用dlib 只用来出 68 个关键点其他脏活累活全交给 OpenCV。安装这一步很多人第一次就卡住。我一般推荐先建一个干净的虚拟环境避免把系统 Python 环境搞乱尤其是电脑上已经装了其他深度学习框架的情况。# 创建并激活虚拟环境Windows 用 eye_env\Scripts\activate python -m venv eye_env source eye_env/bin/activate # 安装 OpenCV 和 numpyopencv-python 是预编译版本不需要自己编译 pip install opencv-python4.8.1.78 pip install numpy # dlib 在 Windows 上经常需要编译先试试直接装 pip install dlib这段命令的逻辑是先隔离环境再装依赖。opencv-python这个包名对应的是 OpenCV 的官方预编译版本里面已经包含了常用的模块日常做检测完全够用不需要去装opencv-contrib-python。dlib在 Linux 和 macOS 上通常能直接装上但在 Windows 上经常报错提示缺少 CMake 或者 Visual Studio Build Tools这个问题的处理办法放在后面避坑章节里细说。如果你装 dlib 反复失败还有一个备选方案只靠 OpenCV 的 Haar 级联分类器检测眼睛区域然后计算宽高比来判断睁眼闭眼精度差一些但胜在零依赖。2.2 第一个能跑通的脚本检测人脸并框出眼睛先把最基础的人眼识别跑通再往上面加眨眼检测。打开摄像头用 OpenCV 自带的 Haar 分类器检测人脸在人脸区域里继续检测眼睛把眼睛框出来。import cv2 cap cv2.VideoCapture(0) # 0 表示默认摄像头外接摄像头可能是 1 face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) eye_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_eye_tree_eyeglasses.xml ) while True: ret, frame cap.read() if not ret: print(摄像头读取失败检查索引或权限) break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 参数含义scaleFactor 是每层缩放比例minNeighbors 是最少相邻检测框数量 faces face_cascade.detectMultiScale(gray, scaleFactor1.3, minNeighbors5) for (x, y, w, h) in faces: roi_gray gray[y:y h, x:x w] roi_color frame[y:y h, x:x w] # 在人脸 ROI 内检测眼睛缩小搜索范围能明显提速 eyes eye_cascade.detectMultiScale(roi_gray, scaleFactor1.1, minNeighbors3) for (ex, ey, ew, eh) in eyes: cv2.rectangle(roi_color, (ex, ey), (ex ew, ey eh), (0, 255, 0), 2) cv2.imshow(Eye Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这里有两个关键参数要理解scaleFactor1.3表示每轮检测把图像缩小 1.3 倍值越小检测越慢但越不容易漏检minNeighbors5表示一个区域至少被 5 个相邻窗口确认才算人脸值越小误检越多值越大漏检越多。眼睛检测同样用detectMultiScale但作用范围被人脸框约束住了所以即使minNeighbors3也不会出现太多误报。跑这个脚本时如果看到绿色方框能稳定跟着眼睛走说明摄像头、OpenCV 安装和 Haar 模型文件这三件事都正常了可以进入下一步。3. 眨眼检测原理为什么用 EAR 指标而不是像素差值3.1 从关键点到 EAR一个尺度无关的几何指标人眼识别能框住眼睛但框住位置不等于知道它是睁着还是闭着。早期有人尝试直接比较眼睛区域的像素均值闭眼时肤色占比高、瞳孔区域消失理论上能看出来但这个方案对光照、眼镜、摄像头角度极其敏感在会议室顶灯下和昏暗卧室里阈值完全不一样属于典型的环境一变就翻车。实践中用人脸 68 点关键点里的眼睛坐标来计算一个叫 EAR 的指标全称 Eye Aspect Ratio眼睛纵横比。每只眼睛用 6 个关键点描述左眼角一个点右眼角一个点上眼皮两个点下眼皮两个点。EAR 的计算公式是上下眼皮两点距离的平均值除以左右眼角的距离EAR (||p2 - p6|| ||p3 - p5||) / (2 * ||p1 - p4||)这个公式的巧妙之处在于它是一个比值而不是绝对值。不同人眼睛大小不一样摄像头距离远近也会让像素坐标整体缩放但同一个人睁眼时上下眼皮距离和左右眼角距离的比值基本稳定在 0.25 到 0.3 之间。闭眼时上下眼皮距离趋近于零EAR 会掉到 0.1 以下。换句话说不需要针对每个人重新标定阈值拿到 EAR 曲线就能直接判断状态。这个特性让它成为疲劳检测项目里的首选指标。3.2 检测流程人脸定位、关键点提取、状态判定三件事整个眨眼检测流程可以拆成三个环节。第一环是人脸定位用 dlib 的正面人脸检测器找到人脸框这一步的输出是一个矩形区域。第二环是关键点定位把矩形区域喂给shape_predictor得到 68 个关键点的坐标数组其中索引 36 到 47 是两只眼睛的 12 个点每个眼睛 6 个。第三环是状态判定算出左右眼的 EAR 后取平均值和阈值比较连续多帧低于阈值判定为闭眼闭眼后又恢复到高于阈值就记一次眨眼。为什么必须引入连续多帧这个概念因为单人单帧的 EAR 本身有噪声摄像头帧与帧之间的亮度波动、微小的头部晃动都会让 EAR 出现抖动。如果只看一帧就判定眨眼你会得到大量误报尤其是眨眼的瞬间恰好赶上 EAR 跌到阈值之下这不算眨眼结束只是检测噪声。常见做法是用一个计数器连续 N 帧 EAR 都低于阈值才进入闭眼状态这样既不会漏掉快速眨眼也不会把单帧的抖动误判成闭眼。N 的取值和摄像头帧率直接相关具体怎么算在第六章讲。4. 落地实现实时人眼识别、眨眼检测与闭眼检测的完整代码4.1 用 dlib 提取眼睛关键点坐标先准备好 68 点模型文件dlib 官方提供预训练好的shape_predictor_68_face_landmarks.dat大约 90MB下载后放在项目目录里。模型的输入是一张灰度图和一个检测到的人脸框输出是 68 个关键点坐标。import dlib import cv2 # 初始化检测器和关键点预测器 detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) image cv2.imread(test.jpg) gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 检测人脸第二参数 0 表示不做图像上采样适合清晰的大脸 faces detector(gray, 0) for face in faces: shape predictor(gray, face) # shape 里存放 68 个关键点 # 每个关键点通过 shape.part(i) 访问转换为坐标元组方便绘图 coords [(shape.part(i).x, shape.part(i).y) for i in range(68)] # 遍历所有关键点画小圆点用于验证模型加载是否正确 for (x, y) in coords: cv2.circle(image, (x, y), 2, (0, 255, 0), -1) cv2.imshow(Face Landmarks, image) cv2.waitKey(0) cv2.destroyAllWindows()detector(gray, 0)的第一个参数必须是灰度图第二个参数是上采样次数设为 1 可以检测更小的人脸但速度会变慢。predictor的输入顺序不能颠倒先人脸框后灰度图很多人第一次写反导致报错。运行后如果看到 68 个绿点准确落在脸上眼睛周围有两圈六个点说明模型路径和调用方式都正确。这里踩过坑的人都知道模型文件路径写错时 OpenCV 不报错只是检测结果为空排查起来很费时间所以我会在脚本开头加一行文件存在性检查。4.2 眨眼检测与闭眼检测的完整实现有了关键点坐标核心逻辑就清晰了。定义 EAR 计算函数然后进入主循环每帧做人脸检测、关键点提取、EAR 计算和状态判定。这里的状态机是眨眼检测的精髓用连续帧数区分眨眼和长时间闭眼。import cv2 import dlib import numpy as np LEFT_EYE_POINTS [36, 37, 38, 39, 40, 41] RIGHT_EYE_POINTS [42, 43, 44, 45, 46, 47] def eye_ear(shape, eye_points): pts [(shape.part(i).x, shape.part(i).y) for i in eye_points] pts np.array(pts, dtypenp.float32) # 上下眼皮垂直距离两个点对 vertical_1 np.linalg.norm(pts[1] - pts[5]) vertical_2 np.linalg.norm(pts[2] - pts[4]) # 左右眼角水平距离 horizontal np.linalg.norm(pts[0] - pts[3]) return (vertical_1 vertical_2) / (2.0 * horizontal) detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) cap cv2.VideoCapture(0) EYE_THRESH 0.22 # EAR 低于此值认为眼睛可能处于闭合状态 CLOSED_FRAME_THRESH 3 # 连续 3 帧低于阈值才算一次闭眼事件 ear_history [] # 保存近 30 帧的 EAR方便调试和绘图 frame_count 0 # 当前连续低于阈值的帧数 blink_count 0 # 眨眼总次数 is_closed False # 当前是否处于闭眼状态 while True: ret, frame cap.read() if not ret: break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces detector(gray, 0) # 当前帧的 EAR多张人脸时取最大的人脸 current_ear None for face in faces: shape predictor(gray, face) left_ear eye_ear(shape, LEFT_EYE_POINTS) right_ear eye_ear(shape, RIGHT_EYE_POINTS) current_ear (left_ear right_ear) / 2.0 # 在眼睛位置画矩形框直观看到检测范围 for point_set in (LEFT_EYE_POINTS, RIGHT_EYE_POINTS): pts [(shape.part(i).x, shape.part(i).y) for i in point_set] cv2.polylines(frame, [np.array(pts)], True, (0, 255, 0), 1) # 状态判定连续低 EAR 帧数达到阈值才切换状态 if current_ear is not None: if current_ear EYE_THRESH: frame_count 1 else: if frame_count CLOSED_FRAME_THRESH and not is_closed: blink_count 1 # 一次完整的闭眼再睁眼过程 if frame_count 5: # 闭眼超过 5 帧视为持续性闭眼 is_closed True else: is_closed False frame_count 0 ear_history.append(current_ear if current_ear is not None else 0.3) if len(ear_history) 30: ear_history.pop(0) cv2.putText(frame, fEAR: {current_ear:.3f}, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 255), 2) cv2.putText(frame, fBlink: {blink_count}, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imshow(Blink Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这段代码里eye_ear函数用np.linalg.norm计算欧几里得距离符合 EAR 公式的定义。EYE_THRESH和CLOSED_FRAME_THRESH是最关键的两个参数前者控制灵敏度后者控制稳定性。frame_count的累计逻辑要仔细理解当 EAR 从低变高时如果之前的低帧数超过阈值说明经历了一次完整的闭眼过程眨眼计数加一如果低帧数持续到 5 帧以上is_closed置为 True表示进入了持续性闭眼状态这个标志位可以用来触发疲劳告警。我在屏幕上实时显示出 EAR 数值和眨眼次数调试时可以观察自己正常眨眼时 EAR 掉到多少、闭眼时能维持多久这样调整阈值就有依据而不是靠猜。5. 避坑排查从安装到调参的五个高频翻车点5.1 安装了 OpenCV 却始终报找不到 cv2现象pip install opencv-python明明显示安装成功运行代码时提示ModuleNotFoundError: No module named cv2。原因绝大多数情况是当前运行的 Python 解释器不是当初 pip 安装时用的解释器。用 PyCharm 时项目解释器选了系统 Python而 pip 装进了虚拟环境或者反过来虚拟环境里没装系统环境装了。另一个常见原因是终端里python和pip指向了不同版本Python 3.8 上装的东西Python 3.11 里当然找不到。解决先在终端里执行python -m pip install opencv-python用python -m pip而不是裸pip确保装到当前解释器对应的环境里。然后在代码开头打印cv2.__version__跑通后再换 PyCharm。如果还是不行直接在 PyCharm 的设置里检查 Project Interpreter把它改成刚才用的那个虚拟环境路径。5.2 模型文件路径写错导致检测结果为空现象代码不报错、摄像头正常打开、画面正常显示但脸上永远没有检测框也没有关键点。查了半天发现是shape_predictor_68_face_landmarks.dat路径不对程序加载了一个不存在的文件异常被某个环节吞掉了。原因这个 dlib 的shape_predictor()函数在文件不存在时不会直接抛异常而是创建一个空的预测器调用时返回空结果。这是最坑的静默失败方式你以为是检测参数问题实际是文件路径问题。解决我习惯在初始化时强制校验文件存在性不存在就立刻报错退出不让它带病运行。import os MODEL_PATH shape_predictor_68_face_landmarks.dat if not os.path.exists(MODEL_PATH): raise FileNotFoundError(f模型文件不存在请检查路径: {MODEL_PATH})5.3 戴眼镜时 Haar 检测器疯狂误检现象不戴眼镜时眼睛框得很准戴上眼镜后检测框上下翻飞频繁把镜框边缘当成眼睛有时甚至检测出三四个眼睛框。原因haarcascade_eye.xml是用不含眼镜的照片训练的对眼镜边缘的反光非常敏感。OpenCV 自带的另一个模型haarcascade_eye_tree_eyeglasses.xml专门处理戴眼镜的情况但很多人不知道有这个文件。解决换用haarcascade_eye_tree_eyeglasses.xml。但要注意这个模型对无眼镜状态反而会漏检所以更稳妥的做法是干脆跳过 Haar 眼睛检测直接用 dlib 关键点定位它天然支持戴眼镜的正常人。如果你只依赖 OpenCV可以同时跑两个眼睛模型取检测结果里可信度更高的那个或者看哪一组结果在连续帧里位置更稳定。5.4 EAR 阈值设多少都误判现象阈值设 0.22 时正常眨眼识别准确但闭眼超过两秒后 EAR 依然在 0.15 到 0.2 之间波动被误判为眨眼把阈值降到 0.15快速眨眼又漏检了。原因单看 EAR 绝对值本身就和摄像头角度有关系。人稍微仰头或低头眼睛关键点的相对位置就会变化EAR 整体偏移 0.03 到 0.05 很正常。固定阈值只能适配一种姿态这就是阈值玄学的根源。解决不要用固定阈值改用动态基线。程序启动后先采集前 30 帧的正常睁眼 EAR取平均值作为baseline阈值设为baseline * 0.7。这样姿态变化时基线跟着变阈值也自动适配。我在前面的代码里已经留了ear_history列表就是为了做这个动态校准用的启动时多存几帧算均值即可。5.5 摄像头打不开或检测帧率过低现象VideoCapture(0)返回 True但画面一直黑屏或者检测时画面极其卡顿像放幻灯片。原因摄像头索引不对是黑屏的常见原因笔记本自带摄像头通常占用索引 0插上外接摄像头后它可能变成 1也可能是 -1 表示任意可用设备。卡顿的原因通常是默认分辨率太高1080p 的帧率对人脸检测来说是巨大的计算压力。解决先写一个两行的脚本把所有摄像头索引都试一遍找到能出画面的那个传给VideoCapture。然后显式降低分辨率cap cv2.VideoCapture(1) # 外接摄像头用索引 1 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)分辨率降到 640x480 后人脸检测速度能提升 3 倍以上。还有很多时候卡顿不是分辨率问题而是每次循环里都重新加载了 Haar 模型注意把CascadeClassifier和shape_predictor的初始化放在循环外面这是最常见的性能杀手。6. 进阶技巧用帧率校准眨眼判定参数并适配多张人脸眨眼检测的连续帧阈值CLOSED_FRAME_THRESH不能拍脑袋定。人一次自然眨眼的时间大约是 0.15 到 0.25 秒在 30fps 的摄像头下对应 5~7 帧在 15fps 下只对应 2~4 帧。如果代码里写死连续 3 帧低于阈值算闭眼在 30fps 下会把一次快速眨眼漏掉在 15fps 下则可能把半闭眼误判成眨眼。所以正确做法是先把当前视频流的实际帧率测出来再反推帧数阈值。fps 0.0 frame_count 0 start_time cv2.getTickCount() while True: ret, frame cap.read() frame_count 1 if frame_count % 30 0: end_time cv2.getTickCount() elapsed (end_time - start_time) / cv2.getTickFrequency() fps 30.0 / elapsed start_time end_time # 用实际帧率动态计算闭眼判定帧数 closed_frame_thresh max(2, int(fps * 0.12))这段代码每 30 帧重新统计一次帧率用当前的 fps 乘以 0.12 秒得到闭眼判定的帧数下限。比如 fps 是 25fps * 0.12 3连续 3 帧低 EAR 判定为一次闭眼事件恰好对应人眼自然眨眼的时长不会把快速眨眼漏掉。max(2, ...)是防止帧率过低时算出来一个小于 2 的值那会导致单帧抖动直接触发闭眼判定。多张人脸同时出现在画面里时状态管理要单独处理。不能用全局的frame_count和is_closed因为画面里一个人眨眼另一个人睁着眼全局状态会乱。我一般用一个人脸框的中心点坐标来区分不同的人为每个人维护一份独立的计数器和状态字典。persons {} # key: (cx, cy) 归一化坐标value: {count: 0, closed: False} for face in faces: cx face.center().x cy face.center().y key (cx // 20 * 20, cy // 20 * 20) # 把坐标量化到 20 像素网格避免抖动漂移 person persons.setdefault(key, {count: 0, closed: False}) ear (left_ear right_ear) / 2.0 if ear EYE_THRESH: person[count] 1 else: if person[count] closed_frame_thresh: blink_total 1 person[count] 0坐标量化这一步是关键直接把原始坐标当 key 会出问题人不可能完全静止脸部微动会让同一张脸的中心点每帧漂移几个像素导致同一个人被当成多个不同的人来跟踪。把坐标整除到 20 像素的网格后微小的抖动被吞掉了同一张脸会持续命中同一个 key。如果两个人离得特别近中心点落到同一个网格里这个方案会把他们合并成一个人但实际场景里并排站在一起还同时检测眼睛的情况很少够用了。我做这套东西时吃过一次亏第一次调通后兴奋地拿给同事演示结果在强光下 EAR 基线整体抬高了 0.05闭眼检测当场失灵屏幕上眨眼次数疯狂跳动。后来我把阈值改成了启动时动态校准的基线乘系数并且在每次检测循环里同步打印实时 fps从那以后我每次做实时检测都强制走一遍先量帧率、再定阈值、最后跑状态机的流程再没出过类似的翻车。如果你也要做疲劳检测或者注意力监测建议先把这段帧率自适应逻辑集成进去它能帮你省掉大量调参时间。希望这些踩坑记录能帮到你。本文还有配套的精品资源点击获取