简介这套基于Python与开源计算机视觉库的智能门禁系统以人脸识别与步态识别双模态生物特征认证为核心面向计算机视觉方向的高年级本科生、研究生及毕业设计/课程作业开发者可作为完整课设参考或二次开发基底。系统涵盖从视频流人脸检测、特征提取到步态序列降维与身份匹配的完整流程并集成贝叶斯或加权平均融合策略以提升攻击防御能力。资源包共263个文件整体约70.29MB其中ts与vue文件构成前端界面java与py文件承担后端及算法逻辑mp4为效果演示png/jpg为界面与素材另有SQL脚本和部署配置目录按功能模块划分便于检索与复用。目前已有183人学习下载。对读者而言可直接获得可运行的前后端工程、视频演示、关键代码注释及环境配置说明既能对照理解人脸识别与步态识别的工程实现也能快速掌握双模态融合的门禁系统设计框架节省从零搭建的时间。1. 人脸识别 步态识别的双通道门禁系统这套 Python 资源包能快速落地吗现在的智能门禁系统通常只有一道人脸识别认证但这套基于 Python 与开源计算机视觉库的资源包做了更彻底的事把人脸识别和步态识别两条链路拼进同一个门禁流程缺一道就不放行。它的核心价值在于双重生物特征认证防止照片、面具或者视频重放这类常见欺骗手段对正在做计算机视觉毕业设计或课程作业的同学来说是一个可以直接复现、也能在答辩现场讲清楚亮点的项目样板。系统本身涵盖了视频采集、人脸检测对齐、步态轮廓提取、特征匹配、结果融合展示这些完整环节不是那种只给一个识别 demo 的玩具代码。2. 人脸识别链路OpenCV 采集、dlib 对齐、FaceNet 特征比对的落地实现2.1 人脸识别流程梳理以及检测方案为什么这样选人脸识别部分按照“取帧、检测、对齐、提特征、比对”五步走。前两步解决的是人脸在哪后面三步解决的是人是谁。很多初次接触的同学把关注点全放在检测模型上觉得换一个更强大的检测器就能提升识别率但实际上在门禁系统里对齐和特征比对才是决定成败的环节。一张稍微偏头的脸如果没有做对齐直接丢进特征提取模型特征向量可能漂移到和陌生人差不多的距离。检测方案的选择主要看现场算力和识别距离。OpenCV 的 Haar 级联分类器实现最简单CPU 上跑 640×480 分辨率实时无压力但侧脸、低头、遮挡情况下面临明显的召回率下降。dlib 的 frontal_face_detector 用的是 HOG 线性分类器召回率比 Haar 好一截CPU 实时性依然没问题是这类门禁项目里最稳妥的默认选择。如果摄像头安装在远景位置、人脸尺寸偏小可以考虑 MTCNN它输出的人脸框和五个关键点能直接支持后续对齐缺点是模型和依赖库体积更大。2.2 视频采集与人脸检测的代码落地先从摄像头读取说起。Windows 环境下直接用 cv2.VideoCapture(0) 很容易踩坑摄像头被占用或者索引号不对时返回的画面一直是空的。显式指定 DirectShow 后端能绕开大部分问题import cv2 cap cv2.VideoCapture(0, cv2.CAP_DSHOW) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 30) if not cap.isOpened(): raise RuntimeError(无法打开摄像头请检查索引号和进程占用)CAP_DSHOW 是 Windows 下绕过默认视频后端、降低摄像头打开延迟的常用做法。分辨率不用一味调高门禁识别场景 640×480 配 30 帧完全够用调成 1080p 反而会让后续每帧处理时间翻好几倍。帧率设置建议和实际摄像头能力匹配强行设置 60fps 但摄像头只支持 30fps不会报错但会导致帧时间戳混乱。检测这一步就是把当前帧转灰度后交给 dlib。为了调试方便把检测结果画出来确认人脸框是否准确import dlib detector dlib.get_frontal_face_detector() gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces detector(gray, 1) # 1 表示做一次金字塔上采样提升小脸检出率 for face in faces: x1, y1, x2, y2 face.left(), face.top(), face.right(), face.bottom() cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)detector 的第二个参数控制上采样次数1 表示把图像放大一倍后再检测能找回更多小尺寸人脸但耗时也会增加。现场摄像头离闸机近、人脸占画面比例大时直接设为 0帧率能明显回升。2.3 人脸对齐最有性价比的预处理对齐步骤看似多余却直接决定了特征向量的质量。dlib 的 68 点关键点模型里索引 36 到 41 是左眼轮廓点42 到 47 是右眼轮廓点。把两组点分别求平均得到左右眼中心再计算连线与水平方向的夹角最后做一次仿射变换把脸转正import numpy as np def align_face(image, landmarks): left_eye np.mean(landmarks[36:42], axis0) right_eye np.mean(landmarks[42:48], axis0) dy right_eye[1] - left_eye[1] dx right_eye[0] - left_eye[0] angle np.degrees(np.arctan2(dy, dx)) eye_center (left_eye right_eye) / 2.0 matrix cv2.getRotationMatrix2D(tuple(eye_center), angle, 1.0) aligned cv2.warpAffine(image, matrix, (image.shape[1], image.shape[0])) return aligned这里的 landmarks 是从 dlib 的 full_object_detection 对象里取出的坐标数组。实际使用时先把部件坐标整理成 numpy 数组再传入这个函数。angle 通常只有几度看起来影响不大但对特征向量来说几个像素的偏移就会造成可感知的距离波动。对齐完成后按人脸框中心裁剪出固定尺寸比如 160×160再送入特征提取模型。2.4 特征提取与相似度判断特征提取这层项目里最常用的是 FaceNet 或 VGGFace 这类预训练模型。把对齐后的人脸图输入模型输出一个高维特征向量然后拿它跟注册库里的人脸向量计算欧氏距离。距离越小越可能是同一个人。比对逻辑通常写成这样def compute_distance(embedding_1, embedding_2): return np.linalg.norm(embedding_1 - embedding_2) def verify_face(embedding, db_embeddings, threshold0.6): for person_id, db_embedding in db_embeddings.items(): distance compute_distance(embedding, db_embedding) if distance threshold: return person_id, distance return None, Nonethreshold 不是一个拍脑袋定的数。人脸特征向量在同一人不同光线、不同角度下的距离通常落在 0.4 到 0.7 之间不同人之间的距离通常在 1.0 以上。先把阈值放宽到 0.8 跑通全流程再根据实测距离分布逐步收紧到 0.5 至 0.6比一上来就卡 0.5 要容易定位问题。这套链路跑通后人脸通道的稳定性已经能应付大部分答辩演示了。但真正的门禁系统还不能只靠脸因为用户低头、戴口罩或者光线突变时人脸通道随时可能失效。3. 步态识别链路背景减除、关键帧筛选与 PCA 降维的完整实现3.1 步态识别解决什么问题以及它的优势边界步态识别的思路是每个人都有独特的走路姿态步频、步幅、躯干摆动幅度、四肢协调方式组合起来可以形成一种弱身份特征。它最大的优点是无需配合人只要正常走过摄像头覆盖区域就能完成识别不需要正脸朝向镜头因此和人脸通道形成互补。门禁场景里加入步态通道的好处直观戴口罩、戴帽子、低头看手机的人脸识别效果差但步态受影响不大攻击者拿高清照片或硅胶面具能骗过摄像头但很难同时模仿目标人物的走路姿态。双通道设计等于给门禁上了两道锁。但要清楚步态识别的局限。它受衣着、背包、视角、地面材质影响较大识别精度通常低于人脸。所以步态在这个系统里的角色是兜底和防欺骗而不是替代人脸成为第一通道。3.2 MOG2 背景减除的参数与轮廓筛选步态链路的输入是一段包含人行走的视频或实时画面。第一步要做的是把行走的人从静止背景里分离出来。OpenCV 的 createBackgroundSubtractorMOG2 是最常用的方案它用高斯混合模型对每个像素的背景进行建模可以处理缓慢的光照变化。import cv2 cap cv2.VideoCapture(gait_sample.mp4) fgbg cv2.createBackgroundSubtractorMOG2( history500, varThreshold16, detectShadowsTrue ) gait_contours [] while True: ret, frame cap.read() if not ret: break fg_mask fgbg.apply(frame) _, fg_mask cv2.threshold(fg_mask, 200, 255, cv2.THRESH_BINARY) contours, _ cv2.findContours( fg_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) for contour in contours: if cv2.contourArea(contour) 1000: continue x, y, w, h cv2.boundingRect(contour) if h 80 and 0.2 w / h 0.8: gait_contours.append(contour)history 表示用于背景建模的帧数500 大约对应十几秒的视频。varThreshold 是像素亮度变化判定阈值16 是常用的起点值越小前景灵敏度越高但噪声也越多。detectShadowsTrue 会把阴影标记为灰色前景所以紧接着用 200 的阈值对掩码做二值化把阴影区域滤除只留下灰度为 255 的纯前景区域。contourArea 小于 1000 的轮廓一般是噪点或远处小物件的轻微移动直接丢弃。宽高比过滤条件 0.2 到 0.8 是给行人外形做粗筛排除了过宽的地面反光、拉长的影子这类异常轮廓。身高阈值 h 80 根据摄像头安装高度调整安装越低这个值可以设得越小。如果画面里同时出现多个人这步收集到的轮廓会混在一起需要做目标跟踪。毕业设计场景通常用一个简单策略记录上一帧每个轮廓的重心坐标与本帧所有轮廓求最近距离把距离最近的归为同一人。这样稳定性和精度都够用。3.3 关键帧筛选与轮廓归一化步态序列收集到后并不能直接进入模型。一方面每一帧轮廓的姿态不一样有的在双足支撑期有的在单足摆动期另一方面人的远近造成了尺度和位置的不一致。常见做法是把完整的行走序列归一化到固定大小的二值剪影图再从序列里提取若干关键帧作为特征素材。归一化的作用非常大。如果不做尺度归一化人走近时轮廓变大、走远时轮廓变小同一个人的特征向量会随距离变化识别必然失灵。归一化通常是这样实现的def normalize_contour(contour, target_size(64, 64)): mask np.zeros((128, 128), dtypenp.uint8) cv2.drawContours(mask, [contour], -1, 255, -1) mask cv2.resize(mask, target_size, interpolationcv2.INTER_AREA) _, mask cv2.threshold(mask, 127, 1, cv2.THRESH_BINARY) return mask这段代码直接把轮廓画在固定画布上再缩放属于简化实现。更精细的做法是先取轮廓的外接矩形按外接矩形裁剪再通过等比 padding 补成正方形后缩放这样可以避免非正方形目标被拉伸变形。关键帧筛选的意义在于减少冗余计算。一个完整步态周期的轮廓序列可能包含几十帧逐帧算特征再取均值是常见压缩方式另一种做法是挑出轮廓面积最大和最小的各若干帧对应双腿支撑和摆动阶段的典型姿态。从实现成本来看取全序列特征均值更简单也足够应对课程设计场景。3.4 PCA 降维与步态特征匹配归一化后的 64×64 剪影展开是 4096 维向量直接用于距离计算不仅慢而且高维噪声会干扰相似度判断。用 PCA 降维是这类入门级步态项目的标配做法。from sklearn.decomposition import PCA def train_gait_pca(training_frames, n_components32): pca PCA(n_componentsn_components) pca.fit(training_frames) return pca def extract_gait_feature(pca, normalized_frames): features [frame.flatten() for frame in normalized_frames] low_dim pca.transform(features) return low_dim.mean(axis0)n_components32 是一个实用起点。如果注册人数少16 到 32 维就够人数多、类别差异细可以尝试加到 64。PCA 并不是维度越低越好降得过多会丢掉区分信息降得过少又起不到去噪作用。训练 PCA 时用的 training_frames 建议来自多个人的多段视频覆盖不同穿着和行走方向否则投影方向会有明显偏差。匹配阶段与人脸通道类似计算待识别步态特征向量与注册库中步态特征向量的欧氏距离小于阈值就认定身份匹配。阈值要根据实际采集的同类距离分布来定没有一劳永逸的数值。步态链路整体跑通后系统里就有了两条身份判断通道。下一步的问题是两条通道的结果怎么合并成一个放行决策。4. 双通道融合与 Web 端部署权重怎么设Vue3 页面怎么对接 Flask4.1 融合策略的选择与权重设定人脸通道输出一个相似度分数步态通道也输出一个相似度分数最终决定开不开门需要一条明确的融合策略。最简单可解释的是加权平均给两个通道各自分配权重得出加权总分再与放行阈值比较。from flask import Flask, request, jsonify app Flask(__name__) FACE_WEIGHT 0.6 GAIT_WEIGHT 0.4 PASS_THRESHOLD 0.7 app.route(/api/verify, methods[POST]) def verify(): data request.get_json() face_score float(data.get(face_score, 0)) gait_score float(data.get(gait_score, 0)) final_score FACE_WEIGHT * face_score GAIT_WEIGHT * gait_score passed final_score PASS_THRESHOLD return jsonify({ face_score: face_score, gait_score: gait_score, final_score: round(final_score, 4), passed: passed })这段逻辑里的关键参数是 FACE_WEIGHT 和 GAIT_WEIGHT。为什么人脸设 0.6、步态设 0.4因为在近距离、光线正常的门禁场景人脸识别置信度通常高于步态给更高权重符合直觉。但这不是死规则如果摄像头安装距离远、画面中人脸像素少人脸的置信度会大幅下降这时应该反过来提高步态权重甚至设成 0.3 比 0.7。加权平均之外还有贝叶斯融合把两个通道看作独立观测利用先验概率和后验概率计算最终身份概率。它更严谨但需要事先估计两个通道各自的误报率和漏报率对数据采集有要求。课程设计阶段用加权平均并把权重确定的依据讲清楚已经足够在答辩时说明设计思路。4.2 Flask 后端与 Vue 3 前端的对接方式后端接口做好后前端需要实时展示验证状态。这套资源采用的是 Vue 3 Tailwind CSS 的前端结构页面里通常有一个实时监控画面区域和一个验证结果展示区域。前端通过 axios 向后端发送人脸分数和步态分数拿到返回结果后更新界面状态。axios.post(/api/verify, { face_score: faceScore, gait_score: gaitScore }).then((res) { if (res.data.passed) { state.message 验证通过欢迎进入 state.finalScore res.data.final_score } else { state.message 验证失败请重试 } }).catch((err) { state.message 服务异常请检查后端日志 })前端接接口时最容易出问题的不是请求本身而是开发环境地址配置。.env.development 文件里通常定义的是 VITE_API_BASE_URL 这类变量在联网调试时要改成 Flask 服务的实际地址同时注意 Flask 端要开启 CORS否则浏览器会拦截跨域请求。4.3 代码包里的配置文件实际用来做什么打开这套资源包能看到一批前端工程相关的文件。它们相互之间的关系用一张表可以说明清楚文件所属板块实际作用.env.development前端环境配置定义开发环境接口地址等变量tailwind.css前端样式Tailwind 工具类样式入口login.css / iconfont.css前端样式登录页布局与图标字体vue3.0.code-snippets / vue3.2.code-snippets开发工具VS Code 的 Vue 3 快捷代码片段commit-msg工程规范Git 提交信息格式模板.eslintignore / .editorconfig工程规范代码风格统一与忽略规则mvnw.cmd无关文件Java Maven 构建脚本可忽略mvnw.cmd 出现在这份 Python Vue 资源包里显得有些格格不入它本质是 Java Maven Wrapper 的脚本大概率是项目复制时残留的。复现系统时不需要安装 Java 环境直接忽略这个文件不影响运行。4.4 整条门禁调用链路的运行顺序把前后端和两条识别链路串起来系统的实际工作流程是这样的摄像头持续采集画面人脸模块和步态模块分别维护自己的帧循环。画面中检测到人形后人脸模块开始检测、对齐、提特征步态模块同步进行背景减除、轮廓积累、关键帧收集。两边各自完成后把分数 POST 到 /api/verify 接口接口按融合策略计算加权得分并返回放行结果前端页面展示最终状态。需要注意两条通道并不是在同一个时刻完成的。人脸识别可能在 0.5 秒内就出结果步态识别需要人走完一段序列可能要 2 到 3 秒。这个时间差必须在代码里显式处理前端展示“步态采集中”的状态提示等步态结果就绪后再与缓存中的人脸结果合并而不是让人脸模块阻塞等待。5. 避坑排查dlib 安装、摄像头索引、光照与步态漏检的典型问题5.1 dlib 安装反复编译失败现象pip install dlib 报错终端输出大段 C 编译错误卡在 building wheel 阶段。原因dlib 是 C 库pip 在多数 Python 版本上没有提供预编译 wheel需要本地具备完整的 C 编译环境。解决优先找现成的预编译 wheel 安装或者改用 conda 安装 dlibconda 的包是预先编译好的省去本地编译过程。若仍要源码安装需先装好 Visual Studio Build Tools 并勾选“使用 C 的桌面开发”组件。Python 版本太高时编译失败概率更大3.8 到 3.10 之间相对稳妥。5.2 摄像头打不开或索引号不对现象cv2.VideoCapture(0) 返回的帧一直为空或某次代码运行后画面卡死门禁系统永远停在“识别中”。原因默认视频后端在摄像头被占用时不会自动切换索引号也可能不对。部分 USB 摄像头在 Windows 下用默认后端打开时竞争严重等待时间长且容易失败。解决Windows 下显式使用 cv2.CAP_DSHOW并做一个摄像头索引扫描从 0 到 5 逐一尝试打开并读取一帧把能成功出图的那个索引作为启动参数。def find_camera(): for idx in range(5): cap cv2.VideoCapture(idx, cv2.CAP_DSHOW) if cap.isOpened(): ret, frame cap.read() if ret: cap.release() return idx cap.release() return None这套扫描逻辑看起来朴素却最省心。现场环境摄像头索引经常对不上写死一个索引很容易在现场翻车。5.3 同一个人在不同光照下识别结果相反现象注册时在正常灯光下录入识别通过换到窗边逆光环境同一个人被判定为陌生人人脸相似度距离明显变大。原因人脸识别模型对光照敏感逆光时面部细节丢失dlib 关键点定位也容易偏移导致特征向量整体漂移。解决注册时多录几组不同光照和角度的样本每个用户存多组特征向量识别前对人脸区域做直方图均衡化阈值不要固定可根据场景光线动态调整。均衡化的实现很直接def normalize_illumination(face_roi): gray cv2.cvtColor(face_roi, cv2.COLOR_BGR2GRAY) equalized cv2.equalizeHist(gray) return equalized裁剪人脸后再做均衡化不会影响检测帧率但对特征稳定性有帮助。要明确它只能降低光照变化的影响不能完全消除。5.4 步态识别漏检和背景噪声现象步态分数迟迟不出现。画面里的人在走动但轮廓列表就是攒不够帧数或者把背景里的阴影、桌椅边缘识别成了行人轮廓。原因背景减除的本质是检测变化当人移动缓慢、衣着颜色与背景接近时MOG2 会把人逐渐吸收进背景模型。阴影区域则容易被当作前景。解决把 varThreshold 从 16 下调到 10 至 12提升前景敏感度轮廓过滤时加重宽高比和高度条件。更稳的做法是叠加一层轻量级人体检测当背景减除的轮廓置信度低时直接采用人体检测框来生成轮廓。实际项目里可以把 MOG2 掩码和人体检测框取交集框内再生成剪影特征既有速度又能防漏检。5.5 前端超时与步态等待时间冲突现象人脸识别 0.5 秒就通过但前端页面一直显示“正在验证”超过 10 秒后浏览器报超时。原因步态识别需要攒够一段行走序列人走得慢、停在门口不走来回走动时轮廓数量不足步态模块一直等待前端同步等待导致超时。解决给步态识别设定最大等待时间例如 5 秒超时后返回空结果由融合逻辑决定以人脸单通道结果为准还是按识别失败处理。同时把超时状态传给前端界面明确显示“步态采集中”或“步态超时”不要让用户以为系统卡死。def wait_for_gait_result(timeout5.0): start time.time() while time.time() - start timeout: result gait_buffer.get_latest_result() if result is not None: return result time.sleep(0.2) return None这个超时参数的设定要看现场空间。通道短、人走得快3 秒合适空间宽、识别距离远可以放到 6 秒。门禁系统最忌讳流程卡在中间没有任何反馈。6. 现场调优与验证习惯阈值该从哪扫起步态数据怎么校准6.1 先校准人脸阈值再校准步态最后调融合权重拿到这类资源后不能直接跑完就上演示。我的调优顺序很固定先只调人脸通道把步态暂时关掉。找三个人参与测试每人录五段不同角度的视频计算同类距离的均值和标准差同时记录两两之间的跨类距离。同类距离和跨类距离之间有明显分隔带时人脸阈值取分隔带中间位置如果两类距离叠在一起问题往往在检测或对齐链路而不是阈值本身。人脸通道稳固后再开步态。步态校准时注册阶段录一段人从左到右走完整段路的视频验证阶段分别测正常走、背包走、稍弯腰走三种情况观察轮廓特征距离是否仍落在同类距离范围内。背包走如果严重拉大距离优先检查轮廓归一化是否有问题其次再考虑增加 PCA 维数。融合权重最后调。先用人脸 0.6、步态 0.4 跑一轮记录通过率和误通过率。如果发现步态超时频繁导致整体通过率下降就把步态权重下调如果出现照片骗过人脸通道的情况则上调步态权重。6.2 现场部署前的验证清单部署现场和实验室环境差别很大光是光线、摄像头角度、人距闸机的距离都会让实验室里调好的阈值失效。我通常会按下面这份清单强制走一遍先固定摄像头位置确保人脸正对镜头、全身步态区域覆盖画面中部然后录三段不同时段的视频分别在顺光、逆光、夜间灯光下测试识别效果。接着把阈值从 0.9 往 0.5 逐档调一遍记录每个阈值下的误接受率和误拒绝率找到实际能达到平衡的操作点最后用最终阈值在每种场景各测 20 次统计通过率。如果整体通过率低于 90%第一反应永远是看检测日志里人脸是否频繁漏检、步态是否经常超时而不是急着换更大的模型。从那以后我每次拿到这类门禁项目都会强制走一遍上述验证流程数据不对就先看采集链路洗漱干净再谈模型。这套人脸 步态双重认证项目的搭建和调优顺序希望也能帮你的项目少走几步弯路。本文还有配套的精品资源点击获取