简介这份资源面向计算机视觉入门者与计算机毕设学生聚焦基于Python的手势识别与手指计数任务帮助读者快速搭建可运行的手部关键点检测与计数demo。包内共5个文件以2个py脚本、2个md说明文档和1个gitignore配置为主压缩包约7KB体量轻便便于直接下载运行与二次修改。核心脚本基于OpenCV与Google开源的mediapipe框架实现通过pip安装opencv-python与mediapipe即可完成环境配置代码中导入cv2与mp模块后即可调用手部模型进行识别。目前已有1584人学习下载说明该方案在毕设与课程实践场景中具备一定参考价值。读者可获得完整可运行的手势识别与手指计数代码、配套说明文档及测试数据理解手部关键点检测的基本流程与模块调用方式并在此基础上扩展手势分类、交互控制等应用适合作为计算机视觉方向毕设或课程设计的起步模板。1. 手势识别毕设选型为什么 MediaPipe OpenCV 是当前最稳的落地组合如果你正在做计算机视觉方向的毕设大概率会遇到一个尴尬局面用 YOLO 训练手势检测模型标注了上千张图训练了两天结果换个光照环境就翻车手指粘连、遮挡、背景干扰全来了。更别提还要自己写手指计数逻辑光是把关键点映射到“伸出了几根手指”这件事就够调一周。基于 Python MediaPipe OpenCV 的手势识别方案解决的正是这个问题。MediaPipe 提供预训练的手部关键点检测模型直接输出 21 个手部关键点的三维坐标你不需要标注数据、不需要训练、不需要 GPU。OpenCV 负责视频流读取、图像预处理和结果绘制。两者组合一台普通笔记本的 CPU 就能跑到 30 FPS 以上。这套方案适合谁做毕设需要快速出可演示成果的学生、想入门计算机视觉但不想被训练流程劝退的开发者、需要手势交互原型的产品验证团队。你需要的只是 Python 基础语法和一台能装 OpenCV 的电脑。2. 环境搭建与最小可运行手势检测从装包到第一帧关键点2.1 Python 与 OpenCV、MediaPipe 的安装路径先确认 Python 版本。MediaPipe 对 Python 版本有要求目前稳定支持的是 Python 3.8 到 3.11。如果你用的是 Python 3.12可能会遇到mediapipe没有对应 wheel 的问题。我一般建议用 3.10兼容性最好。安装命令不复杂但顺序和源的选择会影响成功率# 建议先升级 pip避免旧版 pip 解析 wheel 出错 python -m pip install --upgrade pip # 安装 opencv-python注意不是 opencv-contrib-python pip install opencv-python # 安装 mediapipe如果下载慢可以指定国内镜像源 pip install mediapipe -i https://pypi.tuna.tsinghua.edu.cn/simple装完之后验证一下import cv2 import mediapipe as mp print(cv2.__version__) # 应该输出 4.x.x print(mp.__version__) # 应该输出 0.10.x如果import cv2报ModuleNotFoundError: No module named opencv说明装到了错误的包名或者虚拟环境不对。常见情况是你用pip install opencv而不是opencv-python前者是个空壳包。另一个高频问题是 VSCode 里切换了 Python 解释器但终端没同步导致“明明装了却找不到”。注意MediaPipe 和 OpenCV 都依赖 numpy如果 numpy 版本冲突会出现ImportError: numpy.core.multiarray failed to import。解决办法是先pip uninstall numpy再pip install numpy1.24.3这类稳定版本。2.2 用 MediaPipe Hands 跑通第一帧关键点检测环境没问题后先写一个最小可运行版本打开摄像头检测手部关键点把 21 个点画出来。这一步跑通后面所有功能都是在这个基础上叠加。import cv2 import mediapipe as mp # 初始化 MediaPipe 手部检测模块 mp_hands mp.solutions.hands mp_draw mp.solutions.drawing_utils # static_image_modeFalse 表示走视频流模式会做跟踪而不是每帧重新检测 # max_num_hands2 最多检测两只手 # min_detection_confidence0.5 检测置信度阈值 # min_tracking_confidence0.5 跟踪置信度阈值 hands mp_hands.Hands( static_image_modeFalse, max_num_hands2, min_detection_confidence0.5, min_tracking_confidence0.5 ) cap cv2.VideoCapture(0) # 0 表示默认摄像头 while cap.isOpened(): ret, frame cap.read() if not ret: break # MediaPipe 要求 RGB 输入OpenCV 默认是 BGR frame_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 处理帧返回检测结果 results hands.process(frame_rgb) # 如果检测到手绘制关键点和连接线 if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: mp_draw.draw_landmarks( frame, hand_landmarks, mp_hands.HAND_CONNECTIONS ) cv2.imshow(Hand Detection, frame) # 按 q 退出 if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这段代码的逻辑链条很清晰读帧 → BGR 转 RGB → 送入 MediaPipe → 拿到multi_hand_landmarks→ 绘制。关键参数在Hands()初始化里static_image_mode如果你处理的是单张图片设为True视频流一定设为False否则每帧都重新检测速度慢且抖动大。max_num_hands根据你的场景设做单手手势就设 1减少误检。min_detection_confidence低于这个值的手不输出。光线差的环境可以降到 0.3但误检会增多。min_tracking_confidence跟踪丢失后重新检测的阈值。设太高会导致手快速移动时关键点闪烁。跑通这一步你应该能看到摄像头画面里手部被画上 21 个点和骨架连线。如果画面卡顿检查是不是开了static_image_modeTrue或者摄像头分辨率太高。3. 手指计数逻辑从 21 个关键点到“伸了几根手指”3.1 手指伸直的判定条件与坐标映射MediaPipe 输出的 21 个关键点有固定索引。以食指为例5 是食指根部6 是第二关节7 是第三关节8 是指尖。判断食指是否伸直最直接的方法是看指尖的 y 坐标是否小于第二关节的 y 坐标图像坐标系 y 轴向下。但这个方法有个坑当手旋转时单纯比较 y 坐标会失效。更稳的做法是计算向量夹角。不过对于毕设演示场景手指大致朝上的情况下y 坐标比较足够用代码也简单。先拿到关键点的像素坐标h, w, c frame.shape landmark_list [] if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: for idx, lm in enumerate(hand_landmarks.landmark): # landmark 是归一化坐标乘以宽高转成像素坐标 cx, cy int(lm.x * w), int(lm.y * h) landmark_list.append([idx, cx, cy])landmark_list里每个元素是[索引, x坐标, y坐标]。注意 MediaPipe 返回的lm.x和lm.y是归一化值0 到 1必须乘以帧的宽高才能用于绘制和计算。3.2 五指计数完整代码与边界处理下面是指计数核心逻辑。以右手为例大拇指用 x 坐标比较其余四指用 y 坐标比较def count_fingers(landmark_list, hand_label): landmark_list: [[id, x, y], ...] 共21个点 hand_label: Left 或 Right 返回伸直的手指数量 if len(landmark_list) 21: return 0 fingers [] # 大拇指比较指尖 x 和指根 x # 右手大拇指指尖在指根左侧左手相反 if hand_label Right: if landmark_list[4][1] landmark_list[3][1]: fingers.append(1) else: fingers.append(0) else: if landmark_list[4][1] landmark_list[3][1]: fingers.append(1) else: fingers.append(0) # 其余四指指尖 y 小于第二关节 y 表示伸直 tip_ids [8, 12, 16, 20] # 食指、中指、无名指、小指指尖 pip_ids [6, 10, 14, 18] # 对应的第二关节 for tip, pip in zip(tip_ids, pip_ids): if landmark_list[tip][2] landmark_list[pip][2]: fingers.append(1) else: fingers.append(0) return sum(fingers)这段代码有几个细节值得说清楚大拇指的判定不能照搬其他四指。大拇指是横向张开的用 y 坐标比较会一直判定为弯曲。必须用 x 坐标而且左右手逻辑相反。hand_label来自results.multi_handednessMediaPipe 会给出左右手分类。但注意这个分类是相对于镜像画面的如果你做了cv2.flip翻转左右手标签会反过来。四指用tip和pip比较而不是和mcp指根比较。因为手指弯曲时指尖可能低于指根但高于第二关节用第二关节更准确。把计数结果画到画面上# 在循环内拿到 hand_label 后 hand_label results.multi_handedness[hand_idx].classification[0].label count count_fingers(landmark_list, hand_label) cv2.putText(frame, fFingers: {count}, (10, 70), cv2.FONT_HERSHEY_SIMPLEX, 2, (0, 255, 0), 3)到这里一个完整的手势识别 手指计数流程就跑通了。但实际测试中你会发现几个高频翻车场景下一章专门讲。4. 避坑与排查手势识别从能跑到好用的 5 个关键问题4.1 关键点抖动严重手指计数频繁跳变现象手静止不动但画面上的关键点一直在抖计数结果在 3 和 4 之间反复跳。原因MediaPipe 的跟踪模式在低置信度时会重新检测导致关键点位置突变。另外摄像头本身的噪声也会影响归一化坐标。解决对关键点做滑动平均滤波。维护一个长度为 5 的队列每次取平均值作为当前坐标。代码不复杂from collections import deque # 在循环外初始化 smooth_queue deque(maxlen5) # 在拿到 landmark_list 后 smooth_queue.append(landmark_list) if len(smooth_queue) 5: # 对每个关键点的 x,y 取平均 avg_landmarks [] for i in range(21): avg_x sum([frame[i][1] for frame in smooth_queue]) // 5 avg_y sum([frame[i][2] for frame in smooth_queue]) // 5 avg_landmarks.append([i, avg_x, avg_y]) landmark_list avg_landmarks同时把min_tracking_confidence提高到 0.7减少重新检测频率。4.2 左右手标签反了大拇指计数始终错误现象明明伸的是右手大拇指程序判定为左手计数结果不对。原因OpenCV 读取的摄像头画面默认是镜像的像照镜子MediaPipe 的左右手分类基于输入图像。如果你做了cv2.flip(frame, 1)水平翻转左右手标签会互换。解决要么不做翻转要么在拿到hand_label后手动交换。我一般会在代码里加一行判断hand_label results.multi_handedness[hand_idx].classification[0].label # 如果做了水平翻转交换左右手标签 hand_label Left if hand_label Right else Right4.3 摄像头读帧失败或延迟越来越高现象程序跑了几十秒后画面卡死或者cap.read()返回False。原因OpenCV 的VideoCapture缓冲区堆积。如果处理速度跟不上摄像头帧率旧帧会积压导致延迟越来越大。解决设置缓冲区大小为 1并且每次读帧前先 grab 几次丢弃旧帧cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)如果还是卡在循环里加cap.grab()跳帧处理。另外确认没有在循环里做耗时操作比如每帧都保存图片。4.4 光线暗或背景杂乱时检测不到手现象白天正常晚上开灯后手部检测时有时无。原因MediaPipe 的手部检测模型对光照敏感暗光下置信度低于阈值。解决在送入 MediaPipe 之前做直方图均衡化增强对比度gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray cv2.equalizeHist(gray) frame_eq cv2.cvtColor(gray, cv2.COLOR_GRAY2BGR) frame_rgb cv2.cvtColor(frame_eq, cv2.COLOR_BGR2RGB)同时把min_detection_confidence降到 0.3。但注意降太低会把手势背景中的类手物体误检为手。4.5 多只手同时出现时计数结果串了现象画面里有两只手但计数结果只显示一个或者两只手的计数混在一起。原因results.multi_hand_landmarks是一个列表每只手对应一个元素。如果只取第一个就会漏掉另一只手。解决遍历所有检测到的手分别计数并标注。用hand_idx索引对应的multi_handednessif results.multi_hand_landmarks: for hand_idx, hand_landmarks in enumerate(results.multi_hand_landmarks): hand_label results.multi_handedness[hand_idx].classification[0].label # 分别处理每只手5. 从毕设演示到可交付手势控制的实际技巧与验证方法把手指计数跑通之后下一步通常是做手势控制。比如伸 1 根手指控制鼠标移动伸 2 根暂停握拳退出。这里分享几个我踩过坑之后总结的实用技巧。手势触发去抖不要每一帧都触发动作否则手稍微抖一下就会连续触发。用一个计数器连续 N 帧检测到同一手势才认为是有效触发gesture_counter 0 last_gesture None STABLE_THRESHOLD 8 # 连续8帧同一手势才触发 current_gesture count_fingers(landmark_list, hand_label) if current_gesture last_gesture: gesture_counter 1 else: gesture_counter 0 last_gesture current_gesture if gesture_counter STABLE_THRESHOLD: # 触发动作 trigger_action(current_gesture)验证方法准备一组测试用例覆盖不同光照、不同背景、左右手、单手双手、快速移动、部分遮挡。每个用例录 10 秒视频统计检测成功率和计数准确率。我一般会用一个简单的表格记录测试场景检测成功率计数准确率平均 FPS室内正常光98%95%32室内暗光85%78%30复杂背景92%88%31快速挥手80%70%28这张表可以直接放进毕设论文的实验章节。如果某项指标太低针对性地调参数或加预处理。性能优化如果 FPS 低于 20先把摄像头分辨率降到 640x480然后确认没有在循环里做不必要的图像拷贝。MediaPipe 的process()是主要耗时点可以考虑每两帧处理一次中间帧复用上一次的关键点。最后说一个血泪教训毕设答辩演示时千万别依赖现场摄像头。提前录好一段演示视频用cv2.VideoCapture(demo.mp4)读取保证演示过程稳定可控。现场光线、摄像头驱动、USB 接口松动任何一个环节出问题都会让你在答辩老师面前尴尬。我当年就是现场摄像头被占用临时换视频文件才救回来。希望帮到你。本文还有配套的精品资源点击获取