简介基于Python、MediaPipe与OpenCV构建的高分手势识别系统面向计算机专业课程设计与期末大作业场景适合需要完整可运行项目作为参考的学习者也可作为期末答辩与实训报告的支撑材料。项目针对免接触人机交互需求设计利用MediaPipe实现手部关键点实时检测结合OpenCV完成图像预处理与轮廓分析并通过手指向量计算判断手势类别覆盖从数据输入、关键点提取到手势输出的完整流程。资源共25个文件包含6个Python源码模块手势识别、关键点检测、登录界面、音乐播放等、2个Qt界面文件、8个mp3音频、8个pyc缓存文件及1份README说明文档压缩包约49.59MB目录结构清晰。目前已有86人学习下载。系统代码完整并已严格调试下载后可直接运行附带文档详细说明系统架构、函数功能与运行环境配置便于快速上手和二次开发对理解计算机视觉项目的实际落地过程具有较高参考价值。1. 期末大作业拿 95 分基于 Mediapipe 和 OpenCV 的手势识别系统拆解期末大作业想拿 95 分光靠import cv2调一个别人训练好的模型是交不了差的。老师最反感的就是黑匣子你递上去一个黑盒模型他问你原理你答不上来最后只能拿个及格分。这套基于 Python、Mediapipe 和 OpenCV 的手势识别系统源码牛就牛在把“识别”拆成了“采集 - 关键点 - 规则判断 - 可视化”四个完全透明、能在答辩现场当面跑通的模块。识别手势不靠训练靠的是 Mediapipe 的 21 个手部关键点再加上我下面会讲的几何规则既能解决“这是什么”的问题又能解决“为什么这么判断”的答辩追问。无论你是本科期末大作业还是课程设计需要实时交互 demo这套资源的落地思路都可以直接抄而且每一步都能解释清楚拿高分是理所当然的事。2. 环境搭建与核心原理为什么选 Mediapipe 不选 CNN2.1 技术选型21 个手部关键点为什么够用做手势识别很多新手一上来就想着训练 YOLO 或者自己搭一个 CNN 分类器这个思路放在课程设计里是典型的费力不讨好。训练集哪来标注谁来做GPU 有没有这些都是问题。Mediapipe 的 Hands 模型则完全不同它本身是 Google 训练好的图模型专门输出 21 个手部关键点的三维坐标x, y, z根本不需要你碰任何训练流程。这 21 个点的分布是有讲究的点 0 是手腕点 4 是大拇指指尖点 8 是食指指尖点 12 是中指指尖点 16 是无名指指尖点 20 是小指指尖。每个手指还有指根PIP和掌根MCP两个关节点一共 4 个手指加拇指正好是 20 个点加手腕 1 个点。基于这套骨架判断手指是伸直还是弯曲本质上就是一个几何问题用math.hypot算两点距离就能解决完全不需要深度学习。而 OpenCV 在这个项目里的作用就是三个读取摄像头画面、把画面喂给 Mediapipe、把 Mediapipe 画出来的骨架显示到窗口里。这里要纠正一个常见误解OpenCV 没有参与任何“AI 识别”动作它就是视觉交互的外壳。Mediapipe 负责 AI 特征提取。两者分工明确代码结构才清晰这也是这套源码能拿高分的一个结构性原因。2.2 安装与验证先把 Hello World 跑通再说环境配置是这门课设的第一个坑。我一般会要求先建立一个干净的虚拟环境再安装依赖。以我常用的版本组合为例# requirements.txt opencv-python4.8.1.78 mediapipe0.10.9 numpy1.26.2python -m venv .venv .venv\Scripts\activate # Windows 环境 pip install -r requirements.txt提示mediapipe 对 Python 版本非常挑剔建议使用 Python 3.8 到 3.11 之间Python 3.12 目前装不上官方 wheel这是最常见的翻车点。验证环境是不是真通了不需要直接跑整个系统写一个五行的最小程序就够了import cv2 import mediapipe as mp cap cv2.VideoCapture(0) mp_hands mp.solutions.hands with mp_hands.Hands( static_image_modeFalse, max_num_hands1, min_detection_confidence0.5, min_tracking_confidence0.5 ) as hands: while cap.isOpened(): ret, frame cap.read() if not ret: break frame cv2.flip(frame, 1) # 自拍视角镜像 rgb_frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) result hands.process(rgb_frame) if result.multi_hand_landmarks: print(检测到 {} 只手.format(len(result.multi_hand_landmarks))) cv2.imshow(Hand Test, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()逻辑说明这个程序的核心是把 OpenCV 读到的 BGR 帧转成 RGB 再传给 Mediapipe。hands.process()返回的结果里包含了multi_hand_landmarks它是被检测到的手部的归一化坐标列表。这里要注意Mediapipe 输入前必须cvtColor因为 OpenCV 默认用 BGR 顺序而 Mediapipe 接收 RGB顺序反了骨架会错乱。3. 核心代码复现手部关键点提取与数字识别的规则算法3.1 封装一个 HandTracker 类让主程序瘦身一份拿得出手的课设源码主程序里不应该堆满cv2.VideoCapture和hands.process()的调用细节。我一般会把手部检测封装成一个HandTracker类外部只需要调用find_hands(frame)和get_positions(frame)就能拿到像素坐标这样写的好处是后面不管是接数字识别还是接贪吃蛇复用成本极低。# hand_tracker.py import math import cv2 import mediapipe as mp class HandTracker: def __init__(self, max_hands1, detection_confidence0.5, tracking_confidence0.5): self.mp_hands mp.solutions.hands self.mp_draw mp.solutions.drawing_utils self.hands self.mp_hands.Hands( static_image_modeFalse, max_num_handsmax_hands, min_detection_confidencedetection_confidence, min_tracking_confidencetracking_confidence ) # 指尖关键点 ID对应 Mediapipe 官方索引 self.tip_ids [4, 8, 12, 16, 20] self.results None def find_hands(self, frame, drawTrue): rgb_frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) self.results self.hands.process(rgb_frame) if draw and self.results.multi_hand_landmarks: for hand_lms in self.results.multi_hand_landmarks: self.mp_draw.draw_landmarks( frame, hand_lms, self.mp_hands.HAND_CONNECTIONS) return frame def get_positions(self, frame): h, w, _ frame.shape positions {} if self.results.multi_hand_landmarks: hand self.results.multi_hand_landmarks[0] for idx, lm in enumerate(hand.landmark): # lm.x 和 lm.y 是归一化坐标需要乘宽高换像素 positions[idx] (int(lm.x * w), int(lm.y * h)) return positions参数说明max_num_hands1表示只跟踪一只手课程设计不需要多手识别写多了反而增加 GPU 占用。min_detection_confidence是初始检测阈值如果你在摄像头前晃了一下没检测到就是这个阈值太高了但调到 0.5 以下会引入大量误检用默认值 0.5 是性价比最高的选择。逻辑说明get_positions必须接收当前帧的宽高因为landmark.x和landmark.y是 0 到 1 的浮点归一化坐标不乘宽高画点的时候会全部挤在左上角。这是新手最容易忽略的细节。3.2 判断手指伸直与弯曲用距离比例而不是绝对距离识别数字手势的规则有很多种最蠢的是拿指尖到手腕的绝对像素距离做阈值手一靠近摄像头整只手都“伸直”手一远离全都“弯曲”。正确的做法是算比例用“指尖到手腕的距离”除以“指根到手腕的距离”。只要这个比例大于 1.8就认为该手指伸直否则视为弯曲。# gesture_recognizer.py import math def is_finger_straight(positions, tip_id, pip_id): 判断单根手指是否伸直。 tip_id: 指尖关键点 ID pip_id: 该手指指根关节 ID wrist positions[0] # 0 是手腕点 tip positions[tip_id] pip positions[pip_id] tip_dist math.hypot(tip[0] - wrist[0], tip[1] - wrist[1]) pip_dist math.hypot(pip[0] - wrist[0], pip[1] - wrist[1]) if pip_dist 0: return False return (tip_dist / pip_dist) 1.8 def recognize_number(positions): 基于 5 根手指的伸直状态返回数字 0-5。 if not positions: return None # Mediapipe 手指指根 ID 映射食指 6, 中指 10, 无名指 14, 小指 18 fingers { thumb: is_finger_straight(positions, 4, 3), index: is_finger_straight(positions, 8, 6), middle: is_finger_straight(positions, 12, 10), ring: is_finger_straight(positions, 16, 14), pinky: is_finger_straight(positions, 20, 18), } # 统计伸直的指数 straight_count sum(fingers.values()) # 大拇指单独计数的特殊情况处理 if fingers[thumb] and not fingers[index] and not fingers[middle] \ and not fingers[ring] and not fingers[pinky]: return 5 # 或者定义为“点赞”手势 if straight_count 1 and fingers[index]: return 1 if straight_count 2 and fingers[index] and fingers[middle]: return 2 if straight_count 3: return 3 if straight_count 4: return 4 if straight_count 5: return 5 return 0逻辑说明math.hypot底层就是欧几里得距离公式的封装比手写sqrt更稳定。大拇指的判断逻辑需要单独写因为大拇指在手掌旋转时坐标方向变化极大用通用比例会误判所以我加了fingers[thumb]的独立分支。这个算法的好处是完全尺度不变摄像头距离远了手变小了比例值依然稳定这是保证高分的核心细节。4. 让它长得像 95 分的工程目录结构、配置分离与注释规范4.1 目录规划别把所有 .py 堆在根目录很多课程设计的源码就是main.py一个文件写到底几千行代码堆在一起老师打开连翻页的欲望都没有。这套资源的目录结构是一个典型的 95 分工程gesture_project/ ├── main.py # 程序入口摄像头循环与主逻辑 ├── hand_tracker.py # 手部关键点检测封装 ├── gesture_recognizer.py # 手势分类规则 ├── config.py # 全局配置参数 ├── requirements.txt # 依赖清单 └── README.md # 项目说明与运行指南每个文件职责单一main.py只负责开摄像头和处理按键退出hand_tracker.py只负责 Mediapipe 交互gesture_recognizer.py只负责几何判断。这样的分层给老师的第一印象就是“这学生懂工程”比代码本身更能拉分。README 里一般要写清楚运行环境、操作步骤和演示效果这部分资源里面已经给了现成模板。4.2 参数配置把阈值写进 config.py不要写死在代码里手写阈值是改代码最容易踩的坑。你要把识别灵敏度调高结果得去gesture_recognizer.py里一行行翻数字。把参数集中到config.py里是最简单的工程化改进。# config.py CAMERA_ID 0 # 摄像头索引外接摄像头可能为 1 或 2 CAMERA_WIDTH 640 CAMERA_HEIGHT 480 FLIP_FRAME True # 镜像显示自拍视角必备 STRETCH_RATIO 1.8 # 手指伸直判断比例阈值 MIN_DETECTION_CONFIDENCE 0.5 MIN_TRACKING_CONFIDENCE 0.5 MAX_HANDS 1注意CAMERA_WIDTH和CAMERA_HEIGHT必须和 OpenCV 的cap.set()配合使用如果不设置默认读取摄像头的原生分辨率可能是 1080pMediapipe 推理速度会急剧下降FPS 直接掉到个位数。5. 常见问题排查复现这套系统最常踩的 5 个坑5.1 现象安装 mediapipe 后 import 直接报错原因Python 3.12 发布太新mediapipe 官方还没为它编译对应的 wheel 包pip 安装到一半就编译失败或者装完import mediapipe直接异常。解决退回到 Python 3.9 或 3.10用virtualenv或者conda新建一个干净环境再安装依赖。版本锁定mediapipe0.10.9是稳定组合这是血泪经验。5.2 现象摄像头打开失败cv2.VideoCapture(0)返回 False原因笔记本自带摄像头已经被 Zoom 或微信占用或者相机索引号不是 0。外接摄像头的索引有时候是 1 或 2。解决在config.py里把CAMERA_ID改成 1 或 -1 逐个试。如果是 Windows 平台可以在cv2.VideoCapture后面加cv2.CAP_DSHOW参数能绕开很多驱动兼容问题。5.3 现象画面左右反了手势判断也不对原因摄像头默认是物理视角你抬手它显示成对面的人但 Mediapipe 依然能检测。问题出在你自己看着别扭导致判断左右手时逻辑混乱。解决在做任何处理之前调用cv2.flip(frame, 1)做水平镜像。注意必须只显示镜像推理输入也用镜像不然你举手它是反的。5.4 现象FPS 低到只有 8 到 10 帧原因摄像头默认 1080p 分辨率Mediapipe 在 1920x1080 的图上做手势识别CPU 扛不住。我见过最夸张的一次是同学把 OpenCV 窗口放大到全屏还开着摄像头自动曝光。解决在main.py里用cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)和cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)把分辨率降到 640x480推理速度能提升一倍以上对于手部识别来说精度损失完全可以忽略。5.5 现象手离摄像头远一点就识别不出数字了原因绝对距离阈值失效。手远了指尖和手腕的像素距离从 300 缩小到 150固定的阈值 180 就永远判定为弯曲。解决就是第 3 章里讲的改用“指尖到手腕距离 / 指根到手腕距离”的比例。这个比例在手缩小时同时缩小分子和分母比值不会变识别距离就不受约束。6. 进阶调优技巧从“能跑”到“稳定不飘”的手势交互优化6.1 输出平滑对位帧序列滤波让识别结果不闪烁手势识别的结果经常在一帧是 1下一帧变成 0再下一帧又变回 1这种闪烁在答辩演示时非常拉胯。原因很简单摄像头噪点导致单个帧的关键点抖动阈值恰好踩在边界上。解决方法是加一个滑动窗口取近几帧的结果投票输出。from collections import deque # 初始化一个长度为 5 的滑动窗口 gesture_history deque(maxlen5) def smooth_gesture(current_gesture): gesture_history.append(current_gesture) # 取窗口中出现次数最多的手势作为最终结果 return max(gesture_history, keygesture_history.count)逻辑说明deque(maxlen5)是一个自动抛弃旧元素的队列每次识别完把结果塞进去。max(set(...), keycount)统计窗口期内频次最高的手势。这个平滑操作能过滤掉 90% 的随机误判代价仅仅是延迟 2 帧。6.2 性能优化把摄像头 I/O 和推理逻辑拆开第二个优化是线程化。OpenCV 的cap.read()是阻塞操作网络摄像头在高分辨率下读一帧要等很久。用一个生产者-消费者模型把读帧和 AI 推理分开UI 线程响应会提升一个档次。import threading import queue frame_queue queue.Queue(maxsize2) def camera_reader(cap): while True: ret, frame cap.read() if not ret: break frame_queue.put((ret, frame)) # 主线程中从队列取帧再送给 HandTracker cap cv2.VideoCapture(0) threading.Thread(targetcamera_reader, args(cap,), daemonTrue).start()参数说明Queue(maxsize2)是为了防止读帧线程把内存堆爆如果主线程处理不过来队列会自动阻塞等待让读帧速度跟推理速度匹配。干这行最怕的就是自己写的东西第二次运行就不对劲。我之前帮一个学弟改课设他代码里写死了一个time.sleep(1)假装在推理被老师一句“你把 sleep 去掉还能跑吗”问得当场翻车。从那以后我每次交课设都会强制自己走一遍 “show me the code - run it - break it - fix it” 的闭环一份源码不能从头到尾流畅地跑起来分数再漂亮也是虚的。希望帮到你。本文还有配套的精品资源点击获取