简介这份资源面向人机交互课程学习者、OpenCV 入门开发者及需要完成课程设计的学生提供一套基于手势识别控制的打地鼠游戏完整项目。项目通过 Python 调用 mediapipe 库识别食指与中指骨节点位置判定手势实现光标移动与击打动画地鼠并对比有线鼠标、无线鼠标、触摸板与手势识别四种交互方式的实验得分最终得出交互效果排序结论。压缩包共 27 个文件、约 60.1MB包含 6 个 py 源码、4 个 xml 配置、4 个 md 说明、1 个 xlsx 原始数据表、1 个 mp4 演示视频、1 个 pdf 项目报告及 ui、png 等界面素材代码附有详细注释。已有 272 人学习。读者可获得可直接运行的完整工程、实验数据与分析方法、项目报告与演示录屏便于复现实验、理解手势识别判定逻辑并借鉴人机交互对比实验的设计思路与结论表达。1. 手势识别打地鼠从摄像头到锤子的那条链路到底怎么搭很多人第一次听到「手势识别控制的打地鼠」脑子里浮现的是挥挥手就能砸中洞口的爽感但真正动手时才发现摄像头画面里那只手和屏幕坐标之间隔着一整套坐标映射、帧同步和判定逻辑。这个项目要解决的核心问题很具体用普通 USB 摄像头采集手部图像通过 OpenCV 做预处理和轮廓分析把手势位置映射到游戏窗口的九宫格上再用手势的「下压」或「握拳」动作触发敲击判定。它适合两类人一类是想找一个完整的人机交互练手项目、把图像处理和游戏循环串起来的学生另一类是想验证手势交互在低算力设备上到底能不能跑顺的工程师。整条链路不依赖深度相机也不依赖 GPU一台带摄像头的笔记本就能跑通这也是它作为教学和原型验证项目最实在的地方。2. 手势识别打地鼠的视觉链路从 BGR 帧到掌心坐标2.1 为什么选肤色 轮廓而不是直接上深度学习手势识别这条路常见做法分两派一派是 MediaPipe 这类预训练模型直接出 21 个关键点另一派是传统 OpenCV 的肤色分割加轮廓分析。这个项目标题里写的是「基于 OpenCV」而且强调「代码有详细注释」说明它的定位是让读者看懂每一步图像处理在干什么而不是调一个黑盒模型。MediaPipe 确实准但它的关键点输出对初学者来说是个黑匣子你很难解释为什么某个手指被判定为伸出。肤色加轮廓的方案虽然鲁棒性差一些但每一步都能可视化HSV 阈值调完能看到二值图形态学操作完能看到干净的区域轮廓筛选完能画出外接矩形。对于人机交互入门来说这种可解释性比多几个百分点的准确率更重要。选型上我一般会这样定如果光照可控、背景干净、手部离摄像头不超过一米肤色加轮廓完全够用帧率还能跑到 30 以上如果环境光变化大或者背景有大量肤色干扰再考虑引入 MediaPipe 做兜底。这个项目的打地鼠场景恰好属于前者游戏区域固定玩家手部活动范围有限所以传统方案是合理选择。2.2 用 OpenCV 做手部区域提取的最小可跑代码下面这段代码是整条视觉链路的核心它完成了从读取一帧到输出掌心坐标的全过程。你可以把它单独跑起来先确认摄像头和阈值没问题再往游戏循环里嵌。import cv2 import numpy as np # 打开默认摄像头如果有多摄像头可改成 1 或 2 cap cv2.VideoCapture(0) # 设置采集分辨率640x480 在大多数摄像头上帧率最稳 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) while True: ret, frame cap.read() if not ret: break # 水平翻转让画面像镜子一样符合直觉 frame cv2.flip(frame, 1) # 高斯模糊降噪核大小 5x5 是经验值 blurred cv2.GaussianBlur(frame, (5, 5), 0) # 转 HSV肤色在 HSV 空间比 BGR 更集中 hsv cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV) # 肤色阈值这个范围覆盖大多数黄种人肤色光照不同要微调 lower_skin np.array([0, 40, 80], dtypenp.uint8) upper_skin np.array([20, 255, 255], dtypenp.uint8) mask cv2.inRange(hsv, lower_skin, upper_skin) # 形态学开运算去噪闭运算填孔洞 kernel np.ones((5, 5), np.uint8) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) # 找轮廓只取面积最大的那个默认是手 contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if contours: hand_contour max(contours, keycv2.contourArea) if cv2.contourArea(hand_contour) 3000: # 面积太小认为是噪声 x, y, w, h cv2.boundingRect(hand_contour) # 掌心坐标用外接矩形中心近似 palm_x x w // 2 palm_y y h // 2 cv2.rectangle(frame, (x, y), (x w, y h), (0, 255, 0), 2) cv2.circle(frame, (palm_x, palm_y), 8, (0, 0, 255), -1) cv2.imshow(mask, mask) cv2.imshow(frame, frame) if cv2.waitKey(1) 0xFF 27: break cap.release() cv2.destroyAllWindows()逻辑上分四步采集、降噪转色、阈值分割、轮廓筛选。参数上最需要调的是lower_skin和upper_skin里的 H 分量如果你在暖色灯光下H 上限可能要拉到 25如果在冷白光下S 下限可以降到 30。cv2.contourArea的 3000 这个阈值也要根据你离摄像头的距离改手离得远就调小离得近就调大。跑通这段之后你会看到两个窗口一个是原始画面带绿框和红点一个是黑白 mask调阈值的时候盯着 mask 看直到手部区域干净、背景没有大片白色。2.3 掌心坐标到游戏九宫格的映射与平滑拿到掌心坐标只是第一步直接把它映射到屏幕九宫格会有一个明显问题手抖。摄像头每帧的掌心坐标会有几个像素的抖动映射到游戏格子上就会在相邻格之间反复横跳体验很差。常见做法是加一个滑动窗口平均或者用指数移动平均。我一般用后者计算量小延迟也可控。# 指数移动平均平滑alpha 越小越平滑但延迟越大 alpha 0.3 smooth_x, smooth_y 0, 0 def smooth(palm_x, palm_y): global smooth_x, smooth_y smooth_x alpha * palm_x (1 - alpha) * smooth_x smooth_y alpha * palm_y (1 - alpha) * smooth_y return int(smooth_x), int(smooth_y)映射逻辑是把摄像头画面的宽高各分成三份得到九个区域每个区域对应游戏里的一个洞。这里要注意摄像头画面和游戏窗口的宽高比可能不同直接按比例映射会导致边缘区域偏移。稳妥的做法是先算归一化坐标再乘以游戏窗口的宽高。alpha取 0.3 是个折中太小了手移动跟不上的感觉很明显太大了平滑效果不够。你可以从 0.2 到 0.5 之间试找到自己觉得跟手又不抖的值。3. 打地鼠游戏循环手势触发敲击的判定逻辑3.1 游戏状态机与地鼠生成节奏打地鼠的游戏逻辑本身不复杂但和手势结合之后状态机要处理的事情变多了。核心状态有三个等待手势、检测到敲击、判定命中或落空。地鼠的生成节奏决定了游戏难度常见做法是用一个计时器每隔固定帧数随机选一个洞弹出地鼠地鼠停留一段时间后自动缩回。如果在这段时间内检测到敲击且敲击位置和地鼠所在洞一致就算命中。这里有个容易翻车的地方地鼠的停留时间不能太短因为手势从「移动到目标洞」到「触发敲击」有一个物理延迟人手挥动加上摄像头采集和处理大概在 100 到 200 毫秒。如果地鼠只停留 300 毫秒玩家根本来不及反应。我一般会把地鼠停留时间设在 800 到 1200 毫秒之间生成间隔从 1500 毫秒起步随着得分增加逐渐缩短。import random import time class WhackAMole: def __init__(self): self.score 0 self.mole_hole -1 # 当前地鼠所在洞-1 表示没有 self.mole_show_time 0 # 地鼠出现的时间戳 self.mole_duration 1.0 # 地鼠停留秒数 self.spawn_interval 1.5 # 生成间隔秒数 self.last_spawn time.time() def update(self): now time.time() # 地鼠超时缩回 if self.mole_hole ! -1 and now - self.mole_show_time self.mole_duration: self.mole_hole -1 # 到时间生成新地鼠 if self.mole_hole -1 and now - self.last_spawn self.spawn_interval: self.mole_hole random.randint(0, 8) self.mole_show_time now self.last_spawn now def hit(self, hole_index): if hole_index self.mole_hole: self.score 1 self.mole_hole -1 # 得分越高节奏越快但有下限 self.mole_duration max(0.5, self.mole_duration - 0.02) self.spawn_interval max(0.8, self.spawn_interval - 0.03) return True return False这段代码里mole_duration和spawn_interval的递减幅度是我试出来的每命中一次减 0.02 和 0.03玩到后面节奏会明显加快但不会快到无法反应。如果你想让难度曲线更陡可以把递减值调大但建议先跑一遍感受一下别一上来就设成 0.1那样三四个地鼠之后就没法玩了。3.2 手势敲击的触发条件下压还是握拳触发敲击的手势判定是整个项目里最需要调的部分。常见有两种方案一种是检测手部区域面积突然变大模拟「下压」动作因为手靠近摄像头时成像面积会增大另一种是检测轮廓的凸缺陷数量握拳时凸缺陷减少。前者实现简单但对距离变化敏感玩家手前后移动也会误触发后者更符合「握拳敲击」的直觉但需要计算凸包和凸缺陷代码量稍大。我一般会推荐面积变化法作为入门因为它只需要在原有轮廓代码上加几行。具体做法是维护一个手部面积的滑动窗口当当前面积超过窗口平均值一定比例时判定为下压。比例阈值取 1.3 到 1.5 之间比较稳。from collections import deque area_window deque(maxlen10) # 最近 10 帧的面积 PRESS_RATIO 1.4 # 超过均值 1.4 倍认为下压 def detect_press(current_area): area_window.append(current_area) if len(area_window) 5: return False avg_area sum(area_window) / len(area_window) if current_area avg_area * PRESS_RATIO: area_window.clear() # 清空避免连续触发 return True return Falsemaxlen10意味着窗口里始终保留最近 10 帧PRESS_RATIO是灵敏度调节旋钮。如果你发现轻轻一动就触发把它调到 1.6 甚至 1.8如果怎么压都不触发降到 1.2。清空窗口那一步很关键否则下压动作会持续好几帧一次挥手打出好几次敲击游戏就没法玩了。3.3 把视觉和游戏接起来的主循环主循环要做的事情是读一帧、提取掌心、平滑、映射到洞索引、检测下压、更新游戏状态、绘制界面。顺序不能乱尤其是下压检测要在映射之后因为你需要知道当前手在哪个洞上方才能判定命中。game WhackAMole() cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break frame cv2.flip(frame, 1) # ... 此处省略肤色分割和轮廓提取沿用 2.2 的代码 ... if contours: hand_contour max(contours, keycv2.contourArea) area cv2.contourArea(hand_contour) if area 3000: x, y, w, h cv2.boundingRect(hand_contour) palm_x, palm_y smooth(x w // 2, y h // 2) # 映射到 0-8 的洞索引 col min(2, max(0, palm_x * 3 // frame.shape[1])) row min(2, max(0, palm_y * 3 // frame.shape[0])) hole row * 3 col if detect_press(area): game.hit(hole) game.update() # ... 此处绘制游戏界面 ... if cv2.waitKey(1) 0xFF 27: break映射那两行用了min和max做钳位防止掌心坐标偶尔超出画面导致索引越界。hole row * 3 col把二维行列转成一维索引和游戏状态机里的 0 到 8 对应。这个主循环跑起来之后你挥动手掌应该能看到红点在画面上移动快速下压时游戏里的地鼠会被敲掉。4. 避坑与排查手势打地鼠最容易翻车的五个地方4.1 摄像头画面延迟大手挥完了游戏才反应现象是手已经移到目标洞上方了游戏里的判定还停留在上一个位置敲击总是慢半拍。原因通常是采集分辨率设得太高比如 1920x1080OpenCV 处理一帧的时间超过 30 毫秒加上显示延迟就明显了。解决办法是把CAP_PROP_FRAME_WIDTH和CAP_PROP_FRAME_HEIGHT降到 640x480如果还慢就降到 320x240。另外检查一下是不是在循环里做了不必要的cv2.cvtColor或cv2.GaussianBlur重复调用能复用的中间结果就复用。4.2 肤色阈值在灯光变化后失效现象是白天调好的阈值晚上开灯之后 mask 里全是噪点或者手部区域残缺。原因是 HSV 里的 H 分量对色温敏感暖光灯下肤色会偏黄H 值整体偏移。解决办法是不要写死阈值在程序启动时加一个校准环节让玩家把手放在画面中央按一个键自动统计当前手部区域的 HSV 均值然后以均值为中心上下各扩 10 作为阈值。这个校准过程只需要三行代码但能省掉大量手动调参的时间。4.3 背景里有肤色物体导致轮廓选错现象是画面里有一个木色桌面或者黄色墙壁max(contours, keycv2.contourArea)选中的是背景而不是手。原因是肤色分割只看了颜色没有看位置和形状。解决办法有两个一是限制感兴趣区域只处理画面中央偏下的部分因为玩家手一般在这个区域活动二是加一个长宽比筛选手部轮廓的长宽比通常在 0.5 到 2 之间太扁或者太长的直接排除。4.4 下压检测误触发没压也敲现象是手在画面里正常移动游戏却不停地判定敲击。原因是面积窗口的均值被某一帧的噪声拉低了导致下一帧正常面积就超过了 1.4 倍均值。解决办法是在面积进入窗口之前先做一次中值滤波或者把PRESS_RATIO调高到 1.6 以上。还有一个隐藏原因是摄像头自动曝光画面亮度突变会导致轮廓面积跳变可以在代码里关掉自动曝光cap.set(cv2.CAP_PROP_AUTO_EXPOSURE, 0.25)不同摄像头这个值不一样需要试。4.5 游戏窗口和摄像头画面不同步现象是摄像头画面里手在左边游戏里判定却在右边。原因是摄像头画面做了水平翻转但映射到游戏坐标时忘了翻转回来或者游戏窗口的宽高比和摄像头不一致导致映射偏移。解决办法是统一坐标系要么在映射前把掌心 x 坐标用frame.shape[1] - palm_x翻回去要么在游戏绘制时也做一次翻转。宽高比的问题用归一化坐标解决先除以画面宽高得到 0 到 1 之间的值再乘以游戏窗口宽高。5. 进阶技巧用凸缺陷数手指数提升交互维度基础版打地鼠只用到了掌心位置和下压动作交互维度比较单一。如果你想让项目更有说服力可以加上手指数识别比如伸出几根手指就代表敲击几次或者用特定手指数切换游戏模式。手指数识别的经典做法是凸包加凸缺陷先求手部轮廓的凸包再找凸包和轮廓之间的凹陷区域凹陷的数量大致对应伸出的手指之间的缝隙数手指数量约等于凸缺陷数加一。def count_fingers(contour): hull cv2.convexHull(contour, returnPointsFalse) if len(hull) 3: return 0 defects cv2.convexityDefects(contour, hull) if defects is None: return 0 count 0 for i in range(defects.shape[0]): s, e, f, d defects[i, 0] # 凹陷深度阈值太浅的不算手指缝 if d / 256.0 20: count 1 return count 1 # 凹陷数加一近似手指数量d / 256.0是因为convexityDefects返回的深度是定点数需要除以 256 转成浮点。阈值 20 是我在 640x480 分辨率下试出来的如果你换了分辨率要按比例调。这个函数返回的手指数量可以直接映射到游戏里的连击倍数伸一根手指是单次敲击伸三根就是三连击这样玩家就有了更多操作空间。验证这个功能是否正常可以单独写一个测试脚本只显示摄像头画面和识别出的手指数不接游戏逻辑。把手放在画面里从握拳到伸出一根、两根、三根看输出数字是否跟得上。如果数字跳变厉害可以在count_fingers外面再加一层多数投票连续三帧结果一致才更新显示。我自己的习惯是每加一个新交互维度都先把它从游戏逻辑里剥出来单独验证确认输入稳定了再接回去。手势识别这个方向玄学的地方在于光照和摄像头差异同一套代码在不同机器上表现可能完全不同所以参数一定要留出可调接口别写死。希望帮到你。本文还有配套的精品资源点击获取