简介手势识别目标检测数据集面向目标检测算法开发者与计算机视觉学习者涵盖fist、no_gesture、like、ok、palm五个常见手势类别共包含2400张图片覆盖日常手势交互中的主要形态。数据已按照训练集、验证集、测试集划分完毕标签同时采用YOLO与VOC两种格式可直接用于YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10等系列算法的训练也可用于Faster RCNN、SSD等框架免去自行采集、清洗和标注的重复劳动。压缩包整体约479.2MB文件统计为2000个其中txt标签文件1999个、yaml类别配置1个对应2400张图片和VOC格式xml标注可配合不同框架使用。已有299人学习下载适合快速搭建手势识别基线方案、对比不同检测模型效果也可作为课程实验、毕业设计或课题研究的基础数据集。文件命名统一目录结构清晰训练集、验证集与测试集划分明确完成数据加载和类别映射后即可开始训练实用性较强。1. 手势识别先过“找手”这一关为什么数据集的坑比模型更大做过手势识别的人都知道第一次在公开数据上把“手势分类”跑通只是麻烦的开始。分类模型有个隐藏假设手已经被裁到画面中央。可现实场景里手会出现在画面边缘、从脸前晃过、逆光或者被另一只手挡住分类器看到这些输入直接罢工。所以现在更通用的做法是把手势识别当成目标检测来做先用检测器回答“手在哪”再交给分类器或关键点模型回答“什么手势”。手势识别数据集这个词在目标检测语境下就不该被理解成“一堆打了标签的手势图片”而是一套带边界框、带类别、能直接喂给 YOLO 这类检测器的训练数据。这篇文章就把这套数据从哪来、怎么转格式、怎么训练讲透重点放在数据整理阶段最容易踩的坑上适合正在做智能交互、机器人视觉和安防项目的工程师也适合刚入手 YOLO、想把手势检测跑通的学生。2. 手势识别数据集从哪来公开数据、自采数据与一套筛选标准2.1 先别急着自己拍三个公开数据集方向我见过太多人一上来就架相机采集拍了两周发现类别分布稀碎最后还得回头找公开数据补量。比较稳妥的顺序是先用公开数据集把模型底座打起来再针对自己的场景做增量采集。常见做法是先从三个方向里选。第一个方向是静态图像数据集比如 HaGRID 这类专门为手势识别和检测构建的大规模 RGB 图像集图像量在数十万张量级类别覆盖“拳头”“手掌”“竖拇指”“比心”这些日常交互手势标注风格接近检测框。这类数据适合做预训练底座类别之间的数量也相对均衡。第二个方向是视频帧数据集像 EgoGesture 这种第一人称视角的以及 Jester 这种第三人称短视频从中抽帧就能当检测数据用。视频数据自带运动模糊、遮挡和瞬间变光训出来的模型明显更抗造代价是很多视频只有整体动作标签没有逐帧检测框需要自己补标一部分。第三个方向是领域特定的手势集比如手语翻译用的视频集、车载舱内手势集这类数据和具体业务强绑定但类别定义经常不标准拿到手要先做一轮清洗。筛选公开数据时我只看四件事类别是否互斥比如“张手”和“手掌”如果同时在类别表里模型会一直在这个边界上晃标注框是否贴手有些数据集的框把整个小臂都包进去了背景是否多样全是单一白墙的数据会让模型把“肤色块”当成手最后是许可协议商用项目尤其要查清楚再下载。2.2 自采数据时要控制的六个变量公开数据解决不了场景差异时自采数据就是必须的。我一般会控制六个变量避免采回来的数据让模型过拟合到某个固定条件。第一个是手在画面中的占比。手部宽度控制在整图宽度的四分之一到三分之一之间占比过大模型学到的是“近景手”一到真实场景画面里的手只有十分之一宽直接漏检占比过小模型学不到指缝和指尖的细节。第二个是拍摄角度。俯拍、平拍、仰拍都要有很多人只在自己桌面俯拍最后模型一遇到平视摄像头就废。第三个是光照室内灯、窗户侧光、逆光都要采一些不要只在一个灯下拍完就收工。第四个是背景复杂度纯色背景要有桌面杂物背景也要有比例大概一比二。第五个是负样本包含人物但完全没有手的画面以及画面里出现手但不确定该归哪类的画面负样本建议占到总量的 10% 到 15%。第六个是标注框的松紧框要贴着手掌轮廓不要把食指和中指之间的空隙包进框里。这几个变量看着琐碎但它们直接决定模型在真实场景里是能用还是翻车。我见过一个项目就是全程单一背景采集训练 mAP 高得吓人现场一部署就抓瞎。2.3 用脚本摸清数据家底统计分布、查坏图、查漏标注不管数据是下载的还是自己采的动手转换格式之前先跑一遍体检脚本。下面这段 Python 脚本能一次摸清三类问题类别分布是否失衡、有没有漏标的 xml、有没有损坏的图片。import os import xml.etree.ElementTree as ET from PIL import Image data_root dataset # 数据集根目录下面按 images/ 和 xmls/ 分开放 xml_dir os.path.join(data_root, xmls) img_dir os.path.join(data_root, images) class_counter {} # 统计每个类别的标注数量 bad_xml [] # 收集漏标或格式错误的 xml broken_img [] # 收集损坏图片 for xml_name in os.listdir(xml_dir): xml_path os.path.join(xml_dir, xml_name) try: tree ET.parse(xml_path) except ET.ParseError: bad_xml.append(xml_name) # xml 文件本身损坏解析直接抛异常 continue root tree.getroot() objs root.findall(object) if len(objs) 0: bad_xml.append(xml_name) # 有 xml 但一个框都没标属于漏标 for obj in objs: cls obj.findtext(name) class_counter[cls] class_counter.get(cls, 0) 1 for img_name in os.listdir(img_dir): img_path os.path.join(img_dir, img_name) try: with Image.open(img_path) as im: im.verify() # 只校验文件头不加载全图速度快 except Exception: broken_img.append(img_name) print(类别分布:, class_counter) print(坏xml/空xml:, bad_xml) print(损坏图片:, broken_img)这个脚本的逻辑分三段先用ET.parse解析所有 VOC 格式的 xml捕获ParseError就能筛出格式损坏的文件然后统计object节点数量为零就说明这张图没有任何标注最后用Image.verify()校验图片完整性它只读文件头比Image.open().load()快得多几千张图几秒就能跑完。要注意的是脚本假设目录结构是images/配xmls/如果你手里的数据是 COCO 格式的 JSON要先把 JSON 解析逻辑换成json.load(annotation_path)再按images和annotations两个数组做关联。2.4 数据量怎么定一张可以抄的估算表数据量没有一个万能数字但可以按场景复杂度估算。我自己常用的标准是下面这张表场景复杂度每类最低张数建议类别数负样本占比室内固定视角、光照稳定300~5005~1010%移动视角、背景杂乱800~12005~1015%多设备、室外或逆光1500 起步5~1020%单类五百张就能把一个手势检测模型拉到能用的程度但前提是背景和姿态足够多样。如果场景是移动机器人视角类别再少也建议每类一千张以上。另外如果你用了 COCO 预训练权重做迁移学习自采数据量可以适当减半预训练模型已经见过大量“手”的通用特征你的数据只需要帮它适应场景偏差。3. 处理数据集用于 YOLO 训练VOC 转 YOLO 的转换脚本与切分参数3.1 目标检测常用标注工具选型LabelImg、Labelme 与自动预标注标注工具的选择直接决定后续格式转换的量。目标检测常用标注工具里我实际用下来就这么几个LabelImg 只画矩形框导出 VOC 格式的 XML是纯检测任务里最快的选择Labelme 导出 JSON支持多边形和关键点如果后面还想做手势关键点检测用它更划算X-AnyLabeling 支持加载现有模型做自动预标注几千张图先用一个粗模型跑一遍人工只修框能省下一大半时间Roboflow 在线标注的好处是格式全家桶导出 YOLO、COCO、VOC 都是一键但数据要传到外部服务企业项目要自己掂量。如果只做目标检测我的建议是 LabelImg 起步别在标注工具上纠结太久。标注规范比工具重要得多每个类别一张示例图贴在标注小组的共享文档里框的边界画到哪里是只画手掌还是包含手腕必须提前定死。这个规范不统一后面训练时 loss 会一直波动你根本分不清是模型问题还是标注问题。3.2 VOC 转 YOLO 的转换脚本坐标归一化与 cls id 映射标注完拿到的是 VOC 格式的 XML而 YOLO 训练只认每张图对应的 txt 文件。下面这个脚本把 XML 里bndbox的绝对坐标转成 YOLO 需要的相对坐标格式。import xml.etree.ElementTree as ET import os # 类别到 id 的映射顺序直接决定模型输出索引训练开始后不要再改 CLASS_MAP {hand: 0, thumbs_up: 1, thumbs_down: 2, palm: 3, fist: 4, victory: 5} def convert_xml_to_txt(xml_path, out_dir, class_map): tree ET.parse(xml_path) root tree.getroot() img_w int(root.findtext(size/width)) img_h int(root.findtext(size/height)) pic_name os.path.splitext(os.path.basename(xml_path))[0] out_txt os.path.join(out_dir, pic_name .txt) lines [] for obj in root.findall(object): cls obj.findtext(name) if cls not in class_map: continue # 跳过不在映射表里的类别避免训练时类别越界 box obj.find(bndbox) xmin float(box.findtext(xmin)) ymin float(box.findtext(ymin)) xmax float(box.findtext(xmax)) ymax float(box.findtext(ymax)) # 边界裁剪标注工具偶尔会产生略微出界的框不处理会导致 loss 异常 xmin max(0, min(xmin, img_w)) xmax max(0, min(xmax, img_w)) ymin max(0, min(ymin, img_h)) ymax max(0, min(ymax, img_h)) w xmax - xmin h ymax - ymin if w 0 or h 0: continue # 裁剪后宽或高为零直接丢掉这个框 cx (xmin xmax) / 2 / img_w cy (ymin ymax) / 2 / img_h nw w / img_w nh h / img_h lines.append(f{class_map[cls]} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}) with open(out_txt, w) as f: f.write(\n.join(lines)) if __name__ __main__: os.makedirs(labels, exist_okTrue) for name in os.listdir(xmls): if name.endswith(.xml): convert_xml_to_txt(os.path.join(xmls, name), labels, CLASS_MAP)脚本的核心是CLASS_MAP和坐标归一化。CLASS_MAP决定每类手势的数字编号这个顺序一旦定下来训练完之后就不要再动否则旧权重全部失效。归一化就是把像素坐标除以图像宽高让所有数值落在 0 到 1 之间YOLO 在训练时会按这个比例还原到特征图尺度。这里特别解释一下边界裁剪标注框偶尔会超出图像边缘几个像素直接拿去训练会让模型学习到不存在的目标边界表现为 loss 曲线上出现周期性尖峰。3.3 目录结构与 data.yaml让 YOLO 一眼找到图像和标签转换完的 txt 要和图片对齐目录结构建议直接按 YOLO 的原生习惯来。下面这种目录比 COCO 的 JSON 结构直观太多——COCO 把所有框都堆在annotations里每次增删样本都要动 JSON而 YOLO 的 txt 方案是图片和标签一一对应增删样本就是移动文件管理成本最低。dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml对应的data.yaml长这样path: /home/yourname/hand_dataset # 数据集根目录建议写绝对路径 train: images/train val: images/val nc: 6 names: 0: hand 1: thumbs_up 2: thumbs_down 3: palm 4: fist 5: victorypath写绝对路径可以避免在别的机器上训练时路径错乱train和val是相对path的子目录nc和names的长度必须一致否则启动训练时校验直接报错。图片和 txt 的同名对应关系是 YOLO 的硬性要求比如0001.jpg必须配0001.txt标签文件里哪怕一个框都没有也要放一个空 txt否则训练时会报“label not found”。3.4 训练集/验证集切分按文件随机切还是按视频切如果数据来自视频抽帧这一步最容易翻车的是随手用train_test_split整体随机切。视频里相邻几帧几乎是同一画面同一段画面同时进训练和验证验证指标会虚高一截现场部署马上现原形。我一般会先按视频片段分组再把整个片段切到同一边。下面这段脚本按文件名前缀分组每个片段内抽 20% 做验证。import os import random from collections import defaultdict random.seed(42) # 固定种子保证每次切分结果可复现 img_dir frames # 所有抽帧图片命名为 clip001_0001.jpg 这种 val_ratio 0.2 clips defaultdict(list) for name in os.listdir(img_dir): clip_id name.split(_)[0] # 取 clip001 作为视频片段 id clips[clip_id].append(name) train_names, val_names [], [] for clip_id, names in clips.items(): names.sort() # 保证每个片段内部顺序固定 k max(1, int(len(names) * val_ratio)) val_names.extend(names[:k]) train_names.extend(names[k:])关键点有两个一是用clip_id做分组同一段视频的帧不会同时出现在训练集和验证集二是random.seed(42)固定随机数种子重跑脚本得到完全一样的划分结果方便复现实验。参数val_ratio0.2是常规值数据总量小就调到 0.1多设备采集的大数据可以压到 0.15。实际移动文件时记得用shutil.move而且要在划分之前确认目标目录已经建好。4. 用 YOLOv8 训练自己的手势识别数据集命令、配置与六个必调参数4.1 环境准备与先跑一张图ultralytics 的 YOLOv8 是目前把“处理数据集用于 yolov8 训练”这件事做得最省心的库从数据读取到训练到导出模型都封装好了。先装环境然后一行命令验证库和 CUDA 是否可用。pip install ultralytics python -c import ultralytics, torch; print(ultralytics.__version__, torch.cuda.is_available())这段命令分开看pip install ultralytics会带入 PyTorch 和 OpenCV 等依赖机器上如果已有 PyTorch建议先装好 GPU 版再装 ultralytics避免 pip 自动装了 CPU 版第二行里torch.cuda.is_available()输出 True 就用 GPU 训练输出 False 也没关系小数据量 CPU 也能跑但每轮训练会慢一个数量级。环境就绪后先别急着训练拿一张样本图跑一次推理确认权重能加载、路径没写错。yolo predict modelyolov8s.pt sourcedataset/images/train/0001.jpgyolov8s.pt是 COCO 预训练权重第一次跑通说明环境和图片路径都正常。如果这一步报图片路径找不到不用怀疑模型先去检查data.yaml里的path是否指向了真实存在的目录。4.2 data.yaml 与模型选型从 n 到 m 的取舍训练之前先决定用哪个尺寸的模型。YOLOv8 有 n、s、m、l、x 几个档数字越大网络越深越宽精度上限更高但推理速度更慢。手势检测的特点是目标小、实时性要求高我的经验是先用 n 跑通整个流程再换 s 提精度只有显存充足且对精度有硬性要求时才上 m。n 档参数最少适合摄像头端侧部署和实时预览s 档是精度和速度最平衡的选择大多数交互项目可以直接作为终点m 档在 12GB 显存下训练速度明显变慢但对手势这种带有大量小细节的目标确实更友好。选型不要一上来就贪大数据集本身只有几千张堆模型参数只会加速过拟合。4.3 训练命令与六个必调参数数据准备好了模型选好了训练命令就是一行。下面是实际落地时我用得最顺的一组参数。yolo detect train \ datahand_dataset/data.yaml \ modelyolov8s.pt \ epochs150 \ imgsz640 \ batch16 \ workers4 \ patience30 \ device0 \ seed42参数逐个解释data指向刚才写好的 yamlmodelyolov8s.pt表示用 COCO 预训练权重做迁移学习的初始参数而不是随机初始化这一步能省掉大量训练时间epochs150是中等数据集的稳妥值数据量少可以降到 80手语这类多类别的数据再往上加到 300imgsz640是精度和速度的平衡点如果手部小目标多后面可以试 768batch16在单张 12GB 显存的显卡上比较稳显存不够就降到 8workers4是数据加载线程数patience30表示验证指标连续 30 轮没有改善就自动早停。以下六个参数是每次训练前必须过一遍的参数我的建议值什么时候调整epochs150数据量大且类别多时加到 300单类起步 50 就能看效果imgsz640手部目标明显小于全图时用 768 或 960训练时间相应变长batch16显存不够降到 8显存充足可以上 32workers4数据读取成为瓶颈就升到 8Windows 下超过 4 偶尔卡死patience30想更快看到结果就设 20不想早停就设 0seed42固定随机种子复现实验和定位问题都靠它这里多说一句imgsz。手势是小目标640 或 768 的差别在验证集上可能只差一两个点 mAP但换到真实场景里往往就是“能检测”和“常漏检”的差别。数据里手部宽度占全图比例偏小时优先把imgsz调大而不是去加大模型。4.4 训练产物怎么看results.png、混淆矩阵和 PR 曲线训练结束后看runs/detect/train目录。best.pt是验证集上表现最好的权重last.pt是最后一轮权重部署用best.pt准没错。results.png里最关键的是train/box_loss和val/box_loss两条曲线两者同步下降说明训练正常如果 val loss 尾端明显反弹就是过拟合信号回头加大数据增强或者提前早停。confusion_matrix.png能直接看出哪两类手势互相认错比如 fist 和 palm 常混在一起说明这两类在标注规范上边界不够清晰。PR 曲线关注mAP0.5手势检测只要这个值能到 85 以上结合足够好的框贴合度项目基本可落地。这时候如果发现某个类别单独的表现差一大截回到第 2 章脚本里查这个类别的样本数大概率是数据量不足。4.5 实时验证摄像头或视频脚本训练完别急着写部署代码先用摄像头随手验证一下。下面这段脚本读默认摄像头按帧推理并实时打印每帧的处理耗时。import cv2 import time from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) cap cv2.VideoCapture(0) # 0 是默认摄像头换成视频文件路径则读视频 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720) while cap.isOpened(): ret, frame cap.read() if not ret: break start time.time() results model.predict(frame, imgsz640, conf0.35, verboseFalse) fps 1.0 / (time.time() - start) annotated results[0].plot() cv2.putText(annotated, fFPS: {fps:.1f}, (20, 40), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 255, 0), 2) cv2.imshow(hand gesture, annotated) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这段脚本里conf0.35是置信度阈值低于这个值的框会被过滤掉画面里手部重叠多就上调到 0.5verboseFalse关闭推理日志避免终端刷屏影响帧率。按q退出预览窗口。如果 FPS 只有个位数先换yolov8n.pt权重试试再不行就把imgsz降到 480这一步通常能拉回至少一倍速度。5. 避坑手势目标检测最容易翻车的 5 个现场5.1 现象模型把手势识别成了人脸训练时 mAP 挺高一开摄像头模型追着人脸画框反而漏掉真正伸出来的手。原因训练集里全是“干净背景 手”几乎没有带人脸的画面模型学到的是肤色块加椭圆形状的强响应脸恰好同时满足这两个特征。解决在训练集里加一批含有人脸但不需要标注的负样本比如人物聊天画面、人脸特写让检测器明白“肤色椭圆不一定是目标”。负样本建议按总图像量的 10% 到 15% 掺进去不用任何标注直接放在 images 目录里并保持 txt 文件为空即可。5.2 现象loss 震荡不收敛val 指标乱跳训练很多轮train loss 降不下去val mAP 上下乱蹦。原因标注框风格分裂。团队里有人把框画到手腕有人只画手掌模型对同一个手势学出两种目标尺寸box loss 一直在两种模式之间折中。解决标注规范里必须写清楚“框只包手掌不包手腕”然后跑一个统计脚本打印每个类别的平均框宽高比把明显呈长条状的框列出来人工复核。我见过最快的修复方式是随机抽 100 张图把所有框画出来肉眼扫一遍十分钟就能定位问题。5.3 现象验证集 mAP 有 0.9实测小目标全部漏检数据集里手部占整图很大训练时 resize 到 640 后手指细节依然清晰但真实场景里手部只占画面十分之一特征在特征图上只剩几个像素。原因训练数据的目标尺度分布和真实场景严重不一致。解决把imgsz从 640 提到 768 或 960同时在下一次采集时有意识地加入手部占比小的图让模型见过“远处的手”。如果还想加训练期多尺度ultralytics 默认带scale增强数据里小目标多的时候尽量别关它。5.4 现象类别不平衡模型只输出样本最多的手势十几类手势里某类样本有几千张某类只有几十张最后模型对稀有类别几乎不输出。原因检测器学到的先验是“不常出现在数据里的目标就是不存在”。解决先把第 2.3 节的统计脚本跑一遍把少数类通过水平翻转、旋转和 HSV 色域增强补到多数类样本量的一半以上。注意别用简单的复制粘贴硬凑会让模型在增强后的重复图上过拟合。实在补不够就合并语义相近的类别比如把“ok”和“捏合”合并成“fine”比强行保留一个稀有类更实用。5.5 现象训练到一半进程被杀或者 DataLoader 直接卡住训练跑了几十分钟进程突然被系统杀掉或者 starts 界面卡住一动不动日志停在数据加载阶段。原因batch超出显存导致 CUDA OOM或workers开太多和 Windows 的 multiprocessing 冲突。解决先把batch降到 8这是最直接的止血办法再把workers设为 2并尝试在代码里设if __name__ __main__保护训练入口很多 Windows 下的卡死都出在多进程入口上。如果确定是显存问题还可以顺手把imgsz降到 480 临时跑通再逐步恢复。5.6 现象早停后的 best.pt 在部分类别上依然不理想patience 机制在验证指标连续多轮不改善时保存权重并停止但“整体指标不改善”和“个别类别变好”是两回事。原因早停只看总体 mAP某个稀有类可能正在缓慢变好却被整体停滞连带停掉。解决训练时把patience设大一点或者干脆设 0让它跑满计划轮数再用 best 和 last 分别在验证集上对比类别级 AP挑表现更全面的那一个。6. 收口用关键点把“框住的手”变成“看懂的手势”检测框解决了“手在哪”但很多应用真正需要的是“这个手势是什么意思”。框只能告诉你手的范围分不清“六”和“OK”这种指尖细节。所以更稳的产品方案是两级串联第一级用 YOLO 检测手部把框裁出来第二级把裁剪后的手部图像送给关键点模型。MediaPipe 手势识别就是这条路线里最常见的下游方案它对手部 21 个关键点做回归再按关键点之间的角度推断手势语义对“伸出几根手指”这类问题非常稳。实操时我一般这样做验证录一段包含各类手势的视频逐帧跑完整流程输出每帧的检测框、关键点、手势类别和置信度和人工标注做一次时间戳对齐统计准确率。这个验证脚本不要只在测试集上跑测试集来自同一批采集条件真实性有限一定要拿现场录的、包含侧光和遮挡的视频去测。调参上有一个值得记住的顺序先把检测框的conf调准让手部框在 90% 以上的帧里都稳定存在再去看关键点模型的准确率。检测框没有后续全是空中楼阁。最后说点血泪经验数据集整理时间永远比训练时间长标注规范没统一之前不要急着上大模型一旦中途发现标注风格分裂立刻停下来重标硬着头皮训下去的模型后期几乎全部推倒重来。这个项目方向最值得投入的部分恰恰是最不起眼的数据整理环节希望帮到你。本文还有配套的精品资源点击获取