1. 先给手部数据画一张地图1.1 按输入模态区分RGB、深度、视频和合成数据说到手部数据我自己最大的感受就是不是没有数据集而是很多人一开始就找错了方向。手部相关的开源数据集单按输入模态就能分成四大类单目RGB图像、深度图、视频序列、合成图像每一类的采集方式、标注难度和适用任务完全不同。早些年的手部姿态估计集中在深度图上代表数据集就是NYU、ICVL和MSRA因为深度图天然避开了复杂背景和光照干扰手部轮廓非常清晰回归3D关键点相对容易。后来随着单目RGB方法兴起FreiHAND、GANerated Hands这类数据集开始成为主流毕竟真实场景里不太可能人手一台深度相机。视频类数据集主要服务手势分类和手语识别比如20BN-Jester、NVGesture它们强调的是时序信息单帧看起来平平无奇但前后帧连起来才能表达一个完整的手势。合成数据则是近几年绕不开的存在像ObMan、GANerated Hands用渲染和生成模型直接产生带精确3D标注的图像专门用来补充真实数据的不足。所以在选数据集之前先想清楚你的摄像头是什么、任务是否需要深度信息这条路理清楚了后面才会少做无用功。1.2 按目标任务区分检测、姿态、手势、分割和交互除了模态按目标任务来分更贴近实际开发。我做了个速查表先看任务再对号入座找数据目标方向首选数据集说明手部检测2D框Oxford Hand、EgoHands前者是常规场景图片后者是第一人称视角3D手部姿态估计NYU、ICVL、MSRA、FreiHAND深度图选前三个RGB选FreiHAND手物交互姿态HO-3D、DexYCB、ARCTIC同时带手和物体的姿态标注双手交互InterHand2.6M大规模双手互相遮挡场景动态手势分类NVGesture、20BN-Jester视频级标注含时序手语识别LSA64、PHOENIX-2014、MS-ASL孤立词与连续句子都有手部网格重建FreiHAND、ObMan附带MANO参数或手部网格一个很容易闹乌龙的地方是有人想在FreiHAND里找手部2D框或者拿手势分类的数据去训姿态模型结果模型指标怎么都上不去。数据集的标注格式是和任务绑定的先确认自己要解决的是检测、姿态还是分类不然再好的数据也发挥不了作用。1.3 为什么手部数据比人脸数据难找这么多人脸识别的数据集一抓一大把手部数据却一直处于“相对贫瘠”的状态这背后有几个现实原因。手部关键点的标注成本极高一张图里手指之间互相遮挡、边缘模糊标注员要判断哪个关节在哪个位置效率比人脸框低好几个数量级而且标注一致性很难保证。手部在整张图里通常只占很小一块区域如果图像分辨率不够关键点根本看不清这也是很多手部数据集只能依赖高分辨率设备、甚至用多传感器采集的原因。手部姿态的复杂度也远高于人脸21个关键点可以组合出数不清的形态光是指尖的可达空间就足够复杂。早期愿意投精力做手部数据的研究组并不多很多数据集还依赖深度传感器或后期多视角重建门槛天然摆在那里。理解了这一层你就明白为什么有些数据集看起来“不多”但论文里反复在用。真正高质量的手部数据它的采集和标注成本决定了它不可能像ImageNet那样铺天盖地所以把现有的好数据集用透往往比一味找新数据更实际。2. 手部姿态估计方向这些数据集是必收的2.1 深度图老三样NYU、ICVL、MSRA做手部姿态估计绕不开这三个名字NYU、ICVL、MSRA。它们都是深度图数据集在论文里被引用了无数次也是各大算法比较的benchmark。NYU Hand Pose Dataset出自纽约大学用Kinect v1采集常见可下载版本是裁剪后的单手深度图训练集3082帧、测试集825帧每帧标注21个3D关键点。数据量不大但经典就在于大家都在用、比对的baseline多模型跑分容易横向比较。文件格式是mat有人第一次读的时候会踩坑后面我会专门说。ICVL Hand Posture Dataset来自帝国理工学院相关研究组深度图数量大约不到两万张关键点常见口径是16个。因为手型变化比较少、背景也偏单一非常适合验证网络结构和快速调参。用我自己的话说它就是“练手神器”跑个实验几分钟就能看出模型基本能力。MSRA Hand Dataset来自微软亚洲研究院用的是Intel Creative Interactive Gesture Camera手型覆盖广、姿态范围大共有9位受试者、17个手势序列关键点也是21个。这个数据集的优势在于泛化性评测研究者通常会按受试者做交叉验证模型的跨人手能力一测便知。我把三者放在一起对比过实际用下来的体会是数据集规模关键点适用场景NYU训练3082帧测试825帧21快速跑通方案、对比经典方法ICVL约1.7万帧16左右算法验证、调试MSRA数十万帧级别21跨人泛化、预训练深度数据集的共同问题是其中很多帧使用了原始裁剪和来自不同硬件采集如果你要把它们混在一起训练建议先统一深度图像的尺寸和距离单位并对关键点坐标做归一化不然模型很容易被浅层的尺度差异带偏。2.2 大规模深度数据BigHand2.2M如果觉得NYU、ICVL太小BigHand2.2M就是那个“量大管饱”的选择。这个数据集来自帝国理工学院等机构包含约220万张深度图覆盖12位受试者的不同手型21个关键点都有3D坐标标注。它的采集方式和老数据集不同用了多传感器、多视角的同步方案再通过后期重建得到高精度的3D关节位置所以标注质量比较稳。BigHand2.2M的第一个用途是预训练。我自己做手势识别项目时会先在BigHand这么大的数据上把模型骨架训一个底子然后再用任务相关的数据集微调。尤其在手型多样性这个问题上小数据集往往只能覆盖固定的几种手型大规模数据能明显提升跨人效果。第二个用途是测试算法在大数据上的收敛性。有些模型在小数据集上表现不错一到大规模场景就崩这在手部姿态估计里很常见。用BigHand2.2M做压力测试能提前暴露容量或收敛问题。缺点是文件很大下载和加载都很占资源实际使用中建议抽帧不用每帧都上。我通常隔几帧取一张能保留足够的姿态多样性训练速度提升也明显。2.3 单目RGB的标杆FreiHAND深度图数据集虽然是经典但真实产品大多数是普通RGB摄像头所以单目RGB手部数据集的价值越来越大。FreiHAND是德国弗莱堡大学发布的目前做到单目RGB 3D手部姿态估计和手部网格恢复基本绕不开它。训练集包含约13万张RGB图像测试集约1300张标注了21个3D关键点、MANO模型参数和相机内外参。数据里不少场景是手拿着杯子、工具等物体画面更接近真实交互而不是单纯悬空的手。单看这一点它比早期深度图数据集更适合做实际产品的前置训练。FreiHAND也有几个很典型的坑。第一它的下载脚本经常因为网络问题中途失败建议在官方页面用压缩包方式下载断点续传会方便很多。第二官方评估需要把预测结果打包成zip提交到评测服务器本地没有测试集的真值所以一定要摸清提交格式。第三数据里没有直接给手部2D框训练前需要自己加一个手部检测环节我一般先用YOLO类模型裁好手再送进姿态模型。这个细节不处理评测分数会被输入质量直接拖垮。2.4 手物交互与双手交互HO-3D、InterHand2.6M、DexYCB当任务从“单手姿态”变成“手和物体同时估计”数据集的复杂度会上一个台阶。HO-3D是波恩大学发布的手物交互数据集包含几十个视频序列标注了3D手部关键点和物体的6D位姿标注精度较高。做手物遮挡、接触建模的时候HO-3D几乎是我的首选。需要注意它有几个版本不同版本在序列数量和标注格式上略有差异下载前先确认好和论文里对应的是哪个版本。InterHand2.6M来自韩国KAIST是双手交互的大规模数据集总帧数超过260万标注了单人和双人交互场景下的3D关键点。双手最大的难点是相互遮挡两只手靠在一起时关键点很容易错位InterHand2.6M就是为这个场景设计的。它体量很大训练起来吃显存、吃时间我建议先抽一部分数据试跑确认模型稳定后再全量上。DexYCB则更偏机器人抓取和视觉抓取方向由NVIDIA、加州大学伯克利分校等机构联合发布。它包含约1000个抓取序列、数十万帧多视角同步视频涉及100个YCB物体和10位受试者同时提供手部姿态、物体姿态和相机标定。如果你的任务和“机器人模仿人手抓取”相关这个数据集非常合适。3. 手势识别、手语与手部检测的数据集盘点3.1 动态手势NVGesture和20BN-Jester手势识别和姿态估计是两个方向前者关心“你在做什么手势”后者关心“手部关节在哪”。做动态手势识别视频时序数据是核心NVGesture和20BN-Jester是代表性数据集。NVGesture是NVIDIA发布的动态手势数据集包含1532个视频序列、25类手势里面有人、车交互等场景提供RGB、深度、红外多模态数据。当初我用它做多模态融合实验最大的感受是它有明确的“命令式”手势定义比如挥手、画圈用于智能座舱人机交互比较契合。缺点是序列数量有限单靠它训深层视频模型容易过拟合一般需要做帧采样和强数据增强。20BN-Jester是TwentyBN发布的“隔空操作”手势数据集包含约14.8万个短视频、27个类别类别包括向左滑、向右滑、旋转、缩放这些触屏手势。它的数据量在同类数据集里算是很大的视频都比较短比较适合作为视频手势理解的预训练数据。很多模型在Jester上先预训练再迁移到业务数据效果确实比随机初始化好这一点我实测过。做视频分类的新手可以从Jester开始因为它类别定义清晰、社区资料也多。3.2 手语识别LSA64、PHOENIX-2014和MS-ASL手语识别在工业界和学术界都是很有价值的方向但它并不等于普通手势分类手语有自己的语法、连续性和区域性差异。常见的开源数据集主要有三个。LSA64是阿根廷手语数据集包含64类手语词汇10位受试者每人每词录制5次共3200个视频样本。它规模小、结构干净、类别数适中是入门手语识别的绝佳选择尤其是刚接触手语数据处理的同学拿LSA64练手不会浪费太多时间。RWTH-PHOENIX-Weather 2014是德国亚琛工业大学发布的连续手语数据集训练集约有6800个句子样本词汇量超过1000个可直接用于连续手语识别和手语翻译任务。它的特点是样本是完整“句子”不是孤立单词对模型的时间建模要求更高也更有现实意义。MS-ASL是微软发布的大规模美国手语数据集包含1000个类别、约2.5万个视频片段词汇覆盖面广适合做大规模视频模型的训练验证。不过类别不平衡、部分类样本较少的问题比较明显需要做类别重采样或者数据增强。我把三个数据集的定位说直白一点LSA64适合起步和快速迭代PHOENIX-2014适合做连续序列建模的基准MS-ASL适合数据饥渴的深层模型。做手语识别前还要明确一点不同国家的自然手语差异很大数据集的“语言”性质要先搞清楚跨数据集迁移并没有想象中那么容易。3.3 手部检测与分割Oxford、EgoHands和现实替代方案很多人以为手部数据集都该像COCO那样大而全实际在手部检测这个细分领域数据集并不多Oxford Hand和EgoHands是两个经典选择。Oxford Hand Dataset来自牛津大学视觉几何组包含约13050张自然场景图片标注的是手部目标框。它覆盖不同肤色、不同光照、不同遮挡程度主要用于通用场景下的手部检测评估。别指望它有多“新”但这个数据集在很多早期手部检测论文里是主要评测对象。EgoHands是第一人称视角手部数据集重点在于智能眼镜、可穿戴设备等第一人称交互场景。它的来源是受试者佩戴摄像头录制的日常活动视频包含约4800帧图像标注了超过1.5万个手部框。做AR手势操作、穿戴式交互时EgoHands比较有参考价值因为它更符合“镜头和手同处一个视野”的物理关系。至于手部分割说实话目前还没有一个像COCO之于物体分割那样的大规模手部分割数据集。如果真的要做像素级分割我建议走两条路一是利用FreiHAND这类带有MANO网格的数据把网格投影成分割mask作为监督二是借助SAM等通用分割模型的辅助标注能力自己在业务场景上生成伪标签再人工修正。比起指望某个现成的手部分割数据集这种半自动流程在大多数产品落地时更可行。4. 数据集落地使用中的坑一次性说清4.1 关键点编号和骨架拓扑先对齐再说这是我在多个数据集混合训练时踩过最深的坑不同数据集虽然都标21个点但关键点的排列顺序和定义根本不一样。NYU的21点编号、MSRA的21点编号、FreiHAND的21点编号关节索引并不一致有的从大拇指开始有的从手腕开始有的把指尖当作独立关键点。如果你把两个数据集的标注直接拼在一起而不做关键点重排模型训练时同一个索引可能一会儿是食指关节一会儿是拇指关节损失函数永远在打架。我的习惯是建立一套统一的手部拓扑顺序然后写一个重排映射表把所有数据集都转成这一套顺序。代码里一定要可视化校验把重排后的关键点按序号画到深度图或RGB图上肉眼看一遍关节顺序是否正确比单纯看loss有用得多。还有一个容易忽略的点是单一数据集中不同关节名的歧义。比如“wrist”有的数据集用第0个点表示有的用第20个点这种细节在写代码时最容易出错建议每个数据集都画一遍关键点序号图存成固定文件方便排查。4.2 文件格式与读取问题手部数据集的存储格式可以说是五花八门最常见的几种坑我一次说清楚。NYU是mat格式很多人一上来就用scipy读结果报错或者读到维度对不上。不同版本的mat文件可能需要不同方式处理如果文件版本比较新可能要用h5py来读。读取之后joints数组的维度到底是(3, 21)还是(21, 3)不同发布版本也可能不一样写通用代码时要先做一次shape判断import numpy as np import scipy.io as sio data sio.loadmat(000001.mat) depth data[depth] joints data[joints] # 如果维度是 (3, N)需要转成 (N, 3) if joints.shape[0] 3: joints joints.TMSRA数据集里有很多纯文本和二进制混合的文件关键点字段的分隔符号在不同子集里可能不一致读取时不要写死分隔符先用一个样本看一下列数。FreiHAND的数据组织相对规范提供了Python接口但它依赖于特定版本依赖库装的时候尽量和官方要求保持一致否则MANO参数和相机矩阵很容易对不上。我的建议是每个数据集都写一个独立的加载模块专门负责读取、关键点重排和归一化在这个模块里处理个例问题。多个数据集混合训练时只要有这个统一的入口后续换数据、加数据都轻松很多。4.3 数据增强、训练划分和评估指标手部数据增强有几个常用操作深度图通常做随机旋转、平移、缩放以及水平翻转水平翻转时关键点左、右手的标签要对换。RGB图则常用颜色抖动、随机裁剪、旋转和遮挡增强。对视频类手势数据帧采样策略很关键固定采样帧数往往不如随机采样好我试过随机帧间隔后模型对动作快慢的鲁棒性有明显提升。训练集划分方面MSRA按受试者划分是更严谨的做法如果随机划分同一个人的不同序列可能出现在训练集和测试集指标虚高很严重。NYU原始数据里训练和测试本身是分开的直接用就好。FreiHAND的测试集不存在本地必须以官方提交的方式评估没有“自己划分测试集”的空间。评估指标也要看任务来选手部姿态估计最常用的是PCK正确关键点比例、AUC和平均端点误差EPE手势分类用准确率手物交互则要看物体位姿误差和手部关键点误差的联合表现。很多人只看一个指标容易得出片面的结论我习惯至少同时看PCK曲线和平均误差PCK曲线能反映不同阈值下的性能稳定性。4.4 许可协议、公开范围与引用规范数据集的许可协议必须认真对待。几乎每个手部数据集都明确区分了学术用途和商业用途很多只允许科研使用商用需要单独申请授权。我在项目早期就吃过亏以为开源数据集都能商用结果快上线时才发现许可限制只能临时换方案。在公开范围上部分数据集要求填写机构邮箱甚至要签署使用协议比如一些采集自真实志愿者的数据。这些流程看着繁琐但其实是保护数据当事人的隐私认真填就好。还有数据集里的图像可能包含人脸、环境等额外信息做开源发布时尽量不要直接展示原始图像最好做脱敏或裁剪。学术论文中使用了数据集必须按官方要求引用。这个细节审稿人都会查引用格式在数据集官网上一般都有模板别偷懒直接复制正确的BibTeX比事后补更省心。5. 数据不够的时候我建议这么补5.1 合成数据GANerated Hands、ObMan怎么用真实手部数据不够时合成数据是非常有效的突破口。GANerated Hands和ObMan是两条值得走的路。GANerated Hands是用生成模型合成的真实感手部图像同时带有深度图和3D关键点标注适合扩充RGB手部姿态估计的训练集。它的特点是与真实图非常接近我用它做数据增强时模型在真实测试集上的指标没有下降反而因为手型多样性增加跨场景表现更稳了。不过合成数据毕竟不是真实采集不能完全替代真实数据最好是真实数据和合成数据一起混合训练。ObMan则是用MANO模型生成手抓物体过程中的手部网格可以提供像素级准确的网格标注适合训手部网格恢复和手物交互模型。它生成的抓取姿态丰富度很高对接触建模非常有用。用法上我建议先在大规模合成数据上预训练再用小规模真实数据微调这是手部任务里比较成熟的路线。合成数据最大的价值不是“假”而是标注精度极高训练成本低配合真实数据构成“预训练加微调”的组合是解决小样本问题最稳健的方法。5.2 自建小规模标注集半自动流程可以这么做如果业务场景非常特殊公开数据集覆盖不了自建一个小规模标注集是最终解法。我在自己做手势项目时走过一遍半自动标注流程步骤可以复现。第一步先用公开数据集训练一个基础模型哪怕效果一般也够用来预测一批伪标签。第二步用SAM或者现有人体/手部解析模型自动生成手部区域mask把预测的伪标签进一步约束到手部范围内减少背景干扰。第三步把自动标注的结果导出到CVAT或labelme里人工只修正那些模型不确定的样本或者极端遮挡样本这样标注量可以压缩到全人工的很小一部分。采样策略也很重要不要随机抽视频帧标注而要有针对性地抽那些模型置信度低、姿态变化大的帧。这样同样的标注成本对模型性能的提升会更明显。自建数据集的关键不是量大而是覆盖到公开数据集中缺失的“你的业务姿态”。最后分享一个我个人的体会手部数据的使用和整理本质上是在平衡数据规模、标注质量和任务需求三者关系。不要一上来就追求“最大最全”先把一个主流数据集跑通把关键点的语义、格式、评估逻辑弄明白再根据业务场景去补数据这样才是效率最高的路径。希望这份多年积累的清单能让你少走几步弯路。