干这行做人体姿态估计最常被问到的问题不是哪个模型最准而是我到底该用哪个。然后给对方甩一张 COCO 榜单结果人家根本下不了手。因为榜单上的模型和真正能跑进你业务里的模型往往不是一回事。我过去几年在动作识别、健身计数、体态分析这些项目里反复折腾过 OpenPose、HRNet、MediaPipe 这些模型踩了不少坑也摸清楚了它们各自的脾气。这篇文章不打算堆榜单数据而是把这 9 个真正高频出现的模型按技术路线、适用场景、部署成本拆开讲清楚。你不需要挨个试看完基本就知道哪个该进你的技术选型表。1. 选模型之前先把姿态估计的技术底牌看清很多人一上来就纠结模型名字忽略了姿态估计模型背后其实是两条完全不同的技术路线。这两条路线的差异直接决定了模型的精度上限、运行速度、甚至写代码的复杂度。不看这个选型就是在碰运气。1.1 自顶向下与自底向上多人姿态估计两条路线先解释两个术语。自顶向下Top-Down的思路是先用目标检测器把人框出来再对每个人单独做关键点检测。相当于你先找到现场有几个人然后一个个点名让他们站好拍证件照。HRNet、AlphaPose、ViTPose都是这个路子。优点很简单单人的姿态估计精度可以做得非常高因为模型只在一个人身上工作不需要考虑人与人之间的干扰。缺点是整个过程被拆成了两步检测器漏框姿态就跟着丢人一多计算时间也会往上翻。自底向上Bottom-Up的思路反过来先把图像里所有关键点一次性都检测出来再通过某种算法把这些点组装成不同的人。相当于我不关心谁是谁先把所有眼睛、手肘、膝盖都找出来再用连线规则把它们拼回每个人。OpenPose 就是这条路线最出名的代表。它的优点是速度和人数的关系不大适合人群密集的场景缺点也很明显当两个人靠得很近或者互相遮挡时点与点之间的配对很容易出错。我刚入行的时候以为精度差距只是模型结构造成的后来发现根本不是而是这两条技术路线的天花板不同。如果你的场景是健身房单人、瑜伽体态Top-Down 几乎是稳赢如果你要做商场人流分析、多人互动行为识别Bottom-Up 的稳定性反而更好。选型先选路线再选具体模型这个顺序不能反。1.2 热力图回归与坐标回归模型在输出什么除了检测路线还有一个隐藏的技术分叉模型输出关键点的方式。这个细节决定了模型训练难度、精度表示方式也决定了部分模型为什么天生适合移动端。热力图回归Heatmap Regression是主流做法。模型输出一张张概率图图上某个位置值越高说明关键点越可能出现在那里。比如输入图片大小是 256x256输出就是 64x64 的热力图最后通过 argmax 找到峰值点坐标。由于热力图天生保留了空间信息配合高斯标签训练精度通常更高尤其是对亚像素级别的微小位移更敏感。HRNet 的精度优势有很大一部分就来自这里。坐标回归Coordinate Regression直接让模型输出 (x, y) 坐标值。这是回归任务里最直接的表达没有热力图那种空间分辨率损失模型也可以做得非常小、跑得非常快。MediaPipe 中的 BlazePose 和早期 PoseNet 用的就是这类方法所以在手机 CPU 上都能跑几十毫秒。代价是精度上限通常不如热力图方法尤其在小目标、复杂姿态场景下容易吃亏。理解这点之后你再看模型参数或推理速度时就不会被单一指标带着跑。一个 MobileNet 级别的热力图模型和一个坐标回归模型哪怕 FLOPs 差不多真实效果和训练难度也会差很多。在移动端项目里如果姿态本身比较规整坐标回归完全够用如果要做精度敏感的动作打分还是别省热力图带来的精度收益。2. 九个常用模型逐个拆解它们各自靠什么吃饭下面这 9 个模型是我实际用过或在项目中认真评估过的在各自方向上都算常青树。不是按排行榜精度排序而是按它们在真实项目里的出场频率和定位来排。2.1 OpenPose自底向上路线的开山鼻祖OpenPose 是 CMU 在 2017 年左右开源的项目当年火到只要是讲姿态估计的课件必然有它的身影。它最核心的贡献是提出了 PAFPart Affinity Fields部分亲和场解决了关键点属于哪个人的组装问题。PAF 简单理解就是每个关键点之间还带了一个方向向量场模型不仅知道这里有个手肘还知道这个手肘的受力方向朝向哪个手腕凭借这个方向信息完成人与人的区分和肢体连接。OpenPose 官方支持 18 个关键点或 25 个关键点的输出另外还能顺带检测人脸和手部关键点。当年它最大的优点是一个人玩全家桶一张图里人的框、骨架、手、脸都能出。但代价也大模型文件动辄 200MB 以上纯 CPU 推理一张图经常要几秒钟GPU 上速度也不算快。我自己在早期做过一个动作对比项目用 OpenPose 做离线批次处理没问题但想推到实时摄像头里直接放弃了。现在的意义更多是基准和教学。很多入门者用 OpenPose 跑通第一条管线理解 PAF 的配对逻辑再迁移到其他自底向上方法时就不抓瞎。2.2 HRNet让高分辨率特征贯穿全程的基线之王HRNetHigh-Resolution Net是 2019 年微软和中科大合作提出的模型核心技术点是全程保持高分辨率特征图而不是像其他模型那样先下采样再上采样。你可以把它理解成一个团队里始终保留高精度组虽然旁边有几个低分辨率的组在快速处理信息但高精度组一直在线最后融合各组结果所以输出细节特别丰富。HRNet 在 COCO 单人姿态估计榜单上霸榜了很长时间关键是它不只在姿态估计上强做分割、检测也是通用骨干网络。这个特性让它在工业界特别吃香。后来很多项目里HRNet 都作为精度高但重的对比基线存在。实际用下来HRNet 的精度确实靠得住尤其对遮挡和肢体交叉也有不错的鲁棒性。但它的计算量大官方模型没有针对性优化的话一般只有 GPU 才跑得动。我做健身动作打分项目时如果用户只有手机HRNet 直接被排除如果是服务端处理短视频那 HRNet 完全值得作为主力模型。2.3 AlphaPose精度优先的自顶向下代表AlphaPose 是上海交大提出的号称是 Regional Multi-Person Pose Estimation 的代表也就是先检测人再定位关键点。它在自顶向下路线上做了很多优化比如对称空间变换网络SSTN、姿态引导的区域框生成、姿态 NMS这些细节让它在各项数据集上的精度一直排在第一梯队。AlphaPose 的一个特点是干净。因为它整体设计就是围绕多人场景的 top-down 展开检测框准、单人姿态网络又强所以在多人互相遮挡时比很多同类方法稳。但代价也一致——依赖人体检测器的质量。一旦检测器漏检了人后面再强的姿态分支也发挥不出来。从工程角度看AlphaPose 的代码仓库经历了比较大变动现在也支持把检测器换成 YOLO 系列解耦性比早期版本好。如果你要做的是多人场景但预算充足、可以用 GPU 推理AlphaPose 是比 HRNet 更省心的选择因为它把多人检测和姿态整合得更紧密。2.4 MediaPipe BlazePose移动端实时姿态的普及者Google 的 MediaPipe 框架里内置了 BlazePose它在 2020 年左右出现时几乎重新定义了移动端姿态估计。它输出 33 个关键点除了人体骨骼点还额外覆盖了脸部部分关键点。模型采用坐标回归方式所以非常轻量官方宣称在手机 CPU 上就能跑到实时。但注意它不是直接回归 33 个点那么简单。为了兼顾速度和精度BlazePose 会先用一个检测器定位人体 ROI再做姿态回归。所以虽然输出是坐标整体仍然有 top-down 的思路。这种设计让它在单人场景里非常稳定多人场景也能通过反复检测每个人来处理只是 CPU 占用会线性上升。我在实际项目里的经验是BlazePose 特别适合做能不能用的原型和 App 端功能。它部署太方便了MediaPipe 一条命令就能装好Python 和移动端都支持。精度方面它的关键点抖动比热力图模型明显直接拿来做精细的关节角度计算还要加滤波否则相邻两帧的角度能跳好几度。2.5 MoveNet轻量级里的速度担当MoveNet 是 Google 在 TensorFlow Hub 上开源的轻量级姿态模型主打速度和边缘设备友好。它提供 Lightning 和 Thunder 两个版本前者追求极致速度后者在速度和精度之间平衡。和 BlazePose 一样走坐标回归路线但 MoveNet 是单阶段模型不需要额外的检测器直接整图出关键点所以管线更简单。MoveNet 最让我喜欢的是它在 CPU 上跑得飞快。一段 640x640 的视频在普通 x86 CPU 上也能保持较高帧率在树莓派这种设备上也有实用价值。关键点输出是 17 个骨骼点同时模型内部自带一个人中心预测可以辅助追踪做多人场景时可以通过多次裁剪来实现。它的缺点也明显非常依赖训练数据的分布对非常规姿态比如倒立、旋转的鲁棒性不如 OpenPose 和 HRNet。如果你做的是 2D 姿态估计且场景比较常规、设备算力有限MoveNet 的非专业选择里性价比很高。2.6 ViTPoseTransformer 在姿态估计上的爆发ViTPose 是 2022 年提出的基于视觉 Transformer 的姿态估计模型。它把整张图片切成 patch 喂给 Transformer 编码器不再只依赖卷积网络堆叠。ViTPose 的理念很简单——既然预训练 ViT 在图像分类上那么强直接拿来当作姿态估计骨干再配一个轻量的解码器输出热力图就行。效果确实惊人。ViTPose 在不同大小的 ViT-B/L/H 上都刷新了 COCO 榜单关键它还有个优势对预训练权重非常敏感用 ImageNet 预训练的 ViT 以后不用太多领域数据就能微调出不错的姿态模型。从工程角度ViTPose 不像 HRNet 那样需要在低分辨率特征上做多次跨层融合结构更直白可以比较容易地塞进现有 top-down 流程。不过推理开销也不小ViT 在 GPU 上虽然好使CPU 上就吃力了。如果你的硬件以 GPU 为主、目标是把精度往 SOTA 上冲ViTPose 值得认真考虑。2.7 RTMPose实时部署的综合优选RTMPose 是 OpenMMLab 在 2023 年推的模型出自 MMPose 团队。它的设计目标很清晰既要准又要快还要容易部署。RTMPose 的技术路线是 top-down 自研的关键点 Transformer 解码器但和 ViTPose 这种大编码器方案不同它的编码器轻量解码器用专门设计的方式直接把特征映射成热力图训练流程经过精心设计。真正让我觉得 RTMPose 实用的是它的生态。模型从 nano、tiny、small 到 large 都有覆盖从手机、CPU 到 GPU 全场景。实测下来RTMPose-t 在 COCO 上精度已经接近甚至超过一些重型模型而体积和速度又能和 MoveNet 掰手腕。OpenMMLab 同时给了一套标准的部署转换流程导出 ONNX、TensorRT 都很顺畅。如果你不想用 MediaPipe 那种黑盒又想要一个能跑在自己模型框架里的轻量热力图模型RTMPose 目前是首选。它解决了我长期以来的一个痛点热力图模型的精度 轻量模型的部署便利性这两件事以前很难兼得。2.8 YOLOv8-Pose检测与姿态一条流水线Ultralytics 的 YOLOv8 提供了官方 Pose 模型在 YOLOv8n/s/m/l/x 各尺度下都带了姿态分支输出 17 个 COCO 关键点。它是把检测任务和姿态任务在一个网络里同时做所以推理时直接输出 目标的框 框内关键点一条流水线搞定不需要像 top-down 那样拆两个模型。从技术本质看它更接近基于单阶段的紧凑型多人姿态估计关键点是回归出来的具体形式是坐标回归变体所以在边界精度上跟纯热力图模型比会吃亏但换来的是极快的端到端体验。我用 YOLOv8s-pose 在普通 GPU 上跑 1080p 视频推理速度非常可观而且后处理代码量极少ultralytics 库直接给你画好图、给好坐标。它的定位其实是工程便利型模型。如果你项目里本来就在用 YOLO 做检测只是顺手要出个骨架图YOLOv8-Pose 是低摩擦方案。但如果你的核心业务就是高精度姿态分析我建议还是用 RTMPose 或 HRNet。2.9 DeepLabCut科研实验场景的开源利器DeepLabCut 不太像前面几个通用模型它更像一个给研究者自定义训练姿态模型的实验框架比较典型的应用场景是动物行为分析。它基于 ResNet 或 ResNeXt 骨干网络做热力图回归图形界面能标注数据、训练和评估上手门槛控制得很低。我最开始在小白鼠动作分析项目里见过它被用得出神入化后来自己也试过用它训练新的自定义关键点。它的核心价值在于标注-训练-预测闭环做得很顺而且关键点个数、种类全部自定义不需要去匹配 COCO 那 17 个点。DeepLabCut 对实验研究人员来说比从零用 PyTorch 写训练代码友好得多但这种框架耦合度也高一旦涉及特殊的数据增强或自定义损失函数会比在 MMPose 这类库里改代码更受限。所以如果你想做的是通用人体姿态估计DeepLabCut 不是首选但如果你做的是特定场景、特定物种、特定关键点的估计它可以省掉你大量造轮子的时间。3. 横向对比真实差距一张表看懂如何选型给每个模型单独夸了一轮最后还是要落到硬指标上。这里我不会写死某个 AP 数值因为这些模型都有不同版本训练配置也不一样直接抄数值容易误导。我更建议你看相对量级和适用场景。3.1 9 个模型核心参数与表现对照下面这张表是我基于自己测试和社区公开数据整理的参考适合当第一轮筛选工具。模型技术路线关键点输出相对精度速度表现部署友好度典型场景OpenPose自底向上18/25/135中等慢GPU 可用中人群分析、教学演示HRNet自顶向下17很高慢GPU 必需中精度优先的离线分析AlphaPose自顶向下17很高中等GPU 推荐中多人高精度姿态MediaPipe BlazePose检测坐标回归33中等极快CPU/移动端很高手机 App、实时交互MoveNet单阶段回归17中低极快CPU 可跑高边缘设备、实时ViTPose自顶向下17最高较慢GPU 必需低中竞赛刷分、离线高精度RTMPose自顶向下17高快CPU/GPU/移动端均可高工业落地、实时YOLOv8-Pose单阶段检测姿态17中高很快GPU 友好很高已有 YOLO 检测的项目DeepLabCut自定义热力图自定义依训练数据中等中低动物行为、科研标注真到了项目里很多人卡在精度和速度的价值判断上。我给个经验值如果姿态只是中间信号后续还要做动作分类那中等精度模型完全够用真正影响结果的是时序平滑和分类器设计如果姿态本身就是产品结果比如体态评估报告那 HRNet 和 RTMPose 的优势就非常明显。3.2 按业务场景选型的四条建议第一条纯移动端 App别折腾自训练模型。直接用 MediaPipe 或 MoveNet 起步先跑通产品逻辑等用户量和精度需求上来了再替换成 RTMPose-nano。第二条服务端实时多人分析优先考虑 RTMPose 或 YOLOv8-Pose。RTMPose 胜在精度和速度平衡得很好YOLOv8-Pose 胜在检测姿态一体部署人为成本低。这两个默认都带完善的推理代码能省掉很多后处理的活。第三条精度要求极高、不要求实时的场景比如专业运动分析、康复评估直接让 HRNet 或 AlphaPose 做主力。搭配一个合理的人体检测器绝大多数单人高精度需求都能覆盖。第四条科研或动物行为分析直接上 DeepLabCut。它给你的是自定义关键点 完整训练工作流这是通用模型给不了的。4. 模型背后绕不开的数据集与评估指标姿态估计模型的精度都是被数据集逼出来的。大部分常用模型都在 COCO、MPII 等公开数据集上预训练或评估你要是对这些数据集和评估方式没有概念看模型指标就跟看天书似的。4.1 COCO、MPII、PoseTrack 各管什么COCO 数据集Common Objects in Context是姿态估计领域最常用的基准。人体关键点任务里COCO 标注了 17 个关键点包括鼻子、眼睛、耳朵、肩膀、手肘、手腕、胯、膝盖、脚踝。数据集中大量图片包含多人、遮挡、复杂背景所以在这个榜单上分数高的模型一般泛化性都不差。日常我提到这个模型 COCO AP 多少的时候指的就是这个数据集上的指标。MPII 数据集是另一个经典标注了 16 个关键点缺少脚踝更准确说是包含肢体主要关节数据来自 YouTube 视频很多是日常活动、体育动作也包含单人多人姿态。MPII 的历史地位很高但如今很多新模型已经把评估重心完全转向 COCO 了。PoseTrack 则是视频姿态估计数据集核心特点是连续帧的多人姿态跟踪。它比单帧数据集更难要求模型在视频里保持身份和关键点的时序一致性。做动作识别、行为分析的项目PoseTrack 风格的指标比 COCO 更有参考价值。如果你要自建常见人体动作数据集我的建议是别从零开始拍。先找一个通用姿态模型跑出关键点序列再人工检查修正会比纯手工标注效率高很多。这也是很多常见人体动作数据集比如健身动作、舞蹈动作分类任务实际采用的生产路径。4.2 OKS 和 AP 是怎么算出来的OKSObject Keypoint Similarity是姿态估计评估的核心单位本质上衡量预测关键点与真实关键点的归一化距离。公式不算复杂但关键在于每个关键点有一个标准差 $\sigma$比如头部和脚踝允许的误差范围不一样这样预测点在头部偏一点可能算准在脚踝偏一点可能算错。OKS 归一化之后我们就可以设定阈值比如 OKS0.5代表预测点和真实点之间的相似度超过 0.5 才算这个关键点预测正确。APAverage Precision则是把测试集里所有图片、所有人的关键点预测结果都拿来算一遍精度和召回率然后对不同 OKS 阈值取平均。所以你会看到 COCO 榜单上有个 AP 值术语叫AP0.5:0.95意思是多个阈值下 AP 的平均。这个数字能较全面地反映模型的定位精度但并不能直接等同于业务效果。业务里你的最终指标应该是用户动作判对率或关节角度误差模型之间的 AP 差两三个点在业务上可能完全体现不出来。5. 部署阶段最容易踩的坑和我的处理习惯模型选好之后真正的工程量才刚刚开始。这里写几个我反复踩过、也帮很多人排查过的坑希望你能绕开。5.1 输入分辨率与预处理大多数姿态模型并不是原图直接进模型的。虽然有各种尺寸要求但你得知道输入分辨率决定了小目标的检出率。比如用 HRNet 推理 1080p 图片时通常会把人的区域裁剪出来再缩放。裁剪时如果把人框裁得太紧边缘手脚容易被截断裁得太松人变小了精度又掉。我常用的做法检测框在上下左右各扩展 10% 到 20% 的余量然后再做缩放。另外关键点输出的坐标是相对于裁剪图的必须根据裁剪偏移量、缩放比例反算回原图坐标。这个反算看着简单但很多人的代码 bug 就出现在忘了除以缩放系数。我建议把预处理和后处理封装成独立函数写好单测用一张已知坐标的图验证一遍。5.2 多人、遮挡、误检top-down 的直接痛点如果你选了 top-down 模型真正的心病几乎都是人体检测器带来的。检测器漏检姿态没戏检测器产生假人框姿态模型还会强行往框里预测出一堆低置信度点。这类问题最常见的处理是在检测阶段调置信度阈值和 NMS IoU 阈值。实际项目里我会给检测结果加一个最小框面积过滤把特别小的框、比例不合理的框直接扔掉。对于遮挡严重的多人场景alpha 集成多帧信息会比死磕单帧模型更有效跟踪每个人物框预测的关键点再用时间滤波平滑遮挡瞬间的抖动会明显减少。OpenPose 这类自底向上模型对遮挡的容忍度更高但代价是姿态细节精度不足所以如果硬要实时、多人、又高精度最好接受没有完美模型这个现实在算法层面做取舍。5.3 输出后处理与性能优化关键点输出不是直接用就行的。坐标回归模型天生带抖动热力图模型相对好些但也需要根据具体帧率做处理。最常用的是一阶低通滤波或指数滑动平均比如smoothed alpha * current (1 - alpha) * previous这个 alpha 一般取 0.2 到 0.5。调大会让动作平滑但滞后调小又容易抖需要针对动作快慢测试。如果做实时系统我建议把所有模型推理放到 GPU 或线程池里不要让姿态估计阻塞主逻辑。输入端可以先降采样检测框周围只裁出小区域再送进姿态模型这个检测大图 姿态小图的组合能省不少时间。TensorRT、ONNX Runtime 这类加速引擎对生产环境几乎是必选项我实测 RTMPose 转 TensorRT 后模型延迟能降一半左右。最后一个习惯我会把每个阶段的时间开销都打点记录下来。姿态估计项目优化到后期瓶颈往往不在模型本身而在图像解码、预处理拷贝、后处理可视化这些周边代码上。有了监控你才知道该把力气花在哪。各人做姿态估计的侧重点不同有人要实时有人要精度有人只想要个最低成本的骨架图。这 9 个模型我都亲手跑过没有哪个是万能的但每个都有自己最合适的落点。如果你还在犹豫不决我的建议是先按业务场景倒推把路线定死再对照上面那张表缩小范围。实在拿不准就先拿 RTMPose 和 MediaPipe 各跑一个 Demo它们部署成本最低试错速度最快项目启动总比对着榜单纠结强。