1. 先搞清楚姿态估计在解决什么问题人体姿态估计Human Pose Estimation这几年从学术圈冲进了各种行业项目的优先级列表。我给健身App做过动作计数给直播特效做过肢体驱动也给工厂做过工位动作合规检查每一个项目的第一步都是同一个选择题选哪个姿态估计模型。这个选择看起来很像是精度高的选贵速度快的选便宜但真上手后你会发现自己面对的不只是精度和速度还有关键点数量、多人场景、部署设备、遮挡鲁棒性这一堆变量。这篇我打算把实际调研和使用过的9个最常用人体姿态估计模型按我的理解逐个拆开讲清楚每个模型是什么思路、有什么硬伤、最适合用在哪然后再给一张横向对比表和一个场景化选型指南。无论你是在做实时摄像头应用、离线视频分析还是嵌入式部署应该都能从中找到可以直接参考的答案。1.1 姿态估计到底在解决什么问题两个流派怎么选姿态估计的核心任务是让算法从图像或视频中定位出人体的关键点最常见的是COCO数据集的17个关键点包括鼻子、眼睛、耳朵、肩膀、手肘、手腕、胯骨、膝盖、脚踝。输出通常是一张或多张热力图heatmap热力图峰值对应的坐标就是关节位置。有了这些关键点后续动作识别、骨骼动画驱动、运动学分析、康复评估这些下游任务才谈得上。姿态估计模型的流派划分直接影响你的选型。自顶向下Top-down是先做人检测框出每个人再对每个框做单人关键点检测。代表模型有HRNet、AlphaPose、SimpleBaseline、ViTPose。优点是人框内的关键点定位准确精度上限高缺点是推理速度和人数强相关人一多就慢而且前置检测器一旦漏检这个人就彻底丢了。自底向上Bottom-up是先把整张图里所有人的所有关键点都检测出来再用某种分组策略把关键点拼回每个人。代表模型是OpenPose。优点是速度基本不受人数影响拥挤场景下不容易因为漏框导致丢人缺点是分组逻辑复杂遮挡严重时容易把两个人的胳膊拼在一起。我自己的体会是如果你做的是监控类固定场景人数波动很大自底向上更稳如果做的是交互类应用、人物主体明显自顶向下更好调优。当然两个流派之间现在的边界已经被Transformer和更灵活的检测头模糊掉了但选型时这个底层逻辑依然是最重要的分水岭。1.2 选型前必须看懂的4个关键维度在往下看9个模型之前先把选型要看的维度定下来否则很容易被单个指标带偏。第一是精度。学术上常用COCO APAverage Precision over OKS thresholds评价但训练数据、输入尺寸、后处理都会影响结果。你需要关心的是在你自己测试集上、按你的输入分辨率测出来的精度而不是论文里的数字。第二是速度。同一个模型在A100、3090、手机NPU、树莓派上的表现完全不同速度必须和部署设备绑定。第三是关键点数量与定义。COCO是17点MediaPipe是33点OpenPose有BODY_25和COCO两个版本。不同点数对下游任务影响很大比如步态分析特别依赖脚踝和脚趾点只有17个点的模型往往不够用。第四是部署环境。服务器GPU、浏览器WASM/WebGL、移动端NNAPI、嵌入式RKNN每种环境的约束差异巨大直接决定你能选的范围。把以上四个维度列成需求清单再对照模型基本不会选错。2. 9个最常用人体姿态估计模型逐一点评这份名单里有老牌经典也有当下Transformer阵营的代表我按流派加演进顺序来排方便你理解为什么模型会这么设计。2.1 OpenPose自底向上的开山代表作OpenPose是卡内基梅隆大学团队2017年开源的项目核心贡献是Part Affinity FieldsPAF部件亲和场。它不再先框人再找点而是让网络同时输出两类信息一类是每个人体关键点的位置热力图另一类是肢体走向的向量场。PAF向量场描述了相邻关节之间的连接方向和置信度后面跟一个贪心匹配算法就能把这些关键点按身体结构拼装回一个个完整的人。OpenPose的优势是开源早、生态成熟、支持多人。它提供BODY_2525点、COCO18点等预训练权重还额外挂了手部和脸部关键点模型拿来就能出全套骨骼。劣势也很明显原始模型体积很大BODY_25的模型接近200MBCPU上推理基本是1-2 FPS的水平想在手机或边缘盒子上跑得先做一轮重度裁剪和量化。实际使用时我把OpenPose用在过舞蹈姿态对比和步态分析里。舞蹈对比场景人对人遮挡多OpenPose的自底向上特性反而成了优势不会因为检测框重叠把两个人截成一截一截的。但如果你要的是精细的脚尖、手指动作OpenPose输出确实偏粗需要接自己的微调模型。2.2 Stacked Hourglass用重复堆叠换精度的沙漏Stacked Hourglass是2016年的工作结构上非常典型把图像先做bottom-up的下采样提炼高层语义再做top-down的上采样恢复空间分辨率整个过程构成一个沙漏模块然后把这个模块重复堆叠8次并在每个模块中间都加监督信号。这个设计的目的是同时保留全局上下文和局部细节。关节位置判断往往需要全局线索比如知道肩膀在哪才能更好地估计手肘位置但最终关键点定位又高度依赖局部细节。Hourglass通过重复整张图语义特征加高分辨率空间特征的方式往返打磨特征。放到今天看Hourglass的精度已经不算第一梯队模型重、显存占用高、推理慢适合做研究和可视化分析不适合实时部署。但它提出的堆叠结构、中间监督、热力图输出思路深刻影响了后面的CPN和HRNet。我建议初学者不要一上来就啃Hourglass的代码先理解它的特征融合思想就够用了。2.3 SimpleBaseline三行代码说明简单即有效SimpleBaseline是2018年微软亚洲研究院的工作。它的核心主张很打脸你们搞了那么多花哨模块我用ResNet当骨干后面接三层转置卷积deconv把特征图一步步放大到原图1/4大小输出热力图精度就能超过当时的SOTA。这里的简单其实是有道理的。ResNet骨干提取的特征语义非常强瓶颈不在提特征而在怎么把低分辨率特征恢复到像素级精度。SimpleBaseline用几个转置卷积直接完成高分辨率重建过程可解释、易训练、好修改。从工程角度SimpleBaseline是极好的基线模型。MMPose里就有现成实现换骨干网络、改输出层都很顺手。我自己在项目初期做可行性验证时经常先用它跑通全流程确认数据、评估、后处理链路没问题再换更强更复杂的模型。这个习惯帮我避免了很多新模型没效果时不知道是数据问题还是模型问题的尴尬。2.4 HRNet全程保留高分辨率特征的长跑选手HRNetHigh-Resolution Net是2019年CVPR的最佳论文。它和前面所有方法的最大区别是不再走降采样再上采样的老路而是让整个网络从头到尾都保留一个高分辨率分支再并行接几个低分辨率分支不同分辨率分支之间反复做信息交换、融合。这种设计的收益在COCO姿态估计上非常直观HRNet在多人姿态、遮挡、小目标场景下的表现都明显好于SimpleBaseline。因为高分辨率特征从头到尾没丢过天然更适合像素级定位任务。HRNet也因此成为MMPose等框架里的主力模型之一AlphaPose的高精度版本也大量用到HRNet作为骨干。不过HRNet的硬伤是计算量大。W32、W48这些宽度的模型跑起来显存和耗时都不是小数目部署到低成本设备上必须做量化蒸馏。我在一个工位动作合规检测项目里先用HRNet-W48跑离线视频分析精度确实稳但后来要上实时边缘盒子最终还是换成小模型加蒸馏方案才压住性能指标。2.5 CPN级联金字塔专治难检的关键点CPNCascaded Pyramid Network是2017年COCO关键点挑战赛的冠军方案。它把任务拆成两段GlobalNet负责从特征金字塔里定位那些容易检的关键点比如手脚这种轮廓清晰的部位RefineNet专门负责难检的关键点比如遮挡下的手肘、屈膝时被大腿盖住的膝盖。CPN最知名的配套技巧是OHKMOnline Hard Keypoint Mining在线难关键点挖掘损失。它会根据当前每个关键点的loss值把最难的那部分关键点单独拿出来加大惩罚权重强迫网络把力气花在难样本上。实际项目中CPN这种难例挖掘的思想比它本身的网络结构更有迁移价值。遇到关键点漏检或偏移集中在少数困难部位时与其无脑加大模型不如先检查损失函数是不是把所有关键点一视同仁了。用加权损失把注意力拨到难点上往往能花小钱办大事。2.6 AlphaPose自顶向下推理的多人姿态扛把子AlphaPose最初是2017年的工作全称是RMPE: Regional Multi-Person Pose Estimation。它的架构非常直白先用YOLO这类检测器检测所有人框再对每个框跑一个单人姿态估计。但AlphaPose厉害的地方在于它解决了一个被很多人忽略的问题——检测框不准时怎么办。AlphaPose引入了Spatial Transformer Network空间变换网络来做目标框的变换对齐又设计了parametric Pose NMS参数化姿态非极大值抑制专门处理多个框输出重叠姿态时的去重问题。后期版本还加入了Pose-Guided Proposals Generator姿态引导的候选框生成器在训练阶段自动生成更贴近人体姿态的候选框。如果你做的场景是密集人群、互相遮挡多AlphaPose通常是更稳的选择。它保留了自顶向下方法在单人体上的精度优势又减少了检测框偏差带来的误差。不过要注意自顶向下方法的速度和人数强相关如果画面里经常几十号人AlphaPose的实时性很难保证这时候要么降帧率做人流分析要么换自底向上的OpenPose。2.7 MediaPipe BlazePose移动端浏览器端实时推理首选BlazePose是Google MediaPipe里的姿态估计模型设计目标很明确让姿态估计在普通手机CPU和浏览器里也能跑出实时帧率。它输出33个关键点比COCO的17点多出一倍额外覆盖了面部轮廓点、手脚指关节点对表情驱动、手势交互这类应用非常友好。BlazePose的轻量化思路有几个精简的卷积骨干、低分辨率输入、轻量解码头。它还有一个人性化设计先做人脸检测再用脸部位置辅助生成姿态候选区域减少全图搜索成本。在浏览器里通过WebGL跑手机上通过TFLite/NNAPI跑OpenCV、Unity、Flutter都能方便接入。但轻量也意味着上限有限。遇到大幅度遮挡、动作幅度夸张的情况BlazePose的关键点会比大型模型更容易飘。它最适合的还是单人在镜头前、背景可控、实时响应优先的场景比如虚拟形象驱动、AI健身、手势控制。我做过一个直播小特效就是用BlazePose做身体驱动整个流程从引入到上线不到一周。2.8 MoveNet小到能塞进手机的速度型选手MoveNet同样是Google的产品专门为屏幕端实时推理设计。它有Lightning和Thunder两个版本前者追求极致速度能在普通手机上跑出30FPS以上后者精度更高但模型更大一点。MoveNet的亮点是它在轻量模型里做了多帧时序优化。它利用视频帧之间的运动信息做关键点修正能让输出比单帧模型更稳定减少连续动作中关节点的抖动。整个模型量化后只有几MB集成到Android、iOS或者浏览器里都很快。它的问题和BlazePose类似对遮挡和多人场景的支持有限默认配置主要还是单人或少数人。我在做移动端动作计数demo时用的就是它好处是部署链路短官方文档清晰调试成本低。如果要做多人大规模动作识别MoveNet不是首选。2.9 ViTPoseTransformer全面接管姿态估计ViTPose是2022年出现的工作把姿态估计任务直接交给Vision TransformerViT。Transformer和CNN最大的区别是感受野机制CNN靠一层层卷积堆叠来扩大视野而Transformer通过自注意力Self-Attention让每个图像patch都能直接看到整幅图的关系。对姿态估计来说这意味着模型可以在早期就捕捉手臂和躯干这种长距离依赖关系而不是像CNN那样一点点传递信息。ViTPose的做法非常简洁把图像切成patch用普通的ViT做骨干提取特征后面接一个很轻量的解码头直接输出热力图用分类损失或回归损失训练。论文给出B/S/L/H/G五档规模的模型越大精度越高还提供了蒸馏到小模型的版本。在COCO基准上ViTPose-H、ViTPose-G一度刷到很高的AP把之前CNN阵营的记录又往上推了一截。从工程角度看ViTPose的价值不只是精度高更在于它把姿态估计解码器简化了。传统方法需要精心设计多阶段、多尺度融合ViTPose直接拿通用ViT加简单头就能跑出好结果。缺点是大模型推理成本高小模型在端侧部署也需要经过蒸馏量化。如果你在服务器上离线跑、追求极致精度或者想研究Transformer在这类结构化预测任务上的边界ViTPose很值得深入。3. 模型对比与场景化选型指南九个模型逐个讲完下面做一个横向对照和选型总结。3.1 9个模型核心指标横向对照表模型流派骨干与设计关键点数量模型体积约推理速度参考适合场景OpenPose自底向上CNN PAFBODY_25/COCO 18约200MBGPU实时CPU慢多人、舞蹈、学术对比Stacked Hourglass自顶向下8个Hourglass堆叠17超大GPU较慢研究、可视化分析SimpleBaseline自顶向下ResNet 3层deconv17约250MBGPU实时基线、快速验证HRNet自顶向下多分辨率并行融合17约300MBGPU实时端侧需量化高精度、遮挡、离线分析CPN自顶向下GlobalNet RefineNet17约250MBGPU实时难关键点、遮挡场景AlphaPose自顶向下检测器 姿态网络17取决于骨干与人数相关密集人群、遮挡BlazePose单人体轻量CNN33几MB端侧实时手机、浏览器、实时交互MoveNet单人体轻量CNN 时序17约5MB端侧30FPS手机、网页实时动作ViTPose自顶向下ViT Transformer17数百MB至GBGPU上根据档位离线高精度、研究表格里的体积、速度、适用环境都是我给的大致区间具体得看版本和部署配置。但选型的方向已经足够清晰了。3.2 不同业务场景的选型建议做实时互动类应用比如AI健身、虚拟主播、手势控制优先看BlazePose和MoveNet。它们对设备性能友好输出延迟低关键点数量也足够应付大部分交互逻辑。如果对精度要求高一点可以把输入分辨率调大或用Thunder版本代价是帧率下降。做安防和行为合规类项目比如工地安全帽检测后的人体姿态识别、工厂工位动作规范检查推荐HRNet或AlphaPose。这类场景摄像头视角固定、人物与镜头的距离相对稳定更看重检测精度和抗遮挡能力。如果人数不多一般5到10人以内AlphaPose的实时性可以接受人数多就退化成离线批量分析或后端异步处理。做和人相关动作的学术研究、算法研发直接上ViTPose或HRNet。ViTPose在公共基准上的表现更能反映State of the Art的上限HRNet则更适合做各种改进的基座社区资源多、复现容易方便对比实验。做移动端或低功耗嵌入式的AIoT设备比如智能摄像头、机器人、边缘盒子MoveNet、BlazePose优先条件允许的话再把HRNet小模型、量化后的AlphaPose加进来做对比。端侧部署我后面会单独说不同芯片CPU、GPU、NPU的适配差异非常大。3.3 从模型的选型到落地部署的优化路径确定模型后落地部署最常用的优化链路是蒸馏 - 剪枝 - 量化 - 芯片适配。第一步是知识蒸馏用大模型HRNet-W48或ViTPose当老师教一个小学生模型比如MobileNetV3加轻量解码头。蒸馏的loss通常有两部分硬标签的GT heatmap loss以及模仿老师heatmap输出分布的KL散度。很多项目在这个阶段就能拿到6到8倍的推理加速精度只掉一两个点。第二步是结构剪枝。如果骨干网络本身还有冗余可以按通道重要性进行剪枝这在自训练的模型上收益更大预训练模型直接剪容易掉精度。第三步是量化。通用做法是先做PTQ训练后量化试试水如果精度掉得厉害再上QAT量化感知训练。关键点热力图对量化误差比较敏感我实际体验下来直接在heatmap分支上加QAT比只量化特征提取层更稳。第四步是芯片适配。不同芯片的推理框架差异很大NVIDIA用TensorRTRockchip芯片用RKNN部分国产NPU有自己的量化工具。以RKNN为例一般先把模型导出为ONNX再用RKNN-Toolkit转成.rknn格式期间需要做量化校准集校准集的分布最好和真实场景吻合。我用场景内随机的100到300张图做校准效果明显比通用图片集好。写个小命令用来做ONNX导出MMPose系模型通用python tools/deployment/pytorch2onnx.py \ configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \ https://download.openmmlab.com/mmpose/top_down/hrnet/.../hrnet_w48_coco_256x192.pth \ --input-img demo.jpg --output-file hrnet_w48.onnx实际跑的路径和权重地址以MMPose官方仓库当前版本为准关键是确认导出后的模型通过ONNX Runtime验证输出和PyTorch原版一致再继续做后续量化转换。4. 真实场景下避坑与调优经验前面讲的都是应该怎么选这部分聊聊我实际踩过的坑希望能帮你少走弯路。4.1 数据集怎么选COCO、MPII、CrowdPose各有什么坑姿态估计的常用公开数据集里COCO是永远绕不开的。COCO的person keypoint标注包含17个关键点样本内容丰富训练出的模型泛化性相对好。但COCO也不是万能的它的很多人物实例在标注时把膝盖以下的脚踝点标在了小腿中部因为人体被物体遮挡时标注本身也不精确。直接用COCO预训练模型做精细康复评估误差会很明显。MPII数据集标注的是16个关键点以单人姿态为主早期很多模型用来做单人姿态基准测试现在用得少了。CrowdPose专门针对拥挤场景包含大量相互遮挡的样本做密集人群姿态估计时拿CrowdPose预训练比COCO预训练效果明显更好。Human3.6M是多视角3D姿态数据集主要给3D姿态估计的研究用做2D任务时可以作为辅助训练数据。我的建议是预训练模型只作为起点上线前一定要在自己目标场景的几百张图上做微调。比如你准备把模型用在工厂车间直接拿COCO预训练权重上线很容易被车间的机械臂、工具、工件之类的类人物体干扰。标注300张场景图做微调成本不高精度和稳定性提升却是肉眼可见的。4.2 视频流里关键点抖动怎么解决这是一个非常常见的看起来能用一录视频就出事的问题。单帧模型的输出在视频流里经常会出现关键点上下乱窜的现象尤其在手肘、手腕这些自由度高的关节上。原因很简单每帧独立推理模型对噪声敏感相邻帧的轻微输入差异都会被放大成关键点位置的抖动。最简单的解决方案是时序平滑。轻量方案是滑窗平均或指数滑动平均缺点是会有明显延迟感。偏生产级的方案是One Euro Filter它在低频时更平滑、高频时更跟手是很多实时动捕项目的标配。更工程化的方案是把追踪接进来比如用ByteTrack或DeepSORT先稳定人框再用姿态模型对稳定的框做推理这样能明显减少框抖带来的姿态抖动。我个人的经验是如果做离线动作分析滑窗平滑加滞后补偿就够如果做实时交互用One Euro Filter加置信度阈值只有当关键点置信度超过某个阈值时才更新平滑值效果最好。过度平滑会让动作看起来拖泥带水这个度需要按业务感受去调。4.3 模型蒸馏、量化与端侧部署的实操记录我这边最有代表性的一个项目是把HRNet-W48的工位动作识别模型压到RK3588边缘盒子上跑。第一步是在自建的工位动作数据集上先训一个HRNet-W48老师模型COCO预训练加微调最终在验证集上AP约88。第二步用MobileNetV3作为学生骨干训练一个轻量版本KD loss加heatmap KL散度学生模型AP约85.5。第三步做QAT量化到INT8AP降到84.2。最终部署到RK3588上端到端延迟从老师模型的480ms降到45ms左右20倍左右的加速换来的精度损失可以接受。这里最有价值的一条经验是端侧部署的瓶颈不只是模型计算量还有前后处理和IO拷贝。很多人只盯着模型的FLOPs结果模型从200ms优化到20ms整体延迟还是降不下去因为图像resize、归一化、模型输出解析、热力图后处理这些环节在边缘设备上也相当耗时。优化时一定要用profiler把整条推理链路时间打出来逐段优化而不是只优化模型主体。另一个容易忽略的是模型融合思路在离线任务里的应用。如果精度是第一位、实时性不敏感可以把HRNet和ViTPose两个互补模型的heatmap做加权平均再取峰值坐标这种简单融合往往能比单个模型提升1到2个AP。我在一次离线视频分析里就这么干过代价是推理时间翻倍但换来了更稳的关键点轨迹后续做动作识别时省了很多清洗工作。最后再分享一个小技巧姿态估计输出的关键点不要直接当作绝对坐标去用。先把关键点坐标归一化到人体框的相对坐标后续动作匹配、运动学计算都会更稳定。结果可视化时也别忘了把模型自带的后处理参数比如输入尺寸、缩放比例反算回去很多模型不准的反馈最后查下来都是坐标换算错了。姿态估计这个方向工具链已经很成熟真正拉开项目差距的往往是选型判断和这些落地细节。希望这篇能帮你把9个常用模型的底细摸清楚少重复踩我踩过的坑。