你手里的项目标题是很多工科朋友做毕设、做工业视觉、做交互应用时都会撞上的一条路拿MediaPipe先做人体的骨骼关键点提取然后用Transformer把时间维和空间维的信息一块儿建模最终输出动作类别。这个方案看着成熟网上的教程也多但真自己动手从头搭一遍坑全在细节里。这篇博文主要聊三件事为什么是MediaPipe加时空Transformer这个组合而不是别的数据怎么处理才能喂给模型而且训练能收敛训练和落地时那些让人头秃的问题怎么排查。适合正在做动作识别项目、或者想把手势识别、装配动作合规检测这类需求快速落地的人参考。我自己在工业装配动作识别这个方向上用这套方案跑过几个实际场景下面写的都是当时踩完坑、调完参之后留下的能直接抄作业的经验。1. 为什么偏要用MediaPipe加时空Transformer1.1 MediaPipe到底解决了什么问题做动作识别之前最大的问题不是分类而是先把“人在画面里的状态”变成一组数学上能处理的数据。传统做法是人手标骨架框、标关键点工作量大得离谱。MediaPipe不一样它把这一步变成了一个开箱即用的能力CPU上都能跑而且单帧性能足够好不需要额外买显卡就能实时出33个关键点的坐标和置信度。这里面有个很多人忽略的好处MediaPipe的关键点自带visibility置信度这玩意儿在做后处理时特别好用。比如某帧手被身体挡住关键点的visibility会掉到很低后面做序列对齐或者差值填充的时候就能拿这个置信度做加权而不是把脏数据直接丢给模型。工业场景里光照乱、动作快、人员乱动如果没有置信度做兜底模型经常会被几帧异常骨骼带偏。另外MediaPipe还给了z坐标z是相对深度估计物理上不精确但作为相对位置变化是够用的。比如“手臂向前伸”和“手臂向上抬”这两个动作单靠x、y有时候区分不开加上z通道之后分类就干净很多。1.2 时序建模LSTM看了都摇头关键点序列拿到之后下一步就是把“一段动作”识别成“一个类别”。最朴素的做法是拿LSTM、GRU来做时序建模。我在初版方案里就试过LSTM短动作还行比如“伸手拿起螺丝刀”这种一秒以内的动作LSTM勉强能跟上。但真上了产线的复合动作比如“拿工具→对准螺丝→拧三圈→放回工具”整个流程会持续三秒以上。LSTM有两个毛病在这里特别明显遗忘问题前面几帧的信息在过完几秒后会被逐步冲淡等到动作后半段模型基本已经忘了起始姿势是什么。长依赖难建模LSTM靠门结构记忆信息但“拧螺丝”和“拿工具”两个子动作之间的联系需要在若干帧之后还能被注意力机制加权回来LSTM做不到这种全局交互。图卷积GCN也是个常见选择。问题在于GCN得先定义图结构不同动作对关节之间依赖不一样拧螺丝时手腕、手肘、肩之间的依赖关系非常强走路时腿和腰之间更关键。固定图结构相当于给动作分类上了紧箍咒。Transformer的核心优势就两条一是长距离依赖直接靠attention建立连接不需要像LSTM那样在门控中逐步传递二是空间维和时间维的建模可以分开设计时空Transformer这个词说白了就是把“每个关节是什么”和“每个关节怎么变化”拆开处理但最终又在注意力机制里融合起来。1.3 为什么选择稀疏关键点方案还有一个方案路线是用Video Transformer直接处理RGB视频帧。好处是不需要姿态估计的中间步骤端到端训练。但代价是计算量爆炸几秒钟的视频切成几十个patch序列长度大幅增加在真实业务里基本没有实时性可言。我对比过这两条路线以后选定了MediaPipe稀疏关键点路线。主要原因是数据冗余大幅降低RGB像素里有大量背景、光照干扰关键点序列里只保留人体结构信息模型学起来更快。隐私风险低工业场景里很多工厂不允许直接保存人脸或清晰图像画面关键点变成矢量后不会还原出可辨识的人体图像合规上轻松很多。预处理能力比训练网络便宜MediaPipe本身是通用能力不占模型的参数量。当然稀疏关键点也有损失比如手部细微动作如果手腕被遮挡单靠33个身体关键点远远不够。这时候可以并行接一路MediaPipe Hands的手部关键点再把两路特征在Transformer端做融合。这个后面会提到算是进阶玩法。2. 数据准备与特征工程决定模型上限的隐形战场2.1 从视频帧到模型输入张量这一步是整个项目里最枯燥但最关键的环节。MediaPipe提取出来的原始数据是一串字典里面包含33个关键点的x、y、z和visibility。每个x、y是归一化的图像坐标0到1之间z是以髋部中心为原点的相对深度visibility是0到1之间的置信度。如果直接把33×4的原生数据丢进模型效果通常很差。原因有几个第一不同人身高、离摄像头远近不一样同一个“伸手”动作在画面里的像素跨度完全不同第二人站在画面左边和右边时x坐标整体会偏移第三髋部中心的位置在原始z值里已经被减去但如果人左右晃动坐标偏移仍然存在。我的做法是这么构造每一帧的特征向量维度是33×4再加几个额外的全局特征。核心是先做人体坐标系归一化def normalize_pose(landmarks): # 把人体中心平移到骨盆中心 hip_center (landmarks[23] landmarks[24]) / 2 normalized landmarks - hip_center # 尺度归一化用肩宽或者髋宽做标尺 shoulder_width np.linalg.norm( normalized[11] - normalized[12] ) normalized normalized / (shoulder_width 1e-6) # 保留原始visibility不参与坐标归一化 return normalized这里要注意归一化标尺选肩宽还是髋宽会对动作识别结果有影响。肩宽比较稳定因为上半身动作在工业场景里出现的频率远高于下半身动作。但如果你要做的是跑步、深蹲这类下肢动作建议用髋宽或者脚踝到髋部的距离做标尺。除了位置坐标我还会拼接一个每帧的速度特征也就是这一帧关键点坐标与上一帧坐标的差值。速度特征对“动作”来说格外重要因为纯粹的位置坐标只描述了一个静态姿势两个相似的姿势可能对应完全不同的动作方向同样是手臂弯曲可能是举起也可能是放下速度信息能把方向性补上。2.2 时间维度的统一窗口设计动作识别的输入是一段连续帧序列但不同动作的持续时间不一样。“拿起螺丝刀”可能只要0.5秒“拧三圈”可能持续2秒。如果使用固定长度的窗口会遇到一个很尴尬的问题窗口太短会截断长动作窗口太长会让短动作在序列里被冗余静止帧淹没。实际项目中我通常这么设计先统计业务场景里所有动作的持续时长分布然后取一个能覆盖大多数动作的窗口长度。工业装配场景里单个原子动作的时长通常在0.3秒到3秒之间我一般会用64帧的窗口采集帧率设定在30fps对应约2.1秒的时间跨度。这个窗口不是死的。推理阶段我会做滑窗推理每10帧滑动一次也就是相邻两次推理有54帧重叠。这样做的好处是分类结果会在时间轴上有平滑效应不会出现前后两帧预测出完全不同动作的剧烈跳变。对于最终的动作切换判定再用一个简单的投票机制取过去15次推理结果中占比最大的类别作为最终输出。如果窗口里某些关键点置信度太低我会做帧级填充。填充策略不要用均值填充那会让动作变成一坨奇怪的中间姿态。更好的办法是直接用前一帧和下一帧的有效数据做线性插值或者简单粗暴点把低置信度帧全部替换成最近的高置信度帧后者在实时性要求高的时候反而更稳。2.3 数据增强小数据集的救命稻草动作识别项目第一个痛点往往不是模型不好而是标注数据太少。手上的数据可能只有几百段动作视频打标完拆成窗口之后才几千条样本直接训练Transformer很容易过拟合。数据增强是解决这个问题性价比最高的手段。对关键点序列做增强和图像增强思路类似但约束条件更多不能随便扭。我常用的增强策略如下随机缩放对归一化后的坐标整体乘以一个0.8到1.2之间的随机系数模拟不同体型的人。随机旋转对2D关键点做二维平面内的随机旋转旋转角度控制在±15度以内。俯视视角的相机如果装歪了这个增强尤其有用。时间缩放把整段序列随机压缩或拉伸到原来的0.8到1.2倍模拟动作快慢不一致。时间裁剪在原始句子中随机裁出一段和固定窗口长度一样的子序列相当于做了时间维度的平移增强。关键点丢失模拟随机把一段连续帧中的某些关节点坐标置零同时把对应的visibility置为零模拟遮挡。这招对模型的鲁棒性提升非常明显。另外还有个很多项目会忽略的小技巧类别不均衡的处理。装配动作里“等待”这类空闲动作样本量通常特别大而“拧螺丝”这类目标动作样本很少。我一般会在训练时给样本数量多的类别设置采样权重让模型在任何一个batch里面看到的不同类别样本数量大致均衡。这会显著提升少数类别的召回率。3. 时空Transformer网络结构拆解3.1 输入嵌入与位置编码的设计思路在特征工程做好以后输入张量的形状是[B, T, D]T是序列长度也就是窗口帧数D是每一帧的特征维度。我说一下我用的具体配置T64D33×43135。额外加的3个特征分别是身体中心的x、y速度以及整体的运动能量所有关节点速度的平方和。直接把原始特征输入Transformer不是不行但D维度过大且各通道之间的尺度不一致坐标是归一化后的visibility是0到1之间的速度则可能在某些帧上出现较大值我建议先过一个输入映射层把135维映射到hidden_dim256维。这一层可以是一个简单的全连接层加LayerNorm。位置编码分空间维和时间维两部分。空间位置编码给每个关键点一个独立的可学习嵌入时间位置编码给每一帧一个独立的可学习嵌入。在具体实现里这两个位置编码向量会被加到输入序列的对应token上。为什么不用正余弦固定编码因为在关键点序列任务里关节的先后顺序不是自然语言的语法不同数据集上关节索引的排布可能不一样用可学习的位置编码让模型自己去适应这种顺序关系效果更稳。3.2 时空注意力模块的内部逻辑时空Transformer的核心是注意力模块。我在实际项目中采用了“分解式”结构也就是空间注意力和时间注意力分开做而不是像Video Transformer那样在完整的三维时空块上做注意力。模块内部的数据流是这样的输入序列先reshape成空间token排列把每帧的33个关键点看作33个空间token每个token的特征维度是256。空间注意力先做在每一帧内部33个关键点之间做self-attention。这一步建模的是“这一帧里膝盖动了会不会对手腕的位置产生影响”这类关节间的空间关联。做完空间注意力之后把序列重新排列成时间token同一个关键点在连续64帧上的特征被组织成64个时间token。时间注意力在关键点维度上做self-attention建模的是“这个关节在过去64帧里位置和速度的变化轨迹”。这两步交替堆叠总共用了4层时空注意力块。每层还有前馈网络FFN、残差连接和LayerNorm。这样的设计把完整的时空交互拆成了两个更简单的子问题计算复杂度大幅下降同时在动作识别任务上的效果几乎没有损失。这里有一个实现上的细节空间注意力阶段所有关键点的查询、键、值都来自同一帧所以注意力矩阵的形状是[B, T, 33, 33]时间注意力阶段注意力矩阵的形状是[B, 33, T, T]。这两个阶段各自独立可以很方便地用PyTorch的torch.nn.MultiheadAttention实现或者手写scaled dot-product attention控制细节。3.3 分类头与特征池化Transformer输出的一系列token最后怎么变成一个分类结果常见做法有两种第一种是用一个特殊的CLS token类似于BERT的做法。在输入序列开头拼接一个可学习的向量让它在注意力过程中聚合全局信息最后把CLS token对应的输出向量接一个MLP分类头。这个做法在序列分类任务里很常用。第二种是全局平均池化直接把所有token的输出向量取平均再输入分类头。这个做法在动作识别里也很常见而且实现简单对输入序列长度的变化更稳健。我在实际对比中发现关键点序列任务里直接用平均池化效果不输CLS token而且省去了一个额外的可学习参数。所以我的做法是最后一层输出的所有token先经过一个LayerNorm然后做时间维度和空间维度的全局平均池化得到一个256维的向量再经过两层MLP输出类别logits。中间加了一层Dropout丢的概率设置成0.3主要用于防止过拟合。3.4 模型复杂性到底有多低很多人听到Transformer就担心算力。实际上由于我们的输入序列是33个关节点×64帧token总量是2112个每个token维度只有256这个规模在Transformer家族里属于比较小的。我用显存4GB的显卡就可以轻松完成训练单帧推理在CPU上也能跑到30ms以内如果加上TensorRT优化推理时间能压到10ms左右。具体参数量大概是这样的输入映射层135×256约3.5万参数4层时空注意力块每层参数约140万分类头约5万整体模型参数量在800万左右。这个量级做端侧部署也没有压力。4. 模型训练、评估与部署落地4.1 训练策略和损失函数训练阶段的输入输出设计如下输入是一段64帧的关键点序列输出是对应的动作类别。我用的损失函数是交叉熵损失配合标签平滑。标签平滑参数设为0.1这一点在动作识别里很有用因为手工标注的动作边界本身存在模糊性“拿起工具”和“准备拿起工具”之间的边界很难严格切分标签交叉熵容易让模型对边界样本过于自信平滑后可以把模型的置信度压下来一点泛化能力会更好。优化器选的是AdamW初始学习率3e-4batch size设置为64训练约100个epoch。前5个epoch用warmup策略学习率从0线性升到3e-4后面用余弦退火逐步降到1e-6。对序列型输入我在训练时还会做一个随机窗口裁剪每段原始动作视频里随机裁剪出64帧作为训练样本。这个策略加上前面说的各种数据增强即便只有几百段原始视频也能把模型训练到不错的水平。我用大概600段视频、4000多个裁剪窗口训练出了准确率超过96%的装配动作识别模型。4.2 评估指标不能只看准确率动作识别项目的评估和普通图像分类不太一样时间轴上的连续性也需要评估。我的做法是把评估阶段分成两个维度帧级准确率每帧预测的类别和真实类别是否一致这种评估能直观反映模型在每一个时间点上的判别能力。片段级准确率把连续预测结果做一个分段每一段内部的预测类别保持一致这一般要靠后处理投票来实现然后比较整段动作的类别判断是否准确。除了准确率对工业场景来说F1-score比准确率更值得关注。比如“拧螺丝”这个动作在整个装配周期里可能只占20%的时间如果模型把所有帧都预测成“等待”准确率也有80%但这个结果毫无价值。F1-score能同时惩罚假阴性和假阳性业务上更有参考意义。测试时还会统计每段动作从开始到结束被正确识别出来的时间延迟。实测下来从动作真正开始到模型稳定输出正确类别大约需要0.3到0.5秒这主要来自序列窗口和投票机制的缓冲延迟。如果业务上容忍不了这个延迟可以把窗口缩短到32帧、投票次数从15次降到5次代价是预测稳定性会差一点。这里需要业务侧去权衡。4.3 部署时绕不开的工程优化训练完的模型最终要跑到生产环境里。在部署时我一般会把整个流程分成三个独立服务模块第一个模块是MediaPipe关键点提取负责把视频流变成关键点序列。这个模块单独起一个进程用OpenCV读视频帧送到MediaPipe处理输出关键点。关键点提取是纯CPU密集任务可以开多个线程并行处理不同视频流。第二个模块是动作识别推理接收关键点序列做好归一化和窗口滑动的预处理后送入Transformer模型输出分类结果。这个模块可以用GPU服务也可以用CPU跑视并发量而定。模型很小CPU上开线程池足够应对几路视频流。第三个模块是业务逻辑层接收动作类别后做合规判定、报警或统计。比如装配动作识别里可以设定一个标准动作序列系统检测到操作顺序不对时实时报警。推理阶段的预处理和后处理代码要和训练阶段完全对齐这是最容易出问题的地方。训练时用了肩宽归一化部署时如果忘了做或者代码里用成了髋宽整个模型输出基本等于猜。我建议把预处理函数写成一个独立的工具模块训练和推理共用同一份代码千万不要复制粘贴后改。5. 踩坑实录与排查经验5.1 MediaPipe关键点跳动了怎么办MediaPipe在单人、光照充足、动作不太剧烈的情况下表现很好但实际场景总会有各种意外。最典型的问题是当人体部分被遮挡时比如伸手去拿东西时手被身体挡住关键点的位置会跳跃甚至出现一帧手在左边、下一帧手突然跑到右边的诡异情况。踩过几次坑之后的排查步骤是按visibility阈值过滤关键点低于0.5的直接视为无效数据不参与后续归一化和特征计算。对过滤产生的空位做时间插值优先用前后有效帧的坐标线性插值补齐没有有效数据的帧直接mask掉不输入模型。如果跳动依旧严重可能是MediaPipe的模型精度太低。MediaPipe提供了模型复杂度参数可以设为0、1、2三档工业场景我建议直接用最高的2档延迟增加不大但关键点稳定度提升明显。加上一阶低通滤波或者卡尔曼滤波对关键点序列做平滑。卡尔曼滤波效果要好得多但实现复杂度也高。如果只是做分类一阶低通滤波加一个合适的时间常数已经够用。5.2 多人同框时模型认出了错误的目标很多工业场景不可能保证镜头里始终只有一个人。比如装配工位旁边有其他工人路过MediaPipe会把多个人体的关键点全部输出。如果你只把检测到的第一个人体拿来做动作识别很可能会抓到一个路过的无关人员。我的解决办法设置ROI区域Region of Interest只保留画面指定区域内的人体骨架ROI外的全部丢弃。如果ROI内仍有多人优先选择髋部关键点离ROI中心最近的那个人假设是主操作工。更进阶的做法是利用MediaPipe的追踪功能给每个人分配tracking ID在连续帧中保持同一个人的骨架序列而不是每次去重新匹配。实在不行在物理层面调整摄像头角度让镜头从斜上方往下拍画面里基本只会出现一个完整的人体多人相互遮挡的概率也大幅降低。这个土办法在不少工厂里反而是最优解。5.3 数据标注慢到怀疑人生时序动作数据的标注是个大坑。视频里每一帧都要标注对应的动作类别一分钟的视频按30fps算就是1800帧如果全靠人一天最多标十几分钟的视频眼睛都看花了。我的建议是做“粗粒度标注加自动切分”先用一个预训练好的弱分类器对视频做自动预标注把类别标签按时间段打上去人工标注员只需要检查预标注的边界是否正确把开始和结束时间点拖动修正即可不需要逐帧修改标签。这种方式可以把标注效率提升至少5倍。另外一个技巧是视频采集时让工人按照脚本分步骤做动作每两步之间保持约1秒的“等待”状态这样标注的时候可以很轻松地找到动作边界不需要按帧去反复回放找起点终点。5.4 Transformer过拟合和泛化性不稳定如果你的动作类别很多超过20类而每类只有几百个窗口样本Transformer很容易出现过拟合。训练loss不断下降但验证集准确率上不去这种情况我用下面几个手段解决了降低Transformer层数从6层砍到3层甚至2层。关键点序列的特征维度远没有自然语言那么丰富堆太多层只会让模型记住训练集的噪声。把注意力头的数量从8个减到4个通常已经足够建模关节之间的依赖关系。加大数据增强强度特别是时间缩放和关键点丢失模拟这两个对提升泛化能力最有效。加入L2正则化或者直接用早停法监控验证集F1一旦连续5个epoch没有提升就停止训练。所以一个可复用的经验是模型结构宁小勿大。动作识别项目的数据量决定了模型规模的上下限与其堆超大模型然后到处找数据不如把模型精简到一个刚好能容纳当前数据量的规模训练快、调参快、部署也爽快。5.5 动作类别之间的混淆怎么消装配动作里“拿起扳手”和“拿起螺丝刀”这两种动作从身体姿态上看几乎一模一样都是弯腰伸手关键点数据几乎区分不了。这种情况模型再强也没有用因为输入信息根本不够。解决思路是引入额外的信息源。一种做法是在身体关键点之外再跑一路MediaPipe Hands手部关键点把手部姿态特征拼接到输入特征里看看握持手势能不能区分。还有一种做法是在工位上加一个俯视的独立摄像头专门拍摄工作台面识别工具的类型再把工具识别结果作为条件输入到动作分类模型中。从这个角度说动作识别系统的上限往往不取决于模型结构而取决于输入的数据是否包含了足够的判别信息。如果输入特征本身没法区分目标类别换什么模型都白搭。6. 后续还能往哪个方向扩展这套方案搭好之后后续可以扩展的方向也很明确。一个是跨场景迁移。当换了产线换了一批人摄像头角度不同、人体比例不同模型效果通常会掉。这一般不需要重新训练整个模型而是在新场景上收集少量数据做微调即可。为了降低老模型对新场景的灾难性遗忘微调时把原模型的学习率调低一些只训练最后两层分类头效果通常就够用了。另一个方向是把动作识别从离线变成在线预测。当前方案还是滑窗式的准在线模式要拿到完整的64帧窗口才能输出分类。如果想做到真正的实时持续预测可以用流式Transformer或者因果注意力机制一帧一帧地更新预测延迟可以进一步降低。还有一个值得尝试的多模态方向是把骨骼关键点和深度相机深度图、IMU惯性传感器数据融合在一起。骨骼关键点在遮挡情况下可靠性不足深度图和IMU可以补足但融合的复杂度也随之上升。另外大模型的出现也让动作识别多了一个新方向用CLIP这类视觉语言模型做动作的描述性理解。但这类模型对算力要求高实时性差在工业场景里暂时替代不了轻量的关键点方案。未来如果边缘算力继续升级关键点和语义描述的融合是有机会的。我个人在实际项目里最深的体会是不要把动作识别当成一个纯粹的模型问题。真正花时间的往往是数据质量、特征设计和后处理逻辑。MediaPipe提供了便宜可靠的前端时空Transformer提供了灵活的建模能力把两者正确组合起来并不是终点之后的工程打磨才能真正决定系统好不好用。这套方案从可行性验证到落地我用了几周时间就完成了初版后续大部分时间都花在数据标注和系统稳定性上面。如果看完这篇你也正准备上手一个动作识别项目我的建议是先把数据采集和标注流程跑通再谈模型结构否则你会发现自己一直在和过拟合搏斗而不是在解决问题。