开篇先说个实在话我研究生第一年做行人重识别被导师按着头去读步态识别综述时内心其实是拒绝的。当时觉得步态不就是走路姿势吗能有多大花头结果啃完这篇《Gait Recognition Based on Deep Learning: A Survey》之后才意识到这个方向远比我预想的复杂也远比我想象的宽阔。它不是简单的人脸替换方案而是生物特征识别里一个非常独特、技术链路极长、应用价值极高的分支远距离、非接触、难伪装这三条天然优势让人脸在某些场景下完全无法替代它。这篇论文笔记就是要把综述里最有价值的那部分东西——技术脉络、方法分类、核心难点、代表性工作、数据集与评估协议——用我自己的语言重新讲一遍。我不会逐段翻译原文而是按这篇综述到底想告诉我们什么来组织结构。如果你正在考虑入坑步态识别方向或者在做人脸/行人身份识别类的任务读这篇笔记应该能帮你省下前几周的摸索时间。1. 这篇综述到底解决了我什么问题1.1 为什么步态识别值得花三天读综述大多数人一提生物特征识别第一反应就是人脸。但从实际安防场景看人脸识别有硬伤距离一远就废角度一偏就挂脸部遮挡直接没辙。步态识别的核心价值恰恰落在这些盲区里——你不需要人配合不需要高清正脸只要人正常走路隔着几十米甚至上百米摄像头拍到一段模糊的轮廓序列就有可能完成身份判断。这种远距离感知能力是绝大多数生物特征不具备的。综述开篇就做了很好的定位步态识别是唯一可以在远距离、非配合条件下进行身份识别的生物特征。这句话说起来轻松背后却对应着一整套不同于人脸识别的技术体系。另一个让我觉得值得读综述的原因是这个领域的知识非常零散。步态识别的研究散落在计算机视觉、生物力学、行为分析等多个方向每年 CVPR、ICCV、AAAI 上都会有几篇步态识别的论文但如果只看单篇论文永远拼不出完整的图景。综述的价值就是帮读者把散落的骨架搭起来从传统的GEI手工特征到早期CNN方法再到GaitSet以后的无序集合思路以及最近两年起来骨架序列和图卷积、Transformer方法一条线理得清清楚楚。1.2 读之前我踩过的弯路在系统读这篇综述之前我犯过一个典型错误直接上手跑GaitSet的代码。论文里写得很简单说步态是集合不需要时序我跑完确实也能达到不错的精度但完全没搞懂里面的SetPooling为什么有效GaitPart提出的Focal Convolution又是为了解决GaitSet的什么问题更别提跨视角干预被大家挂在嘴边念叨到底难在哪里。后来才知道步态识别圈子里论文短、代码糙、复现怪是常态。很多实验里差一两个点可能就来自评估协议不一致比如Gallery和Probe的视角组合方式、训练集与测试集的身份划分方法这些细节不读综述根本不知道水有多深。我后来习惯先读综述建立坐标系再进入具体论文复现整个节奏才算正常了。这篇综述对我来说就是那套迟到的坐标系。1.3 综述文章不可替代的作用论文笔记类内容最忌讳的事情就是把综述的目录重新抄一遍。所以下面写的内容我的组织方式是先说综述梳理的技术脉络再单独拆解方法分类和代表性工作然后集中讲这个领域最难啃的跨视角与协变量问题最后结合已有的数据基准和个人复现经验谈一谈对开放问题的看法。这种组织方式不一定完全等同于原文的顺序但覆盖的是综述的核心覆盖面。如果你手上有原文建议对照着读。2. 从传统特征到深度特征步态识别凭什么走到了今天2.1 早期方法的两个流派在深度学习还没有席卷计算机视觉之前步态识别领域大体上分两派基于模型的model-based和基于外观的appearance-based。基于模型的方法思路很直白把人体的运动看作一组骨架和关节的运动先提取人体结构参数比如四肢长度比例、关节角度变化或者对人体进行二维/三维建模然后用这些参数做识别。早期的经典工作会利用生物力学知识把行走建模成钟摆运动或者弹簧-质量模型听起来很优雅但落地效果一般。原因也很简单那个年代没有靠谱的姿态估计器要从视频里抠出准确的关节位置本身就是个老大难问题前面一步不准后面的识别能力必然大打折扣。基于外观的方法则完全绕开人体建模直接在人体轮廓或者剪影上做文章。最有代表性的工作就是2006年提出的步态能量图GEIGait Energy Image思想极其简洁把一个步态周期内的轮廓序列逐帧叠加再做平均归一化得到一张包含行走过程中整体形态和运动信息的二维能量图。GEI这招巧妙在哪里用一个形象类比把一段走路视频压缩成一张长曝光照片。人可以保持静止的躯干部分会呈现出高亮、轮廓分明腿脚这种来回摆动的部分则呈现出一层半透明拖影。拖影的形状和范围恰恰隐含了这个人的步态周期信息而平均操作又丢掉了很多帧级噪声提高了对轻微干扰的鲁棒性。GEI之后还衍生出一大批变体CGI帧间差分能量图、FDE频域特征、GDI步态差分图等。这些方法本质上都是试图回答同一个问题——如何把一段时序轮廓压缩成一种适合分类的表示。但它们共同的局限也很明显依赖高质量的背景分割和轮廓提取一旦背景复杂或者光照变化轮廓就花了把时间信息通过平均这种方式粗暴丢弃步态周期内非常关键的相位信息就没有了手工设计的特征表达上限低对视角和穿着变化非常敏感。2.2 深度学习为什么能破局卷积神经网络在图像分类上取得突破之后步态识别很快也搭上了这班车。深度学习带来的核心改变不是换了个更强的分类器而是把整个识别链路里的特征表示这一步彻底重写了。在GEI时代研究者需要手工设计怎么把视频序列转成静态图还要调各种参数保证轮廓质量。到了深度学习方法输入可以是原始轮廓序列模型自己去决定什么特征值得保留、什么信息可以丢弃。更有意思的是后面GaitSet的出现证明了一件让老派研究者有些惊讶的事步态识别居然不需要严格的时序建模把一组步态帧当成无序集合处理网络照样能学到极具判别力的特征。这就触及了一个根本问题步态的判别信息到底藏在哪里传统生物力学观点认为步态是一个严格的时间过程步态周期内的相位关系至关重要。但深度学习的实验结果却在说单独某一帧的姿态配置spatial configuration本身已经包含了大量身份信息时间上的动态信息当然也有价值但可能不是主导因素。这一结论直接影响了后续方法的设计思路也解释了为什么GaitSet这种放弃时序的简单模型可以吊打一堆精心设计的时序模型。2.3 从手工特征到深度特征的三个标志性阶段我梳理综述里的脉络大致可以分三个阶段第一阶段是把GEI喂给CNN。这个阶段相当于用深度学习替代手工特征后面的分类器部分GEI本身作为输入表示被保留。优点是改动最小、训练快但特征表达上限仍然受限于GEI丢信息这个先天缺陷。第二阶段是从单个输入扩展到多帧/多周期输入。代表工作是2018年前后的一系列CNN方法输入变成连续轮廓帧或者多个GEI的堆叠网络能够捕捉到比单张GEI更丰富的时空线索。第三阶段是GaitSet开启的集合建模时代。这个阶段彻底抛弃了必须保持时间顺序的预设步态序列被建模为无序集合配合水平金字塔映射和三元组损失在公开数据集上取得了质的飞跃。三个阶段不是简单的性能堆叠而是每一次都在重新定义什么才是步态识别的核心约束。第二阶段补上了GEI丢掉的帧级动态信息第三阶段则证明帧级动态信息也没有想象中那么关键。这种做减法反而更强的反直觉结果在计算机视觉其他任务里其实不太常见也是步态识别最值得玩味的地方。3. 深度步态识别的方法地图三大流派及其代表工作3.1 基于外观从GaitSet到GaitGL的核心演进逻辑如果把近五年步态识别领域按影响力排个名GaitSetAAAI 2019绝对是个分水岭。它提出的核心观点就一句话步态是一个由无序轮廓帧组成的集合识别对象是人的行走方式而非具体某一步。GaitSet的骨干网络结构并不复杂先用一个CNN进行逐帧特征提取得到一组帧级特征图然后通过一个叫SetPooling的操作把这组特征聚合起来。SetPooling的本质是在空间维度做各种统计池化比如最大池化、平均池化把多帧信息汇总成整体的步态表征。之后接一个水平金字塔映射得到多个粒度的局部特征最后搭配三元组损失和Softmax损失联合训练。最初我看这个结构觉得挺平淡的直到我自己在代码里对比了去掉SetPooling直接取单帧特征的效果才明白这个操作的分量SetPooling相当于把一组互相冗余的帧级特征通过对齐与聚合压缩成一个信息密度极高的全局表示它比平均GEI灵活得多也保留了CNN深层特征的空间结构。这个设计的精妙之处在于其抗遮挡能力——某一帧里腿被包挡住看不清了另一帧里可能露出来集合操作相当于给了模型一次信息互补的机会。GaitPartCVPR 2020是在GaitSet基础上的精细化改进。它指出了一个关键短板GaitSet在逐帧特征提取时用的是普通二维卷积卷积核在空间维度上的感受野是均匀分布的但步态的动态信息其实集中在特定身体区域比如小腿和手臂的摆动躯干的动态信息很少。GaitPart给出的解药是Focal Convolution Layer聚焦卷积层把标准卷积核从全图均匀覆盖改成聚焦于时空局部区域让网络把计算资源集中在真正动态变化剧烈的部位。同时在时间维度上也做了局部建模提出微动模板模块Micro-motion Template Module在短时间窗口内捕获局部动态模式。整体思想可以类比成人脸识别里的注意力机制——给关键区域更高的响应权重而非一视同仁。GaitGLICCV 2021则换了一个切入点全局和局部信息的组合方式。此前的水平金字塔虽然做了局部特征切分但每个局部特征是独立进损失的网络没有一个全局整体的约束。GaitGL设计了一种同时提取全局特征和局部特征的网络结构让全局分支时刻感知这个人整体姿态长得什么样局部分支处理腿部的细微摆动模式最后再将两者融合。结合多尺度卷积的设计在CASIA-B上把跨视角和跨穿着条件下的Rank-1准确率又推高了一截。这一路的脉络我看下来总结就是一个问题在驱动的外观特征到底该在什么粒度上建模GaitSet解决了集合建模GaitPart把粒度聚焦到动态局部GaitGL把全局整体和局部细节捏合到一起。每一步都是在回答这个粒度问题。3.2 基于骨架图卷积和Transformer接管的新阵地外观方法的局限在上一节已经说过一旦换衣服背包或者场景分辨率过低导致轮廓分割失败特征质量就会直线下降。骨架方法则是完全不同的思路——先估算出人体关键点位置再基于关键点序列做识别因为骨架表示天然不含纹理和颜色信息所以理论上对穿着变化极其鲁棒。骨架方法早年尝试过用LSTM处理关键点序列但效果一般。原因在于LSTM天然擅长处理一维时序却很难建模关节之间的空间关系——左手和右脚之间的连接结构并不是简单的时间步能够表达的。后来Graph Neural Network和图卷积网络GCN逐步成熟骨架步态识别开始起飞。GaitGraph系列论文的思路就很清晰把每一帧的骨架看作一个空间图节点是关节边是骨骼连接多帧之间通过时间边连接形成时空图。然后在时空图上跑图卷积同时聚合空间邻居和时间邻居的信息。这个建模方式和人体动作识别领域的ST-GCN一脉相承区别在于目标从动作分类变成了身份识别。这个方向的核心挑战在于如何设计图卷积的邻域聚合方式才能让网络抓住跨关节的运动协同性。2022年前后Transformer也开始渗透到这个方向。GaitTR等工作直接抛弃了显式图结构的先验用自注意力机制隐式地让网络自己发现不同关节之间的依赖关系。注意力权重可以被可视化出来你会发现网络确实学到了类似左手腕和右脚踝之间存在强关联这种生物力学上合理的模式。但这个方向有一个绕不开的工程痛点依赖前置的姿态估计器如HRNet、OpenPose的输出质量。在室内近距离场景中姿态估计很准骨架方法能发挥稳定优势一旦到了真实监控场景人物分辨率低、遮挡严重、姿态估计器本身就开始崩了骨架方法往往比外观方法崩得更快。所以骨架方法在实验室内很香放到真实场景里却容易变成天花板很高、地板也很低。3.3 多模态与混合模型取长补短的现实选择综述里也梳理了一部分混合模型的工作。它们的思路很直接外观特征不抗衣着变化骨架特征对分辨率敏感那把两条技术路线结合起来是不是就能互补典型的做法是双流网络一个分支输入原始轮廓序列提取外观特征另一个分支输入姿态估计器得到的骨架序列提取运动特征两个分支的特征在某个中间层做拼接或者注意力融合再送去分类。还有一个特殊的混合维度是光流信息。光流能直接反映像素级的运动矢量和骨架这种语义级运动表示互为补充。部分工作把原始帧、轮廓、光流三个模态一起送进多分支网络在几个公开基准上确实拿到了不错的结果。但多模态方法的问题也很现实训练和推理都更重、数据要求更高而且增益并非总是稳定的。尤其是在实际部署时多模态往往意味着多条预处理管线都要跑在实时链路上这在高帧率摄像头上是个不小的压力。我的看法是混合模型短期内更适合做性能上限的探索如果是从工业落地角度切入轻量单模态方法反而更容易形成闭环。3.4 一张表理清代表方法为了帮大家快速建立记忆锚点我把综述里反复出现的几个代表性工作整理成了下面的表格对比它们的核心思路和各自的短板方法年份/会议核心思想主要优势主要短板GaitSetAAAI 2019步态序列视作无序集合SetPooling聚合帧级特征突破时序先验性能提升显著忽略时间动态信息强遮挡下仍会掉点GaitPartCVPR 2020Focal Convolution聚焦时空局部动态区域对局部动态区域更敏感精度进一步提升仍基于外观轮廓对衣着变化鲁棒性有限GaitGLICCV 2021全局特征与局部特征联合建模综合信息能力强跨视角表现好模型结构较复杂训练成本增加GaitGraph2021前后骨架时空图图卷积天然抗衣着变化泛化性较好依赖姿态估计质量低分辨率场景受限GaitTRCVPR 2022Transformer对骨架序列做跨时间自注意力建模无需人工设计图结构关节关联建模灵活计算量大数据需求高表格里最后一列其实藏着这个领域最本质的博弈没有一个方法是全能的每一个选择都有代价。你看论文时不能只看某个方法刷了多少分还要看在什么条件、什么协议下刷的分。4. 最难啃的骨头跨视角与协变量问题4.1 步态特征的视角维度困境如果说步态识别只能记住一个核心难点那一定是跨视角识别。第二个人从侧面走过的轮廓和第三个人从正面走过的轮廓差距可能比同一人侧脸和正脸的差距还要大。具体来说同一个人的行走视频在0度正对摄像机和90度侧对摄像机两个视角下外观轮廓有巨大差异侧面视角能看到完整的腿脚摆动幅度正面视角只能看到人体宽度的周期性晃动。如果网络只是在固定视角内做识别很多方法都能得到不错的结果但一旦要求用侧面视角的gallery去匹配正面视角的probe性能就断崖式下跌。综述里专门把这个问题单列出来我认为是很有价值的。跨视角问题的本质是视角导致的类内差异可能远大于身份导致的类间差异。这和行人重识别领域的跨摄像头问题非常相似都是一个典型领域难题。解决跨视角问题的思路大致有三条一是设计显式的视角转换模块把不同视角的特征映射到同一个中间视角空间二是设计视角不变的特征学习策略通过特殊的损失函数或者对抗训练让提取的特征对视角变化鲁棒三是在数据层面做文章用更大规模的多视角数据集让网络自己去学会视角不变性。综述对这些思路都有详细分类其中第三条在工程上最好落地也是近年来大规模数据集越建越大的直接动力。4.2 协变量衣服、背包、地面每一样都不省心CASIA-B数据集里设计了三种行走条件正常行走NM、穿大衣行走CL、背背包行走BG。别小看这三个条件它们直接决定了模型在真实场景里的可用性。穿大衣为什么难因为大衣的轮廓是宽松的会模糊掉腿部摆动的细节下半身的步态信息被一层布袋盖住了。背包为什么难因为包会遮挡背部和腰部的一部分轮廓在侧面视角看相当于人体形态被局部改了。实验数据最能说明问题很多在NM条件下Rank-1接近100%的模型换到BG条件会掉到80%多再换到CL条件可能只剩60%多。这个下降幅度直接决定了步态识别在安防场景里能不能被接受。协变量还不止衣着和背包。行走速度的变化会改变步频和步幅地面材质会影响走路姿态的稳定性负重和受伤更是会彻底改变步态模式。更隐蔽的问题是人的步态并非完全稳定不变——同一个人在不同情绪状态下的走路方式都有细微差别。综述对协变量问题的归纳让我意识到步态识别的本质挑战不是识别走路姿势而是从包含大量干扰因素的运动中提取唯一且稳定的身份特征。这个任务难度比从含噪图像中识别人脸要复杂得多。4.3 搞懂数据集和评估协议避免复现翻车在读综述之前我对数据集协议的理解是模糊的结果直接体现在复现对比的焦虑里。这里把我的理解整理出来搞不清这些细节你会反复踩坑。CASIA-B是最经典的中型数据集124个受试者每人11个视角0度到180度18度间隔每个视角下有NM、BG、CL三种行走状态。训练集与测试集按受试者ID划分确保同一人的样本不会同时出现在训练和测试中。常见的评估方法是拿一部分NM序列做Gallery拿其他序列NM、BG、CL做Probe然后算Rank-1准确率。OU-MVLP则是目前常见的大规模步态数据集受试者规模达到一万以上视角数量更多常被用作预训练数据集。它和CASIA-B最大的区别是数据规模带来的统计稳定性小数据集上偶然的波动在大数据集上会被抹平。很多人复现论文时在CASIA-B上刷分很高一换到OU-MVLP就现原形模型泛化能力立刻暴露。还有一个非常关键的坑是协议细节有些论文用相同视角协议即Gallery和Probe来自同一视角方向有些用跨视角协议两者难度差距巨大有些论文训练时用所有视角有些保留一部分视角用于测试。这种细节差异会直观地反映在数字上。我第一次复现时因为没注意训练是否包含测试视角这个细节折腾了整整两周都没对齐数值最后才发现是协议理解的偏差。读综述最大的好处之一就是它把这些协议差异集中讲透了。5. 综述之外我还想多说的几个方向5.1 自监督学习是这条赛道的潜在变量步态识别的数据标注难度很高身份标签需要长时间多视角采集和人工确认远比图像分类的标注贵。这给自监督和预训练方法留下了相当大的切入空间。综述成稿时自监督步态识别的工作还不算太多但近两年的趋势已经很明显。核心思路是利用对比学习同一人的不同行走片段作为正样本对不同人的片段作为负样本对构造对比损失让网络学到跨片段稳定的步态特征。这种方法有一个诱人前景如果能用海量未标注监控视频预训练出一个好的步态特征提取器再在下游小规模标注数据上微调整个领域的落地成本会大幅下降。不过自监督方法也有隐忧。对比学习依赖样本对的合理构造而步态数据的正样本对并不是那么容易定义——同一个人的不同行走片段可能视角差异巨大直接拉近它们在特征空间的距离反而会牺牲一部分视角判别力。这个问题目前还没有特别优雅的解法值得持续关注。5.2 真实场景长距离识别从实验室到安防的最后一公里实验室数据集的画面质量再差也有人工挑选的干净感真实监控视频却是另一回事距离远导致人体只有几十像素高、雨雾和夜间低照度导致轮廓噪声、镜头晃动造成帧间不稳定。很多在CASIA-B上表现优异的方法在真实场景数据上会掉得比较惨。针对这个问题后续的研究方向之一是超分辨率与识别的联合优化与其先把低分辨率图盲目放大再识别不如让超分模块与识别模块共享特征空间联合训练。另一个方向是设计对分辨率不敏感的网络结构比如通过多尺度特征融合或自注意力机制让模型对细节的依赖保持在合理水平。综述里虽然没有在这部分展开太多但这个方向在产业界绝对是刚需。5.3 轻量化和边缘部署是不可回避的现实如果你想在摄像头本地实时跑步态识别模型大小和推理速度就是硬约束。GaitSet这种十几层的CNN还好说像一些Transformer架构的大模型硬件成本会立刻上去。从部署角度量化、剪枝、蒸馏这些工程化手段可能会比改进网络结构更早落地。有一点很多初学者会忽略步态识别的实时系统不只是模型推理那一小步还包括检测、跟踪、裁剪、周期估计等一整条预处理链条。任何一个环节的延迟都会拖累整体帧率。所以如果你有工程背景建议从一开始就把整个pipeline的延迟预算考虑进去不要只盯着网络的FLOPs看。6. 总结我从这篇综述中真正带走的三件事这篇综述读下来给我最大的冲击不是某个方法多强而是整个领域的问题意识非常清晰——步态识别不是人脸识别的简单变种它有自己独特的技术哲学。第一件事是步态识别的核心难点不是识别而是不变性跨视角不变性、跨协变量不变性、跨时间不变性。什么时候你能把这三件事做扎实了模型才真正具备实用性。第二件事是无序集合建模是一个被低估的思路。GaitSet用非常简单的操作推翻了时序是步态识别的必要条件这个先验这种敢对领域共识动刀的精神在任何研究方向都值得学习。第三件事是数据协议比模型结构更能决定你的实验结果。同一篇论文复现不出来先别怀疑代码先检查协议训练测试身份是否重叠、视角是否跨域、Gallery和Probe的定义是否一致。这个教训是我在整个复现过程中交过最多学费的地方。最后聊点个人的方法论。我的习惯是读完综述搭建坐标系之后先复现一个最经典的基线对步态识别来说就是GaitSet把训练协议和数据流程跑通再去看那些改进工作。因为只有亲手跑通一次完整流程你才会真正理解文献里那些设为0.5采用Adam优化器BatchSize为64背后意味着什么也才有能力判断一篇新论文里到底哪些是真创新、哪些只是调参换皮。这条路看着笨但走过一遍之后整个领域的论文你都会有更敏锐的判断力。