在工业装备健康监测领域针对多维时间序列的类不平衡与类别重叠问题近期发表于Computers in Industry的论文“Deep attention SMOTE: Data augmentation with a learnable interpolation factor for imbalanced anomaly detection of gas turbines”提出了一种结合编码器-解码器与自注意力机制的混合重采样方法。本文将对该技术方案的核心设计与实现原理进行梳理与解析。一、研究背景与传统方法的局限燃气轮机在绝大多数服役时间内处于正常运行状态故障演化缓慢且样本量匮乏这导致监测系统采集的数据存在极高的类别不平衡度。同时早期退化数据与正常运行数据在物理特征上高度相近造成了严重的类间重叠。此外燃气轮机多通道运行参数呈现出高度交织的多维时间序列特性。论文图1不同重采样策略的几何表征及合成样本机制对比在处理此类不平衡学习任务时传统的重采样策略面临以下瓶颈欠采样方法通常直接剔除大量多数类正常样本容易丢失关键的稳态运行信息。常规过采样方法如传统 SMOTE 及其变体通过在少数类样本及其近邻之间进行线性插值来生成新样本。由于其插值因子是从均匀分布中随机抽取的在类间存在重叠时新生成的样本极易落入多数类样本密集的危险区域从而引入具有“异常”标签的伪噪声样本误导后续分类模型的判决边界。传统深度生成模型若直接在原始多维空间中基于小样本进行对抗生成或变分重构容易发生模式崩塌或出现偏向多数类特征的学习偏差。二、异常检测框架总体设计为同时保留多数类信息并抑制生成样本的噪声风险研究采用了一套三阶段构成的混合重采样与检测框架论文图2所提出异常检测框架总体流程基于聚类的欠采样利用聚类算法对多数类样本进行划分提取各簇的聚类中心作为代表性样本与全部原始少数类样本合并在保留多数类全局分布特性的同时初步缩减类别数量差距。特征空间投影与注意力增强生成训练一个自注意力编码器-解码器网络将欠采样后的样本映射到可分离的隐层特征空间在该特征空间中引入自注意力模块自适应计算插值因子完成少数类样本的高质量合成通过解码器网络将合成的隐层特征反向映射回原始物理特征空间。下游分类器推断将原始聚类中心样本、原始异常样本与解码后的合成异常样本重组为平衡训练集输入至基于多头自注意力的时间序列分类网络进行二分类训练。三、核心技术模块解析所提出的数据增强结构被命名为DA-SMOTE-ED其内部核心主要由编码器网络、深度注意力插值模块以及解码器网络构成。论文图4(a) DA-SMOTE-ED 总体架构(b) 深度注意力插值单元结构1. 结构可分离的编码器与解码器为了压缩类间重叠所造成的危险区域面积编码器采用多层多头自注意力变换层构建。该结构能够在不同子空间内自适应捕获多维传感参数间的时序演化相关性将原始重叠严重的时间序列映射至内聚度更高、类间距离更远的潜空间。解码器同样由多层多头自注意力结构配合末端线性映射层构成用于保证合成特征能够平滑还原为原始维度的时序信号。2. 自适应可学习插值因子的生成机制传统线性插值采用随机因子而本方案在隐层空间引入了一个注意力网络。具体过程为对于任意一个少数类样本在其最近邻域中选取同类近邻构成样本对将该样本对拼接后依次送入降维线性层、非线性激活层、升维线性层、二次激活层以及带门控饱和激活函数的输出层输出层给出一个严格位于有效开区间内的动态标量作为专属于当前样本对的自适应插值因子少数类合成向量即通过基准样本加上该动态因子调控的差分向量得到。3. 联合优化目标函数的设计为驱动生成模块学习到合理的物理表征和插值位置模型采用联合训练策略由两部分目标共同约束论文图5特征空间训练过程演变与引力/斥力拉推效应示意图类别平衡重构目标采用类别平衡加权的欧氏距离形式衡量输入样本与解码输出之间的重构差异。通过对不同类别样本赋予与其频次相关的衰减权重抑制训练集内样本规模差异带来的优化倾斜确保编码器与解码器能够完整保留时间序列的主干特征与低频演变趋势。三元组中心约束目标该目标直接作用于隐层特征。对于正常样本拉近其与正常类中心的距离推开其与异常类中心的距离对于异常样本执行对称的反向拉推。更关键的是新合成的少数类特征同样被纳入该目标的约束范围。在联合梯度回传的过程中该目标迫使注意力模块生成的插值因子必须让合成样本主动向少数类聚集中心靠拢并持续远离多数类聚集区从而在几何机理上防止合成点落入两类交界处的危险模糊地带。四、异常分类与方案拓展性在得到由原始特征空间映射返回的合成样本后合成样本与经欠采样保留的正常样本簇中心、全部原始异常样本混合构成平衡数据集。下游检测模型采用结构一致的自注意力网络以二值交叉熵作为优化准则利用多头机制直接建立多变量长程依赖特征到异常判别概率的映射。该框架在结构设计上具备良好的工程可扩展性若将二分类拓展至多故障模式识别任务仅需将重构目标拓展为按各类标签样本数自适应平滑加权的形式并将三元组中心约束调整为拉近当前样本至其所属类簇中心、同时推开至所有异类簇中心中的最近者即可在保持核心降噪插值特性的前提下适配多元分类工况。总结该研究针对工业监测数据中常见的“严重不平衡”与“早期故障类间模糊”双重约束通过在结构可控的自注意力特征空间中引入带拓扑约束的可学习插值机制为时序信号的过采样提供了一种技术路径。参考文献Deep attention SMOTE: Data augmentation with a learnable interpolation factor for imbalanced anomaly detection of gas turbines[J]. Computers in Industry, 2023, 151: 103972.https://www.sciencedirect.com/science/article/pii/S0166361523001227