原文Spectral Property-Driven Data Augmentation for Hyperspectral Single-Source Domain Generalizationhttps://ojs.aaai.org/index.php/AAAI/article/view/37296项目地址SPDDAhttps://github.com/hnsytq/SPDDA一、概述在过去的研究中常使用数据增强来模拟域漂移。但是盲目的增强可能导致产生的数据与现实世界出现误差过度强调现实又容易影响数据的多样性。如何实现增强数据和现实数据的平衡是该领域急需解决的问题。为解决这个问题本文提出了一种光谱属性驱动的数据增强算法spectral property-driven data augmentation,SPDDA它显式地解释了HSI的固有属性通过一个频谱分集模块沿着频谱维度对源域进行数据重新采样SPDDA可以生成具有不同频谱通道的样本并通过对通道之间相似性进行建模来构建通道级自适应频谱混合器从而避免了固定的增强模式。同时为了进一步提升增强样本的真实感本文还提出了空间-频谱联合优化机制SSCOM)该机制联合优化了空间保真度约束和频谱连续性自约束。具体来说还有用于构建信道掩码的频谱分集模块SDM和信道化自适应频谱混合器CASM。利用通道掩码来屏蔽语义信息较少的通道从而生成具有任意数量的通道的HSI对应于频谱异质性。然后CASM自适应地混合生成的HSI的通道其混合核大小和权重基于通道间的相似性为每个通道量身定制。二、方法图1. SPDDA模型整体架构SPDDA架构图图1所示具体来说首先源域被一个多层的ResBlock编码为特征向量式中H,W表示尺寸C表示通道数。然后分别被信道掩码和信道自适应频谱混合器处理。最后利用乘法将信道掩码、自适应混频和特征向量结合得到扩展样本,其中为随机整数。为了监督样本生成本文提出一种空间-光谱联合优化机制强制同时遵守空间保真度约束和光谱连续性自约束。此外基于的自适应谱约束权重也可以实现两个约束之间的动态平衡和协同优化。2.1频谱分集模块SDMSDM用来模拟光谱通道数随设备变化以及相邻通道的混合从而为注入扰动并生成扩展样本其结构如图一所示由一个信道掩码和一个信道自适应频谱混合器组成。其中信道掩码被用来屏蔽具有低语义分数的信道以获得具有任意数目的信道的HSI。CASM考虑了线性光谱混合模型构造了基于通道间相似性的通道高斯加权函数得到了不同权值和大小的混合核函数。SDM首先通过多个ResBlock对源域进行编码得到特征向量。然后通过自注意力机制提取中的语义信息得到语义特征。具体来说首先对进行归一化然后利用组卷积获得注意力机制需要的QKV。除此之外每个通道都会获得一个通道掩码计算公式如下式中S是语义得分通过仅激活分数最高的前K个通道即可实现屏蔽其他通道的功能K是随机数。另外本文还设计了CSAM可以使用更多的增强模式。如本文使用了余弦相似度来表征中各通道之间的相关性并获得相似性矩阵然后计算该矩阵的逐行标准差再利用构造通道高斯权重函数如下然后用通道掩码对特征进行掩码得到掩码矩阵再将CSAM的高斯权重引入通道相乘如下式2.2空间-频谱联合优化机制(SSCOM)该机制用于放置过多混叠干扰光谱维度和连续性以保持和的一致性。SSCOM包括空间保真度约束和频谱连续性自约束。公式如下2.2.1空间保真度约束上式中表均方误差损失表结构相似指数损失表梯度损失。和分别由和灰度化而来。2.2.2频谱连续性自约束虽然有助于保持频谱连续性但其缺乏有效的监督信息可能导致扩增的样本在频谱上出现过平滑现象。为了解决这个问题本文使用双曲正切函数的最小二乘法权值对通道值进行非线性调整。公式如下