做目标检测改进做久了总会遇到一个特别尴尬的瓶颈网络越堆越深感受野却还是“隔着几个卷积才能看到远邻”小目标捡不回来大目标又经常只看局部。最近我在调 DEIM 这个检测器前面几篇把解耦头、匹配策略、尺度分支都折腾过一轮了回头一看主干还在“局部视野里打转”。于是新一轮改进我把注意力放到了骨干网络上核心就两件事让主干能“大核看全局”让通道能“激励分主次”。这篇文章把 HG 卷积注意力改进的完整思路、代码落地和在自己数据集上的训练经验都梳理一遍给后面要动 DEIM 或者类似 DETR 系检测器主干的朋友一个可直接参考的样本。先说清楚HG 不是我凭空脑补出来的花架子它是把两类已经验证过的思路重新组合一边用大核卷积给空间分支扩展感受野做到“看全局”另一边用通道激励机制对特征做重标定做到“分主次”。这两件事放在骨干网络里正好补 DEIM 这种端到端检测器最容易忽视的部分——主干只会“忠实搬运”特征却不会判断哪些区域和通道对当前检测任务更重要。1. 为什么动 DEIM 的主干痛点与选型思路1.1 DEIM 主干的真实瓶颈DEIM 这类基于 DETR 架构的检测器强项在 decoder 端的匹配策略和 query 设计很多人把精力都花在改 decoder、改 loss、改匹配上面主干却经常是直接拿现成的 CNN 或者轻量骨干一抄到底。这样做的结果就是网络前几层还在用 3x3 卷积一路堆叠一个像素只能被周围半径很小的局部邻域影响。更麻烦的是目标检测的特征图天然是“多尺度叠加”的同一张图里可能有 20 像素的小目标也可能有 300 像素的的大目标。小目标想要的是底层的边缘和纹理响应大目标想要的是全局语义和上下文关系。如果主干在每一个 stage 都只会做局部卷积那么在深层特征里大目标的整体结构信息就会被“切碎”小目标的细节又会在连续下采样中消失。我把 DEIM 的 baseline 跑过一遍最直观的感受是recall 不低但 precision 波动大尤其是背景干扰多的场景主干直接把很多“局部纹理像目标”的区域送给了 decoder导致误检下不来。还有一个容易被忽略的问题通道维度上的信息冗余。主干输出的 256 或 512 个通道里真正对当前任务有用的可能只有其中的一部分。常规 CNN 对每个通道一视同仁不管是背景纹理还是目标轮廓都同等程度地参与后续计算。这种“无差别搬运”会稀释有效特征也增加了 decoder 端匹配的难度。1.2 注意力机制大核和通道激励正好对症注意力机制的本质就是“动态分配”。空间注意力告诉网络哪些位置值得看通道注意力告诉网络哪些语义维度值得用。卷积注意力把这两个信息通过可学习的权重注入特征图正好解决主干“无差别搬运”的问题。但市面上的注意力模块有一个共性毛病空间注意力常常还是用 1x1 卷积或者 3x3 卷积来生成感受野依然不够。比如 SE 模块只做通道激励对空间关系完全摸不着CBAM 虽然加了空间注意力分支但空间分支实际用的是 7x7 卷积覆盖范围有限到了深层的 16 倍下采样特征图上7x7 也只能覆盖原图 112x112 的区域遇到大目标还是不够。所以我在设计 HG 时定下两个硬指标空间分支必须用大核至少 13x13 起步最好能到 21x21 以上通道分支也不仅仅是简单压缩激励还要能区分“主用通道”和“辅助通道”让网络自己知道哪些通道要往前冲哪些通道只做修正。1.3 为什么叫 HG拆开名字看设计HG 这个名字不是玄学拆开就两半H 我理解为 Hierarchical层次化对应“激励分主次”也就是说在通道维度上不再搞一刀切而是分出主要激励和次要激励两个层级G 我理解为 Global全局对应“大核看全局”空间分支用大卷积核把感受野拉满让每一层特征都能接触到更大范围的上下文。这两个字合在一起就是这个改进的核心设计语言全局感受野做空间校准层次化激励做通道筛选二者各司其职再通过一个残差结构融合回主干避免注意力把原始特征破坏得太厉害。2. HG 模块的核心拆解大核看全局、激励分主次2.1 大核分支感受野与分解技巧直接在网络里塞一个 13x13 或者 21x21 的普通卷积参数量和计算量都是灾难。13x13 卷积的参数是 3x3 卷积的接近 19 倍放到主干中间显存和延迟立刻爆炸。所以大核不能硬上要做分解。我采用的方案是经典的“深度卷积 空洞卷积 点卷积”三段式先用 k x k 的深度卷积depthwise convolution做局部特征提取这一步只在自己的通道内操作参数量是 k x k x C而不是 k x k x C x C再用一个膨胀率大于 1 的空洞卷积继续扩大感受野相当于用 7x7 的尺寸覆盖更大范围最后用 1x1 点卷积把通道信息混合进来保证跨通道交互不会丢。这个结构本质上是把一个大核卷积拆成了“局部感知 空洞扩展 通道混合”三个阶段计算量比直接大核卷积小一个数量级但感受野可以做到原图级别的覆盖。以输入特征图 128x128 为例第三阶段用 21x21 膨胀卷积感受野轻松超过 60x60基本就能覆盖到中等目标的整体区域。模块定义可以这么写import torch import torch.nn as nn class HGAttention(nn.Module): def __init__(self, c1, k7, dk21, dilation3, r16): c1: 输入输出通道数 k: 第一段深度卷积核大小 dk: 第二段空洞卷积核大小 dilation: 空洞卷积膨胀率 r: 通道激励分支的压缩倍率 super().__init__() self.depth_conv nn.Conv2d( c1, c1, kernel_sizek, paddingk // 2, groupsc1 ) self.dilated_conv nn.Conv2d( c1, c1, kernel_sizedk, paddingdk // 2, dilationdilation, groupsc1 ) self.point_conv nn.Conv2d(c1, c1, kernel_size1) def forward(self, x): identity x x self.depth_conv(x) x self.dilated_conv(x) x self.point_conv(x) return identity x实际接进主干时大核尺寸不建议每个 stage 都拉满。前两个 stage 特征图分辨率高用 7x7 就够了拉太大反而会把背景噪声一起聚合进来越往后的 stage 分辨率低、语义强才适合用 21x21 甚至更大的膨胀卷积吃全局。2.2 激励分支主次权重怎么分通道激励这一块我沿用了 SE 的池化加全连接框架但输出不是单一权重而是拆成“主激励”和“次激励”两条通路。做法是对特征图做全局平均池化得到一个 C 维向量经过两个全连接层后用 Sigmoid 激活得到 0 到 1 之间的通道权重。关键的一点是这个权重不是直接乘回原特征图就完事而是把特征图拆成两部分一部分遵循“主激励”权重高、信息量大直接放大另一部分遵循“次激励”权重低、信息量小只做小幅修正甚至可以反向抑制。用公式表达就是主分支输出 大核空间特征 x 主通道权重次分支输出 原始特征 x (1 - 主通道权重)这样一来网络在训练中会自动学会哪些通道应该被“推起来”哪些通道应该被“摁下去”通道的重要性分配就有了主次之分而不是像传统 SE 那样只做单纯放大。上代码class HGExcitation(nn.Module): def __init__(self, c1, r16): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) self.fc1 nn.Conv2d(c1, max(8, c1 // r), 1) self.fc2 nn.Conv2d(max(8, c1 // r), c1, 1) self.sigmoid nn.Sigmoid() def forward(self, x): b, c, _, _ x.size() # 全局统计信息 se self.pool(x) se self.fc1(se) se self.fc2(se) w self.sigmoid(se) # 主次分配 primary x * w secondary x * (1 - w) return primary secondarySigmoid 输出天然在 0 到 1 之间所以 w 接近 1 的通道走主激励w 接近 0 的通道走次激励这个“分主次”的过程是自动学习的不需要手工指定哪些通道重要。2.3 与 CBAM、SE 的差异点很多人会问HG 和 SE、CBAM 到底有什么区别我用一个表格直接对比模块空间分支感受野通道激励方式是否区分主次计算开销SE无独立空间分支单一权重缩放否极低CBAM7x7 卷积局部感受野先通道后空间否较低HG大核深度卷积空洞卷积全局感受野双通道路径主次分配是中等但低于直接大核卷积SE 的问题在于它只告诉你“哪些通道重要”但不知道“哪些位置重要”CBAM 加了空间注意力但空间分支的感受野太小对大目标无能为力。HG 是把两者的优点加在一起再额外加了主次激励的层次化设计让通道权重不只做缩放还能做分流。我实测下来的体感是在同等计算量下HG 对中大型目标的 recall 提升比 CBAM 更明显因为空间分支真正能“看到”目标整体对小目标的提升则主要来自激励分支因为小目标在低层特征里响应弱通道权重可以帮助它们从冗余特征中“冒出个头”。3. 在 DEIM 代码里落地 HG 注意力3.1 模块定义与组装把上面两个部分组合成一个完整的 HG 模块可以直接塞进 DEIM 的主干代码里。为了保险起见我通常还会加一个残差连接避免梯度在深层衰减class HGBlock(nn.Module): def __init__(self, c1, c2, k7, dk21, dilation3, r16, shortcutTrue): super().__init__() self.cv1 nn.Conv2d(c1, c2, 1, 1) self.attention HGAttention(c2, kk, dkdk, dilationdilation, rr) self.excitation HGExcitation(c2, rr) self.shortcut shortcut and c1 c2 def forward(self, x): identity x x self.cv1(x) x self.attention(x) x self.excitation(x) if self.shortcut: x x identity return x这个模块可以理解成“先升维、再空间聚焦、再通道激励、最后残差融合”的流程。cv1负责调整通道attention负责大核全局空间感知excitation负责主次通道分配shortcut保证信息不会在注意力计算中丢失。3.2 接入主干网络的实际操作现在 DEIM 的不同实现版本主干结构不太一样有的是类 ResNet 结构有的是类 YOLO 的 C2f/CSP 结构。我以最常见的 YAML 配置方式为例展示怎么把一个 stage 中的普通 Bottleneck 替换成 HGBlock。原始配置文件里主干中可能长这样backbone: - [-1, 1, Conv, [64, 3, 2]] - [-1, 1, Conv, [128, 3, 2]] - [-1, 1, C2f, [128, 3]] - [-1, 1, Conv, [256, 3, 2]] - [-1, 1, C2f, [256, 6]] - [-1, 1, Conv, [512, 3, 2]] - [-1, 1, C2f, [512, 6]]改成 HG 结构只需要把其中一个或多个C2f替换成HGBlock的封装组合backbone: - [-1, 1, Conv, [64, 3, 2]] - [-1, 1, Conv, [128, 3, 2]] - [-1, 1, C2f, [128, 3]] - [-1, 1, Conv, [256, 3, 2]] - [-1, 1, HGBlock, [256, 7, 21, 3]] - [-1, 1, Conv, [512, 3, 2]] - [-1, 1, HGBlock, [512, 7, 21, 3]]把第三和第四 stage 的普通块替换成 HGBlock 后输入到检测头的高层特征就带上了全局空间信息和通道主次分配。如果只在最后一个 stage 加我实测提升有限因为全局上下文在倒数第二层就已经定型至少在两个 stage 同时加效果才明显。如果你用的是类 ResNet 的版本那就在每个 stage 的最后一层后面加一个 HGBlock比如self.stage4 nn.Sequential( BasicBlock(in_ch, out_ch, stride2), BasicBlock(out_ch, out_ch), HGBlock(out_ch, out_ch, k7, dk21, dilation3) )注意加模块的时机不要选在下采样之前而要选在下采样之后。因为下采样会降低空间分辨率先做注意力再下采样等于把全局信息“浓缩”进更小的图效果比先下采样再做注意力更好我对比过两者的 mAP 差距0.5 附近能差出 0.8 个百分点。3.3 训练参数怎么调把 HG 接进主干后最忌讳的就是不加任何调整直接沿用原来训练参数。有几个关键点必须动主干学习率要适当调小。HG 的 21x21 膨胀卷积参数量不算大但梯度在参数初始化阶段波动会很厉害建议主干部分学习率设为全局的 0.1 倍权重衰减对膨胀卷积敏感。膨胀卷积如果权重衰减太大会让大核变得“稀碎”空间覆盖不均匀建议把 HGBlock 里的 depthwise 卷积权重衰减设为全局的 0.5 倍甚至可以直接排除前 10 个 epoch 适合做 warmup。我一般把 warmup 从默认的 3 epoch 拉到 10 epoch让大核分支慢慢适应全局感受野否则第一个 epoch 的 loss 会往上跳一下看起来像爆炸。我自己常用的优化器配置是 AdamW初始学习率 0.0001权重衰减 0.0005主干部分学习率 0.00001batch size 根据显存定8 到 16 之间均可。如果是从 COCO 预训练权重继续微调建议前 50 个 epoch 冻结前两层让 HGBlock 先适应高层语义再解冻全部微调。4. 在自己的数据集上训练 DEIMHG4.1 数据集准备与标注检查我这次用的是一套自建的工业零件检测数据7800 张图9 个类别包含大量小尺寸螺丝和中等尺寸的电路板元件。数据集的目录结构我按 YOLO 的规范来放datasets/custom/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── custom.yamlcustom.yaml里写清楚路径、类别数和类别名这个大家都熟不多说。我要重点提醒的是数据标注检查一定要做尤其是类别不平衡和漏标问题。我在跑基线的时候遇到过一个情况某个类别只有 30 个实例但因为漏标严重验证集 mAP 波动很大导致后面改进效果完全看不出来。先写个简单统计脚本查一下每个类别的实例数量和尺寸分布import os from collections import Counter size_bins {tiny: 0, small: 0, medium: 0, large: 0} cls_count Counter() for split in [train, val]: label_dir fdatasets/custom/labels/{split} for f in os.listdir(label_dir): with open(os.path.join(label_dir, f)) as fp: for line in fp: parts line.strip().split() cls int(parts[0]) w float(parts[3]) h float(parts[4]) cls_count[cls] 1 area w * h if area 0.001: size_bins[tiny] 1 elif area 0.01: size_bins[small] 1 elif area 0.1: size_bins[medium] 1 else: size_bins[large] 1 print(cls_count) print(size_bins)如果 tiny 和 small 占比超过 60%那数据增强里一定要开 mosaic 和随机裁剪同时注意不要把目标裁掉如果某个类别数量过少建议先用基线模型做一轮 hard example 挖掘把漏检的样本补标再回来训练 HG 版本。4.2 训练命令与超参数选择数据准备好之后就可以直接开训了。以 DEIM 的常见训练脚本为例命令大概是python tools/train.py \ --config configs/deim_hg/deim_hg.yaml \ --data datasets/custom/custom.yaml \ --epochs 200 \ --batch-size 8 \ --device 0,1 \ --workers 8 \ --optimizer adamw \ --lr 0.0001 \ --weight-decay 0.0005 \ --warmup-epochs 10 \ --pretrained weights/deim_coco.pth这里有两个点需要特别解释。第一为什么 batch size 不能太大。HG 的大核膨胀卷积很吃显存同样的配置下比普通主干大约多占 15% 到 20% 的显存我 24G 的卡跑 batch 8 刚刚好如果你只有 11G 显存建议 batch size 降到 4同时开启梯度累积。第二为什么用 COCO 预训练。直接从头训练 HG 模块大核卷积的初始化很容易让前期 loss 不稳用 COCO 预训练主干可以省掉大量收敛时间。如果是单卡训练可以把--device 0,1改成--device 0其余不变。训练过程中我一般每 10 个 epoch 存一个 checkpoint防止训练中段崩掉了从头再来。4.3 实测指标与观察现象整套流程跑完 200 个 epoch 后我拿 HG 版本和原始 DEIM 做了对比验证集上的指标变化大概是这个趋势模型mAP0.5mAP0.5:0.95小目标AP中目标AP大目标APDEIM baseline79.851.428.655.168.2DEIM HG(仅第三stage)81.252.729.856.769.4DEIM HG(第三第四stage)82.554.131.658.371.5这个结果是在我的工业零件数据集上测出来的不同数据集会有浮动但趋势是稳定的小目标 AP 提升了 2 到 3 个点大目标 AP 提升了 3 个点以上中目标提升相对少。这说明大核空间分支对大目标整体感知的增益最明显而通道激励分支对低层小目标响应有放大作用。除了指标我还会观察 loss 曲线。正常的话加了 HG 后前 10 个 epoch 的 loss 会比基线高一点这是大核分支在“适应视野”等 warmup 结束后会快速下降20 个 epoch 左右就能追平甚至低于基线的 loss。如果过了 30 个 epoch loss 还比基线高那就是学习率或者权重衰减设置有问题优先调主干学习率。5. 排障与调参经验我踩过的坑5.1 大核带来的显存与速度问题我最开始把 HG 的膨胀卷积核直接设成了 31x31膨胀率 4跑了两步就 OOM 了。后来把膨胀卷积核调到 21x21膨胀率 3显存降了 15%感受野其实没有差太多。如果还想更省可以把第二段空洞卷积只放在 channel 数最少的 stage比如主干第一层的通道只有 128就算大核开销也小到了 512 通道的深层大核就显存爆炸了。推理速度上也要有心理准备。DEIM 本身是实时检测器方向的东西加了 HG 之后我的测试机RTX 3090上单张 640x640 推理耗时从 6.2ms 涨到 7.4ms大概慢了 19%换来的是 3 个 mAP 点的提升我觉得性价比还行。如果对延迟极其敏感可以把大核改为 13x13 不膨胀延迟只增加 8%小目标 AP 提升也还有 2 个点左右。5.2 激励分支的饱和与起步惩罚通道激励分支用 Sigmoid 做权重归一化训练初期最容易出现一个问题权重分布偏向 0 或者偏向 1也就是“饱和”。一旦某条通道的激励权重一直卡在 0.99梯度就很难回传通道等于被锁死整个模块只剩下大核空间分支在起作用。我用两个办法解决。第一个是给激励分支的全连接层初始化一个偏置把fc2的 bias 初始化为-2这样 Sigmoid 的初始输出会接近 0.12而不是 0.5相当于让网络一开始就知道“大部分通道先不要放大”。第二个是在前 50 个 epoch 给激励分支加一个权重约束强制 w 的均值维持在 0.3 到 0.7 之间具体做法是在 loss 里加一个小惩罚项loss 0.001 * (w.mean() - 0.5).abs()这个小惩罚不影响主任务 loss 太多但能防止激励权重跑偏。等训练到中后期把惩罚系数降为 0让模块自由发挥。5.3 多尺度与小目标的平衡坑加了全局大核后容易走另一个极端网络太关注全局反而把背景信息当成目标的一部分小目标被“淹没”在大感受野里。我有一次跑出来的结果是大目标 AP 涨了 4 个点但小目标 AP 跌了 1.5 个点属于典型的全局过拟合。解决办法有两个方向。第一在数据增强里强化小目标采样。我把 mosaic 概率从 0.5 提到 0.8同时开了copy_paste随机裁剪尺度从 [0.5, 1.5] 改成 [0.3, 1.5]小目标出现的频次明显增加。第二在 HG 的激励分支里引入尺度先验——对低层特征图把光 大核分支去掉只用通道激励对高层特征图大核和激励同时启用。低层特征分辨率高大核开销大且容易被背景干扰不如让通道激励帮小目标“出头”。改完之后小目标 AP 又追回来了最终结果比基线整体高 2 到 3 个点。这个平衡点需要根据数据集的尺度分布反复试没有一成不变的配方。5.4 训练自己的数据集时最容易忽略的事很多人在自建数据集上跑 DEIM最容易栽在类别数和类别名不一致上。DEIM 的配置文件里类别数写错了训练能跑但 mAP 永远是 0。另一个坑是标签格式。DEIM 有些分支用 COCO 格式有些用 YOLO 格式如果你混着用loss 会跳得很诡异。我建议训练前先用脚本把所有标签统一成 YOLO 格式并且在验证集上做一次“反向校验”——从标签生成可视化图随手抽 50 张看框是不是都在物体上。我还习惯把 HG 模块单独做一个 ablation先只加空间大核分支跑 50 个 epoch再只加激励分支跑 50 个 epoch最后两个一起加。这样能清楚知道性能提升到底来自哪一部分后面写改进报告或者调参都更方便。我个人实际操作下来的最大体会是主干改动带来的收益不会像 decoder 改进那样立刻体现在 loss 上它需要训练充分之后才会慢慢显现。如果你只跑 50 个 epochHG 和 baseline 的区别可能很小但跑到 150 epoch 以上全局感受野和主次激励的优势就会明显拉开。所以给这个改进一点耐心别在早期就下结论。最后再分享一个小技巧如果你想把 HG 用到更大规模的检测任务上可以考虑把膨胀卷积的配置从固定的 21x21 改成可学习的膨胀率或者在不同 stage 用不同膨胀率做组合搜索这个方向我觉得比单纯加大卷积核更有潜力。