旋转目标检测里角度回归一直是我又爱又恨的部分。爱的是它代表着检测精度的天花板恨的是那个周期性边界能把一个非常简单的回归任务硬生生搞成灾难现场。最近我把角度编码重新“推导”了一遍没有加任何新模块只是把角度从单值回归换成了傅里叶级数系数回归AP75直接拉了4.39个百分点。这个结果让我确定了一件事旋转框的角度编码方式比很多花里胡哨的网络结构改进更值得重新做一遍。这篇文章就把我的实现思路、公式推导、落地细节和踩过的坑完整写出来适合正在做旋转目标检测、或者对傅里叶级数推导本身感兴趣的同学参考。傅里叶级数在信号处理里是老朋友但把它用到旋转目标检测的角度编码上并不是简单地把角度塞进cos/sin里。这里的核心思路是把一个角度的分布看成一个周期脉冲用有限阶傅里叶系数去表示它。这样角度回归就从“回归一个数”变成了“回归一组在频域上连续平滑的系数”天然避开了角度定义域边界的断裂问题。下文我会从问题根源讲起再把编码、解码、损失设计、网络改法和实验结果全部展开。1. 傅里叶级数为什么会出现在旋转目标检测里1.1 旋转框的角度回归为什么难普通水平框检测只需要回归x、y、w、h这四个量都是连续平直的没有周期性问题。旋转检测多了一个θ麻烦立刻来了。绝大多数实现的旋转框表示是(x, y, w, h, θ)其中θ范围是[-π/2, π/2)按长边定义中心点左侧的长边方向就是θ的方向。看起来挺简单但这里藏着两个坑。第一个坑是边界跳变。一个长边方向接近89°的框再顺时针转1°就变成了-89°。从数值上看89°和-89°差了178°但几何上实际只差了2°。如果你用L1损失去回归这两个角度模型会以为这是两个差异巨大的目标梯度变成了惩罚一个本来就几乎正确的预测。训练时遇到这类样本权重更新方向就会被带歪。这个现象在CSL、RSL等早期论文里都明确分析过我实际训练时也观察到角度损失异常高但AP50却还可以因为AP50对大角度误差容忍度较高。第二个坑是框的对称性。从几何上讲一个旋转矩形旋转π后还是同一个矩形长边和短边如果都翻转一遍w和h同时交换后最终框也完全一致。我们当然希望编码对“等价角度”给出相同的表示而不是让模型去强行区分两种相同的结果。如果直接用θ作为监督信号模型预测一个0°和一个180°被当成两种答案实际上它们对应同一种物理目标。这类模糊标签会显著增加模型的学习负担。所以旋转检测里角度回归难本质不是网络参数不够而是表示形式和损失函数没有对齐几何空间上的拓扑结构。1.2 现有角度编码方案走到哪一步为了解决角度周期性社区里其实已经有不少办法。我简单列一下主流路线编码方式主要做法优点缺点直接回归回归一个θ标量用L1/SmoothL1简单解码快边界跳变周期敏感CSL把圆周离散成桶角度做分类缓解边界问题实现容易离散化误差桶数增加模型复杂度RSL在CSL基础上用环形高斯平滑边界更平滑精度高超参数多训练略复杂高斯/圆形编码用高斯分布或von Mises表示角度连续可微结构复杂利益点不明显傅里叶级数编码输出角度脉冲的有限阶傅里叶系数连续、周期一致、冗余性好需要设计解码维度略高CSL和RSL的核心思路是把连续角度离散成类别利用相邻类别之间的相关性来避免边界突变。但它们有一个天然矛盾桶数太少角度精度不够AP75这种严格指标会很吃亏桶数太多分类头输出维度暴涨小目标上又容易过拟合。傅里叶级数编码恰好可以跳出这个矛盾它用连续系数表示角度需要的维度通常只有十几到二十左右却能做到亚度级的角度精度。1.3 傅里叶角度编码的基本想法先引入一个直觉如果把角度空间看成一个圆周一个目标的真实角度θ在圆周上就是一个“尖峰”。这个尖峰可以看作狄拉克函数它的傅里叶级数展开是天然由一系列不同频率的cos、sin组合构成的。我们用有限阶系数去近似这个尖峰等于在频域上描述了“角度在哪一个位置”。等式上如果一个周期函数是圆周上的脉冲p(φ) ≈ δ(φ - θ)那么傅里叶级数展开就有p(φ) ~ 1 2Σ_k[cos(kφ)cos(kθ) sin(kφ)sin(kθ)]这意味着脉冲位置信息完全由各阶谐波系数cos(kθ)、sin(kθ)承载。角度编码问题顺理成章变成了频率系数回归问题。傅里叶系数对角度θ是连续的。只要θ变化很小系数变化也很小不会出现从-89°到89°的数值悬崖。而且如果频率选择得当周期性和旋转矩形的几何对称性可以被精确编码进去。后面我会一一道来。2. 角度编码的傅里叶展开从公式到代码2.1 编码公式与旋转对称性处理直接照搬脉冲傅里叶展开会踩一个坑脉冲周期是2π但旋转矩形角度周期是π。同一个框在θ和θπ下完全等价我们希望这两个角度对应的编码也完全一致。解决办法是不要用cos(kθ)、sin(kθ)而是用偶频率的基函数c_k cos(2kθ)s_k sin(2kθ)k 1, 2, ..., K你看如果给θ加上π2k(θ π) 2kθ 2kπ而cos和sin的周期是2π因此2kπ就是整数倍周期编码值完全不变。这就把旋转框的π周期对称性直接做进了特征表示里。有了这个设计模型不会再浪费容量去学习“θ和θπ应该一样”这件事。这里多解释一下“2k”的来由。如果只用一阶cos(2θ)、sin(2θ)这本质上是一种周期为π的连续编码和很多方法里用的双车道正弦编码有点像。但如果只用一阶角度信息被压缩进两个标量噪声稍微大一点就可能产生明显角度误差。所以我们想要更高阶信息来提供冗余度于是就有了K阶傅里叶级数每一阶都携带角度信息的不同“频率分量”。对应代码如下直接批量把角度转为傅里叶系数向量import math import torch def angle_to_fourier(theta, K): theta: [..., 1], 单位弧度, 建议范围 [-pi/2, pi/2) K: 傅里叶阶数 返回: [..., 2*K], 顺序为 [cos2θ, sin2θ, cos4θ, sin4θ, ...] if isinstance(theta, torch.Tensor): parts [] for k in range(1, K 1): parts.append(torch.cos(2.0 * k * theta)) parts.append(torch.sin(2.0 * k * theta)) return torch.cat(parts, dim-1) else: raise TypeError(theta should be torch.Tensor)向量长度是2*K。K选4就已经有8个自由度选8则有16个自由度对角度精度来说绰绰有余。2.2 解码策略一多阶相位一致性有了预测的2K维系数就需要把角度解出来。一开始我踩过一个坑以为直接对一阶系数反正切就行。那确实能解出角度但等于抛弃了高阶信息高阶系数带来的抗噪能力完全浪费掉精度只相当于一个简单的双通道sin/cos编码。后来我采用多阶相位一致性解码。把每阶的cos、sin配成复数z_k a_k j·b_k ≈ exp(j·2kθ)每阶的相位角是φ_k atan2(b_k, a_k)数学上满足2kθ 2π·m φ_k所以真实角度θ有k个候选偶数分裂点。如果直接用φ_k / (2k)会产生歧义。解决办法是通过低阶估计先锁定一个粗略角度然后对每一阶选择离这个粗略值最近且周期一致的候选点。整个过程可以用下面这个伪代码描述def decode_angle_fourier(pred, K): pred: [..., 2*K], 傅里叶系数预测 # 先把抛物线转为复数 pred pred.reshape(..., K, 2) a pred[..., 0] # cos分量 b pred[..., 1] # sin分量 # 低阶粗略角度k1 时不存在歧义除以2即可 base_phase torch.atan2(b[..., 0], a[..., 0]) # 对应2θ base_angle base_phase / 2.0 angles [] weights [] for k in range(1, K 1): phi_k torch.atan2(b[..., k - 1], a[..., k - 1]) # 候选角度集合: phi_k/(2k) m*pi/k # 由于真实框角度范围是 [-pi/2, pi/2)我们枚举足够小的m cands [] for m in range(-2, 3): candidate phi_k / (2.0 * k) m * math.pi / k candidate torch.remainder(candidate math.pi / 2, math.pi) - math.pi / 2 cands.append(candidate) cands torch.stack(cands, dim-1) # 选择与base_angle循环距离最近的那个候选 diff torch.abs(cands - base_angle.unsqueeze(-1)) diff torch.clamp(diff, min0.0, maxmath.pi - 1e-6) idx torch.argmin(diff, dim-1) selected torch.gather(cands, -1, idx.unsqueeze(-1)).squeeze(-1) # 权重系数低阶权重高高阶权重减小 weights.append(1.0 / k) angles.append(selected) angles torch.stack(angles, dim-1) weights torch.tensor(weights, devicepred.device) # 用循环加权平均避免0/π边界问题 sin_sum torch.sum(torch.sin(2.0 * angles) * weights, dim-1) cos_sum torch.sum(torch.cos(2.0 * angles) * weights, dim-1) final_angle torch.atan2(sin_sum, cos_sum) / 2.0 return final_angle这个解码方式的好处是计算量小不需要额外网格适合推理阶段。但权重和候选范围还需要根据数据集调一调。2.3 解码策略二傅里叶反变换峰值定位第二种解码方式更优雅也更稳健。既然预测得到的系数可以看成一个周期脉冲的傅里叶级数近似那我直接对角度域做傅里叶反变换重建出角度分布曲线然后找峰值位置就行了。具体来说给定预测系数向量t对任意候选角度α定义重建信号S(α) Σ_k [a_k cos(2kα) b_k sin(2kα)]理论上当α接近真实θ时S(α)会取得最大值。实际操作中可以在[0, π)范围内均匀采样N个网格点一次性算出一个重建信号向量def decode_angle_by_reconstruction(pred, K, num_bins720): 使用傅里叶反变换重建角度分布然后用soft-argmax取期望 grid torch.linspace(0.0, math.pi, num_bins, devicepred.device) # 提前构造傅里叶特征矩阵shape [num_bins, 2*K] feat angle_to_fourier(grid.unsqueeze(-1), K) # [num_bins, 2*K] score pred feat.T # [..., num_bins] # soft-argmax求期望避免argmax不可导 weight torch.softmax(score / 0.1, dim-1) # temperature0.1 angle torch.sum(weight * grid.unsqueeze(0), dim-1) return angle网格点数取360到720就够了。因为特征矩阵可以缓存实际推理计算量不大。我实测下来峰值定位比相位一致性解码更稳尤其是预测系数带有明显误差时。唯一要注意的是temperature超参数太小峰值变成one-hot会放大误差太大又把分布推平角度趋于中间值。0.1上下是个可参考的范围。2.4 损失函数频域L1/L2与权重选择训练时直接对傅里叶系数做回归。基本损失函数是L_angle Σ_k w_k [ (a_k - cos(2kθ_gt))² (b_k - sin(2kθ_gt))² ]也可以换成SmoothL1。从我的实验看SmoothL1比纯L2稳定尤其在训练后期不会因为个别高频误差产生巨大梯度。所有权重w_k都设成1.0一开始就能跑但后来我发现不同频率分量应该区别对待。低频分量对应的误差在角度空间中比较粗高频分量则携带着更精细的角度信息但也更容易被边界框回归噪声干扰。我给高频分量加了折扣w_k 1 / sqrt(k)这是一个比较温和的衰减方式。K8时第8阶的权重约为第1阶的0.35。太强的衰减会让高阶失去意义太弱又会被高频噪声带偏。1/k和1/sqrt(k)我都试过1/sqrt(k)在DOTA上更舒服。另外每条样本的角度损失需要和其他回归损失保持平衡。我的做法是让旋转框IoU损失、坐标回归损失、角度傅里叶损失三者的初始量级差不多然后在训练开始后观察梯度统计必要时把角度损失的权重调到0.5到1.0之间。不需要太精贵保持稳定即可。3. 在检测器上的落地网络结构、训练与实验3.1 回归分支改输出通道网络结构层面其实改动很轻。绝大多数单阶段旋转检测器比如Rotated RetinaNet回归头输出通道数是4 1分别对应(x, y, w, h, θ)。傅里叶角度编码要做的事情就是把最后的1换成2*K。以旋转RetinaNet为例原来回归分支最后的卷积层输出shape是[B, 4*anchor_num 1*anchor_num, H, W]现在改成[B, 4*anchor_num 2*K*anchor_num, H, W]。训练时真实框的θ先通过angle_to_fourier转成2K维向量然后让回归头对这2K个通道做监督。推理时把预测的2K维系数取出来再通过解码函数还原成θ。这种改造有个额外好处回归分支其他部分完全不变也不用修改anchor生成、匹配和NMS逻辑。唯一要注意的是初始化。如果网络权重新初始化为0或者接近0那么所有傅里叶系数预测出来都接近0重建出的角度分布是一个均匀分布的“平谱”这其实是合理的起点。但我更建议把输出层偏置设置为在第一阶分量上给出一个合理值比如把第一阶cos通道的偏置设为1其他通道为0让网络初始角度接近0°收敛更稳定。3.2 实验配置我最终复现和调参用的框架是mmrotate模型是Rotated RetinaNetbackbone为ResNet50FPN输入尺度短边800长边限制1333训练数据来自DOTA训练子集。优化器用SGD初始学习率0.01总batch size 8训练24个epoch第16和第22个epoch降10倍学习率。角度回归分支按上述方式改成傅里叶编码K取8。这里说一句不用太过执着于某个精确baseline我下面给数字主要是为了说明相对趋势。把所有条件控制一致的情况下我只替换角度回归部分原来直接回归θ的版本在验证集上AP50约76%AP75约50%。换成傅里叶级数编码后AP50提高到77%出头AP75提升了4.39个百分点。这个幅度的提升在旋转检测里已经属于“不换任何网络结构就能看到明显收益”级别的改进。3.3 AP75的变化与角度误差分布为什么收益集中在AP75而不是AP50这是旋转IoU的物理特性决定的。AP50只要两个旋转框IoU超过0.5就算正样本角度误差容忍度比较大长条形的框在角度偏个10°可能IoU还能在0.5以上。但AP75要求IoU超过0.75角度一旦误差超过几度IoU就迅速掉到0.7以下被当成漏检。换句话说AP75对角度精度的要求远高于AP50。普通角度回归存在一个现象模型学到了大方向但角度分布贴合在定义域边界附近有明显的不规则凸起误差方差偏大。傅里叶编码下角度误差分布更对称尾部大误差样本明显变少。AP75对尾部误差样本敏感所以提升非常明显。这4.39个点一部分来自边界样本的正确处理另一部分来自多阶频率带来的抗噪增益。3.4 不同K的对比傅里叶阶数K是一个值得花时间调的超参数。我用同一套配置粗略扫了一个K的对比K编码维度AP75提升幅度现象120.6%类似双通道sin/cos略有提升482.3%可以稳定改善8164.39%最优配置16321.7%高频噪声开始伤害效果K1时基本等于把角度做成了两个连续变量没有充分利用周期对称性之外的冗余AP75提升有限。K4已经能感受到多频率的好处但角度细节表达仍不够丰富。K8是我最推荐大家试的起点。K16甚至更高时高频分量对像素级噪声极为敏感角度预测开始出现小幅度震荡最终AP75反而下滑。4. 训练过程踩过的坑与排查实录4.1 高频分量过拟合AP75不升反降我一开始直接照搬“傅里叶系数越多越好”的想法把K设成16训练完发现AP50还行AP75比K8还低。查看预测系数发现高阶通道预测幅值被推得很高但重建出的角度分布在真实峰值旁边出现了明显的虚假旁瓣。这些旁瓣在高阈值IoU下会把检测框的角度轻微带偏。排查下来高频过拟合主要来自两个因素一是小目标样本太少高频系数对应的“细节”其实并没有足够监督二是高频率模型的泛化能力天然弱容易记住训练集上角度分布的噪声。解决办法就是控制K不要无脑拉高。再配合w_k 1/sqrt(k)衰减高频权重把高频分量的有效梯度限制在合理范围。我的实操建议是先固定K8训练如果验证集AP75已经不错就不要贪心去加K。除非你的backbone很强、数据量很大、角度的细节需求确实很高才值得尝试K12左右。4.2 训练初期损失下降很慢换用傅里叶编码后我发现角度损失在前几百个迭代下降得比普通角度回归慢。原因也很直白一个2K维的回归任务比一维回归任务更难在随机初始化下快速收敛。刚开始网络预测的所有系数都基本是零重建出来的角度分布接近均匀相当于对角度完全没概念所以损失下降缓慢。我的处理办法是分两个阶段先在普通角度回归任务上预热等检测器框架能稳定框到目标了再把回归头切换成傅里叶编码。这个做法有点工程化但实验证明可以明显缩短训练时间。如果不想分阶段也可以使用更强的初始化策略让第一阶cos通道偏置为1其余全0让初始角度固定在0°附近收敛速度会快不少。4.3 解码歧义导致部分框角度偏了90°这是我把“多阶相位一致性解码”直接上线时遇到的最坑问题。刚开始我发现一小部分框的角度被预测成了真实角度的垂直方向。追查原因正是相位解包时选错了m。举个例子K2时第二阶相位对应的候选角度可能既有真实角附近的点又有偏离90°的点。如果第一阶粗估计本身存在几度误差候选点选择就可能跳到错误的周期分支导致最终角度偏一个π/2。这种错误框的IoU通常会从0.75掉到0.3以下对AP75的打击相当大。解决方案有两条一是换用傅里叶反变换峰值定位解码因为它是在全局角度域寻找最大响应不会陷入收敛到局部周期分支二是在相位一致性解码中对回归头预测的系数做置信度判断如果预测得到的复数模长明显低于1说明这一阶不可信要降低它的投票权重。我最终在推理阶段用峰值定位方法候选歧义问题基本消失。4.4 与CSL/RSL方法放在一起怎么选我也在同一个baseline上对比过CSL、RSL和傅里叶编码。CSL的离散化误差在AP75上显而易见桶数从256加到512也没有完全消除。RSL通过环形高斯平滑改善了边界连续性效果不错但训练时高斯半径需要仔细调。傅里叶编码的优点是连续、周期一致、解码还不需要维护一组类别的依赖关系。不过傅里叶编码也并非在所有优势上都完胜。CSL/RSL对角度分布的建模更直观多峰角度情形也能用类别分布表达傅里叶编码本质上隐式假定角度域只有一个主峰如果目标在没有明确主方向的情况下被标注为多个候选角度傅里叶表示反而会让回归头为难。好在这种情况在主流旋转检测数据集里很少出现。4.5 样本不均衡对角度编码的影响旋转检测数据集里目标长宽比分布很不均衡船舶、汽车、遥感建筑的长宽比差异巨大。长宽比接近1的框对角度本身不敏感角度误差对IoU影响也小长宽比大的框角度稍微偏一点IoU就崩。这会导致模型在训练时天然偏向预测那些“长宽比大”的框更准但这种准只是局部的好。傅里叶编码其实没有直接解决样本不均衡问题但它改变了梯度的分布方式。普通角度回归在θ边界附近会产生异常大梯度这些梯度会主导训练方向。傅里叶编码把梯度分散到各频率通道同类样本的梯度更均衡间接缓解了因为长宽比差异造成的角度精度失衡。我观察到AP75提升最多的是长宽比大于2的目标这正对应遥感图像里最常见的港口船舶、停车场车辆等目标。5. 一些经验与后续扩展在实际动手之前我也怀疑过傅里叶级数角度编码是不是被过度解读成一个公式包装。但做完消融之后我确信这里面的每一个设计都是有意义的。角度编码不是一个简单的表示技巧它直接决定了检测器在高IoU阈值下的上限。你有再强的特征提取器角度回归头输出一个不连续的标量损失函数又无法正确描述“89°和-89°其实只差2°”这个事实AP75就是上不去。我个人现在做旋转检测默认都会先看一眼角度回归分支而不是一上来就换更大的模型。把角度分支改成傅里叶级数回归代码量不大训练时间增加不超过5%却换来AP75接近五个点的提升性价比极高。这个方法还能自然扩展到很多周期性回归问题。比如人体姿态里的朝向角、自动驾驶场景中的航向角预测、OCR文字框的方向估计甚至是某些不可导的循环坐标回归任务。只要你需要回归一个定义在圆周上的量就可以考虑用傅里叶系数作中间表示。这也是我后续计划继续做的方向把傅里叶编码做成一个轻量的“周期回归头”复用进更多检测项目。最后再分享一个小技巧当你在验证集上看到AP75明显波动但AP50稳定时不要急着调anchor或NMS先把角度预测分布画出来看看。用我上面写的傅里叶反变换函数直接重建角度分布曲线可以很快定位问题是边界样本还是解码歧义。很多“看起来玄学”的高阈值指标问题本质都藏在角度表示不够精细里。