聊目标检测的入门路线Fast-RCNN 永远是一个绕不过去的路标。很多人刚啃完 R-CNN脑子里满是几百个候选框各自过一遍 CNN 的痛苦画面训练慢、占盘大、推理一次要几十秒跑完一次实验恨不得去泡杯茶。Fast-RCNN 就是冲着这些痛点来的它把候选区域的卷积计算从每一个都算一遍变成了整张图只算一次用ROI Pooling从共享特征图里抠出固定长度的向量再用一个多任务损失把分类和框回归捏在一个网络里联合训练。放到今天看这套设计思路依然是主流检测器的骨架YOLO 系列、SSD、Faster-RCNN 乃至后面的 Mask R-CNN都或多或少从它这里继承了基因。这篇文章我打算把 Fast-RCNN 的算法流程从头到尾拆一遍包括它到底改了什么、为什么这么改、ROI Pooling 的坐标映射和分桶量化怎么算、多任务损失怎么配平、batch 里的 RoI 怎么采样、训练时的坑有哪些。末尾我会用 PyTorch 给出 ROI Pooling 和损失函数的关键实现都是可以直接跑的。不管你是刚开始做目标检测的学生还是打算把 Fast-RCNN 当 baseline 做对比实验的工程师这篇都能当一份从头顺一遍的参考。文中涉及的部分实现细节论文里没写透我会结合常见工程实践补充并标注出来源。1. Fast-RCNN 在目标检测谱系里的位置与设计初衷1.1 从 R-CNN 到 Fast-RCNN到底砍掉了哪些冗余计算R-CNN 的流程可以用笨重但有效来概括。它先用选择性搜索Selective Search在一张图上抠出大约 2000 个候选区域然后把每一个候选区域都缩放成固定尺寸逐个送进 CNN 提特征再用 SVM 做分类、用独立的回归器做框修正。问题在于这 2000 个区域大幅重叠同一块卷积计算被反复执行了成百上千次。一张图前向传播的时间里绝大部分都花在了这种重复劳动上。Fast-RCNN 的核心洞察只有一句话卷积特征是可以共享的。既然所有候选框都来自同一张图那就先对整张图做一次卷积得到一张特征图然后让每个候选框在这张特征图上圈出自己对应的那块区域再统一缩放到相同尺寸。这样一来2000 次卷积变成了 1 次。论文里报的数据是训练速度比 R-CNN 快 9 倍左右测试快 200 倍以上同时精度还涨了——因为联合训练让特征提取和分类器之间不再是割裂的。另外两处调整也值得记一笔。一是把 SVM 换成了网络里的 softmax 分类头分类和回归共享同一套卷积特征二是把框回归也塞进网络里变成一个多任务学习的问题。R-CNN 时代需要把特征dump到磁盘上再训练 SVM动辄几百 GB 的中间文件Fast-RCNN 直接端到端磁盘压力也就没了。提示如果你手头还有 R-CNN 时代的代码迁移到 Fast-RCNN 时最大的改动不是网络结构而是数据流——特征不再落盘候选框不再单独裁剪图片而是落在特征图上。这一点想清楚了整个实现就顺了。1.2 两个真正的技术支点ROI Pooling 与多任务损失Fast-RCNN 之所以成立靠的是两个具体机制。ROI Pooling解决的是不同大小的候选框怎么变成同一长度的向量。卷积层对输入尺寸不敏感你喂多大图它都能卷但后面的全连接层要求输入维度固定。R-CNN 的做法是直接对原图裁剪缩放会引入形变和背景冗余Fast-RCNN 的做法是在特征图上取对应区域把它切成固定数量的小格子论文用的是 7×7每个格子内部做最大池化。不管这个候选框在特征图上占 20×30 还是 100×50出来都是 7×7×C 的特征展平后就是固定长度。多任务损失解决的是分类和回归怎么一起训。网络的输出头分成两支一支输出 K1 类K 个目标类 1 个背景的 softmax 概率一支输出每个类别的边框偏移量4 个值。损失就是两者加权求和。这个设计看起来简单但它带来一个隐含好处框回归的梯度会回传到共享的卷积特征上促使卷积层学出对定位更友好的表示而不是只服务于分类。这两个点单独看都不复杂但组合起来就是一次架构层面的升级。我个人的经验是理解 Fast-RCNN 最有效的方式不是去背论文里的图而是自己动手把 ROI Pooling 的坐标映射写一遍写的过程中自然会遇到量化取整、边界越界这些论文里一句带过、实现里却绕不开的问题。2. 算法整体流程拆解从一张原图到最终检测框2.1 第一步候选区域的生成仍然交给选择性搜索Fast-RCNN 并没有解决候选区域生成的问题它沿用了 R-CNN 那套选择性搜索。这个算法的思路是基于图像的颜色、纹理、尺寸、填充相似度做区域合并从像素级的小区域一层层并成越来越大的区域每一步合并都会产生一个候选框。跑完一张图大概能拿到 2000 个左右的候选框经过一定的筛选比如按面积过滤、按长宽比过滤、NMS 去重后保留一部分作为 RoI。这一步是整个流程里最古典的部分也是最慢的部分。实测下来选择性搜索在一张普通分辨率的图上要花 1 到 2 秒而后面整个网络的前向可能只要零点几秒——候选框生成反倒成了瓶颈。这就是后来 Faster-RCNN 用 RPN 替换它的直接动机也是端到端检测真正落地的关键一步。工程实践中还有一个细节候选框是在原图坐标系下生成的而 ROI Pooling 需要在特征图坐标系下操作。两者之间差一个下采样倍率通常叫 stride也就是特征图相对于原图的缩小倍数。以 VGG16 为例前面的卷积和池化把尺寸缩了 16 倍所以映射时要把框的坐标除以 16。这个倍率一定要算错不得算错了框就整体偏移训练时表现为损失高居不下、预测框位置离谱。2.2 第二步整图前向得到共享特征图丢掉最后一层池化、把 stride 调小是 Fast-RCNN 对骨干网络的标准改造。原因很直接如果按 VGG 原始配置一路下采样到 1/32那 7×7 的 ROI Pooling 格子在某些小目标上就几乎没有有效像素了量化误差会大到不能看。论文里把 VGG16 的最后一个 max pool 换成 ROI Pooling 层也就是不在这里下采样并把 conv5 的 stride 从 2 改成 1最终特征图相对原图只缩小 16 倍。这个改动听起来像是参数细节实际上对精度影响不小。缩小倍率小一点意味着特征图上每个格子的感受野相对原图更精细小目标的定位更准。代价是特征图更大、显存占用更高。工程上如果显存吃紧很多人会选择把输入图片的长边限制在 600 到 800 之间而不是继续加大下采样倍率——这是一条踩过坑才明白的经验。2.3 第三步ROI Pooling 的坐标映射与分桶量化这一步是 Fast-RCNN 里最容易写错的地方我详细说。假设原图上一个候选框是(x1, y1, x2, y2)特征图的缩放倍率是spatial_scale常见写法是 1/16。映射到特征图上的坐标就是fx1 x1 * spatial_scale fy1 y1 * spatial_scale fx2 x2 * spatial_scale fy2 y2 * spatial_scale接下来要做量化取整因为特征图上的像素是离散的。原论文里的做法是两次量化先把映射后的坐标取整再在分桶的时候把每个桶的边界取整。这就引入了误差——一个原本 200×200 的候选框映射后可能被缩成了 12×12再取整可能变成 11×11偏差能达到 8% 以上。对小目标来说这个偏差可能直接把目标框到了外面。分桶的过程是这样的假设输出尺寸是pooled_h × pooled_w比如 7×7那么候选区域的高会被均分成 7 段每段的长度是(fy2 - fy1) / 7宽同理。然后每个桶内部做最大池化取该桶覆盖范围内所有特征点的最大值。需要注意的是当桶的边长小于 1 个像素时小目标常见只取一个点这时候最大池化就退化成了采样。注意很多开源实现为了省事直接用round也有的用floor还有的用ceil。这三种在处理边界框的时候结果不一样混用会导致训练和推理不一致。我踩过的坑是训练时用 floor、推理时用 round结果 mAP 掉了将近 2 个点查了半天才发现是这里。后来 Mask R-CNN 提出的 RoI Align 就是为了解决这个量化误差思路是干脆不取整用双线性插值在浮点坐标上采样。如果你现在的项目里还在用 Fast-RCNN 且对精度有要求把 ROI Pooling 换成 RoI Align 是一个成本极低、收益明显的改动通常能带来 1 到 3 个点的 mAP 提升尤其是在小目标数据集上。2.4 第四步双分支输出头与后处理ROI Pooling 出来的特征展平后经过两个全连接层论文里是 4096 维这个配置在当年很奢侈工程上很多人会降到 1024 甚至 512然后分成两支一支走分类输出K1维K 个前景类 背景过一个 softmax 得到概率分布。注意 Fast-RCNN 的分类头是对每个 RoI 做一次分类输出的是每个 RoI 的类别概率而不是像有些实现那样把它当成整图分类。另一支走回归输出4 × K维也就是每个类别都有自己的一套边框偏移量。这一点容易被忽略网络并不是只回归一个框而是为每个类别都预测一组偏移。推理时先用分类头得到该 RoI 的类别再取出该类别对应的那 4 个偏移量去修正框。后处理阶段要做的事情包括按分类得分过滤掉低置信度的框、对每个类别分别做 NMS非极大值抑制去掉重叠框、把框从特征图坐标映射回原图坐标。NMS 的阈值一般设 0.3 到 0.5取决于你的场景——密集目标场景阈值要调高一点否则会把挨着的同类目标误删。3. 核心细节深挖论文没写透的那部分3.1 多任务损失的权重平衡与采样策略Fast-RCNN 的总损失长这样L L_cls λ * [u 1] * L_locL_cls是K1类的对数损失L_loc是边框回归损失λ是平衡系数论文取 1。方括号那一项的意思是只有前景 RoI 才参与框回归背景 RoI 不参与。这个设计很重要因为背景框压根没有正确的框可言硬让它回归只会污染梯度。L_loc用的是 smooth L1 损失形式是这样的smooth_L1(x) 0.5 * x^2 if |x| 1 |x| - 0.5 otherwise为什么不用 L2因为 L2 对离群值特别敏感而目标检测里标注框和预测框差得离谱的情况很常见一旦差得大L2 的梯度会爆掉训练直接发散。smooth L1 在误差小的时候是二次的、平滑误差大的时候是一次的、梯度有界稳定性好很多。这是实践里反复验证过的选择不是拍脑袋。采样策略也是关键。论文里每张图采 64 个 RoI其中 25% 是前景和某个真实框的 IoU 大于等于 0.575% 是背景IoU 在 0.1 到 0.5 之间。为什么要这么配比两个原因一是前景框本身在候选框里就是少数直接随机采会导致极端不平衡二是不采太多高 IoU 的前景框能让模型见到更多难样本提升泛化。实操心得如果你在自定义数据集上跑类别极度不平衡比如某一类特别多单纯按 25/75 采样可能还是不够。我通常会在采样时加一个类别均衡的约束让每个前景类的采样概率反比于它在该图中的出现频次效果比硬配比好。另外注意采样出来的 RoI 是以整张图为单位组织的不是以单张图的一个 RoI 为单位。一个 batch 通常是 2 张图每张图 64 个 RoI。这个细节会影响你写 DataLoader 的方式不能简单地把每个 RoI 当成一条样本因为它和所属图片的卷积特征是绑定的。3.2 边框回归的参数化为什么要取对数框回归的目标不是直接预测(x, y, w, h)而是预测相对于候选框的偏移量公式是tx (Gx - Px) / Pw ty (Gy - Py) / Ph tw log(Gw / Pw) th log(Gh / Ph)其中 G 是真实框P 是候选框。前两个是平移量用宽高做了归一化后两个是尺度变换取了 log。为什么先看前两个。如果直接预测Gx - Px那这个值的量级和图像尺寸强相关——大图上是几百像素小图上是几十像素网络学习起来不稳定。除以Pw和Ph之后就变成了相对量和图像绝对尺寸解耦这也是论文里强调的尺度不变性。再看后两个。宽高的比例Gw / Pw天然是正数如果直接预测这个比值网络可能输出负数那就没法解释了。取 log 之后输出范围变成整个实数域正负都能表示网络学起来自由得多。而且 log 还有个好处log(Gw/Pw)和log(Ph/Gh)在数值上是对称的放大的情况是正、缩小的情况是负反向传播的时候梯度尺度也比较均衡。推理时的反变换就是这套公式的逆运算Gx_hat Pw * tx Px Gy_hat Ph * ty Py Gw_hat Pw * exp(tw) Gh_hat Ph * exp(th)这里有个坑exp出来的值没有上界如果网络训练不稳定输出了一个很大的tw框就会撑到天上去。工程上通常会在推理时对tw和th做一个裁剪比如限制在log(1000/16)以内防止出现荒谬的框。这个技巧论文没写但在很多成熟实现里都有。3.3 训练时一个 batch 的真实构造过程很多人第一次实现 Fast-RCNN 时会卡在数据组织上。我按自己实现的思路捋一遍。假设 batch size 是 2也就是一次喂两张图。流程是对每张图分别做选择性搜索得到候选框列表记为rois_i。计算每个候选框和该图所有真实框的 IoU得到一张num_rois × num_gt的矩阵。对每个候选框取它和所有真实框的最大 IoU以及取得最大值的那个真实框索引。按阈值划分前景和背景max_iou 0.5为前景0.1 max_iou 0.5为背景中间和更低的直接丢弃。前景里采样 16 个左右64 的 25%背景里采样 48 个左右如果前景不够就全部拿来用用背景补足。记录每个采样 RoI 对应的标签类别和回归目标用 3.2 的公式算出 tx/ty/tw/th。这个过程在训练循环里是每张图单独做的所以不同图采出来的 RoI 数量可能不一样。PyTorch 的 DataLoader 默认要求每个 batch 的 shape 一致所以常见的做法是设置batch_size1然后手工实现梯度累积来模拟大 batch或者用自定义的 collate_fn 把多个图的 RoI 拼在一起同时记录一个roi_batch_indices数组表示每个 RoI 属于 batch 里的哪张图。我个人的做法是后者写一个返回(images, rois, labels, bbox_targets, roi_indices)的 Dataset配合自定义 collate。这样前向的时候 ROI Pooling 需要知道每个 RoI 对应哪张图的特征图用roi_indices索引即可。这个设计稍麻烦一点但是训练效率高显存利用率也好。4. 动手实现ROI Pooling 与损失函数的关键代码4.1 ROI Pooling 的 NumPy 版本看清每一步在算什么先写一个不带梯度的版本把逻辑摊开看明白。理解了这个换成 PyTorch 的torchvision.ops.roi_pool时心里就有底了。import numpy as np def roi_pool(feature_map, rois, pooled_size(7, 7), spatial_scale1/16): feature_map: (C, H, W) 单张图的特征图 rois: (N, 4) 原图坐标系下的候选框 [x1, y1, x2, y2] pooled_size: 输出尺寸 (ph, pw) spatial_scale: 特征图相对原图的缩放比例 C, H, W feature_map.shape ph, pw pooled_size N rois.shape[0] output np.zeros((N, C, ph, pw), dtypenp.float32) for n in range(N): x1, y1, x2, y2 rois[n] * spatial_scale # 关键两次量化先对映射后的坐标取整 x1 int(np.floor(x1)) y1 int(np.floor(y1)) x2 int(np.ceil(x2)) y2 int(np.ceil(y2)) # 裁剪到特征图边界内防止越界 x1 max(0, min(x1, W - 1)) y1 max(0, min(y1, H - 1)) x2 max(x1 1, min(x2, W)) y2 max(y1 1, min(y2, H)) roi_h max(y2 - y1, 1) roi_w max(x2 - x1, 1) bin_h roi_h / ph bin_w roi_w / pw for i in range(ph): for j in range(pw): # 分桶边界再次量化 hstart int(np.floor(y1 i * bin_h)) hend int(np.ceil(y1 (i 1) * bin_h)) wstart int(np.floor(x1 j * bin_w)) wend int(np.ceil(x1 (j 1) * bin_w)) hstart max(0, min(hstart, H)) wstart max(0, min(wstart, W)) hend max(hstart 1, min(hend, H)) wend max(wstart 1, min(wend, W)) # 桶内最大池化 region feature_map[:, hstart:hend, wstart:wend] output[n, :, i, j] region.max(axis(1, 2)) return output代码里有两处floor/ceil对应论文里说的两次量化。第一次量化把浮点坐标变成整数框第二次量化把每个桶的边界取整。你会发现即使roi_h只有 3 个像素也能保证每个桶至少占到 1 个像素——这就是为什么hend和wend要用max(hstart 1, ...)兜底。反向传播的逻辑也值得提一句前向是取最大值反向就是把梯度只回传给那个取得最大值的元素其他位置梯度为 0。这在 PyTorch 里自动实现但如果你自己写自定义算子一定要记得用argmax记录位置否则梯度传错地方网络训不起来。4.2 多任务损失的实现与调试技巧分类损失直接用torch.nn.functional.cross_entropy回归损失用 smooth L1但要注意只对前景算。import torch import torch.nn as nn import torch.nn.functional as F def fast_rcnn_loss(cls_score, bbox_pred, labels, bbox_targets, num_classes21, lambda_loc1.0): cls_score: (N, num_classes) 分类 logits bbox_pred: (N, num_classes * 4) 预测的框偏移 labels: (N,) 每个 RoI 的类别0 表示背景 bbox_targets:(N, 4) 每个 RoI 的回归目标 # 分类损失背景也算 loss_cls F.cross_entropy(cls_score, labels, reductionsum) / labels.numel() # 框回归只对前景计算 fg_mask labels 0 if fg_mask.sum() 0: # 取出前景对应的类别偏移reshape 成 (num_fg, num_classes, 4) bbox_pred_r bbox_pred.view(-1, num_classes, 4) # 按类别索引取出实际使用的那一组偏移 bbox_pred_r bbox_pred_r[fg_mask, labels[fg_mask]] loss_loc F.smooth_l1_loss( bbox_pred_r, bbox_targets[fg_mask], reductionsum ) / labels.numel() else: loss_loc bbox_pred.sum() * 0.0 # 保持计算图避免梯度中断 return loss_cls lambda_loc * loss_loc, loss_cls, loss_loc有两个写法上的坑我要提一下。第一bbox_pred.view(-1, num_classes, 4)然后按类别取这个顺序必须和网络输出的排列一致。不同实现里有的按(N, 4, num_classes)排有的按(N, num_classes, 4)排混了就是灾难。我一般会在网络最后一层显式 reshape 成(N, num_classes*4)并在注释里写清楚避免以后自己踩坑。第二当某个 batch 里没有前景框时loss_loc的表达式要保证它仍参与计算图不然反向传播会报某个变量没用到的错。写成bbox_pred.sum() * 0.0是个常用 trick。另外reductionsum之后再除labels.numel()是为了让损失的量级不随 batch 大小剧烈变化。论文里用的就是 sum 归一化改成 mean 会让损失的尺度差一个数量级学习率得跟着重调。4.3 推理阶段的 NMS 与坐标还原推理流程和训练不同要把每个 RoI 的类别、得分、修正后的框都算出来然后做 NMS。def decode_boxes(rois, deltas, scale_params(10., 10., 5., 5.)): 把网络输出的偏移还原成框 wx, wy, ww, wh scale_params px, py, pw, ph rois[:, 0], rois[:, 1], rois[:, 2] - rois[:, 0], rois[:, 3] - rois[:, 1] dx deltas[:, 0] * wx dy deltas[:, 1] * wy dw torch.clamp(deltas[:, 2] * ww, max4.135) # log(1000/16) dh torch.clamp(deltas[:, 3] * wh, max4.135) gx px pw * dx gy py ph * dy gw pw * torch.exp(dw) gh ph * torch.exp(dh) x1 gx - gw / 2 y1 gy - gh / 2 x2 gx gw / 2 y2 gy gh / 2 return torch.stack([x1, y1, x2, y2], dim1)这里的scale_params是训练时对回归目标做的归一化系数常见的是(10, 10, 5, 5)意思是把平移量放大 10 倍、尺度量放大 5 倍再喂给网络目的是让不同分量的数值量级接近梯度更均衡。这个系数必须训练和推理保持一致不一致的话框会整体跑偏。然后是对每个类别分别做 NMS。注意是每个类别分别做不能把所有类别的框混在一起做否则不同类的框会互相压制。from torchvision.ops import nms def post_process(boxes, scores, num_classes, score_thresh0.05, nms_thresh0.5): results [] for c in range(1, num_classes): # 跳过背景 cls_scores scores[:, c] keep cls_scores score_thresh if keep.sum() 0: continue c_boxes boxes[keep] c_scores cls_scores[keep] keep_idx nms(c_boxes, c_scores, nms_thresh) for idx in keep_idx: results.append((c, float(c_scores[idx]), c_boxes[idx].tolist())) return resultsscore_thresh和nms_thresh这两个参数需要按数据集调。我的一般经验是先固定nms_thresh0.5把score_thresh从 0.05 开始往上调观察 mAP 的变化通常 0.05 到 0.1 之间比较合适。如果场景里目标特别密集把nms_thresh提到 0.6 到 0.7如果是稀疏场景降到 0.3 反而能去掉一些误检。5. 常见问题与排查实录5.1 训练不收敛、损失爆炸的排查顺序这个问题我遇到过不止一次总结下来排查顺序是这样的。先看学习率。Fast-RCNN 用 SGD 的话初始学习率一般在 0.001 到 0.01 之间如果用 Adam0.0001 起步比较稳。损失在前几百步就飙到 nan九成是学习率太大。再看回归目标的数值范围。用 3.2 的公式算出来的tx/ty/tw/th正常应该在 -10 到 10 之间。如果出现几百甚至上千的值说明你的框坐标单位搞错了——比如把归一化坐标和像素坐标混用了。这种情况我见过一次是因为候选框是归一化的、真实框是像素的算出来的 IoU 全乱回归目标也全乱。然后检查 smooth L1 的实现。有些实现里smooth_l1的阈值写成了 1.0但输入是已经乘过scale_params的这时候阈值应该相应调整否则大误差样本的梯度还是会被放大。稳妥的做法是让阈值和归一化系数匹配。最后看梯度是否被裁剪。Fast-RCNN 的训练里加梯度裁剪是很常见的做法通常 clip 到 10 或者 5。不加的话偶尔一个异常样本就能把整个网络带偏。5.2 mAP 上不去的几个隐蔽原因损失正常下降但 mAP 就是停在某个值上不去这类问题更折磨人。我把常见原因列一下。候选框生成质量差。选择性搜索的尺度参数默认值不一定适合你的数据集。如果目标普遍偏小默认参数可能生成不了足够的合适候选框这时候可以调小scale参数或者干脆换成别的候选区域生成方法。正样本 IoU 阈值设得太低。0.5 是论文的默认值但如果你的标注框本身有偏差0.5 可能放进来一批定位不准的样本反而拖累精度。我一般会在 0.4 到 0.6 之间扫一遍看哪个在验证集上最好。ROI Pooling 输出尺寸。7×7 是论文配置但对于特别小的目标比如 16×16 像素以下7×7 会把每个桶压到不足 1 个像素量化误差极大。这种情况把输出尺寸降到 5×5 或 4×4 反而更好。全连接层的维度。论文的 4096 在数据量小的场景下容易过拟合。降到 1024 再加 dropout0.5通常效果更稳。类别回归的选取方式。推理时如果直接对每个 RoI 取得分最高的类别对应的偏移来解码当分类本身不准时框也会跟着错。稳妥做法是把每一类都解码出来各自参与 NMS让得分决定最终归属。5.3 典型问题速查表现象可能原因排查方法处理建议损失在几百步后变 NaN学习率过大 / 回归目标异常打印各损失分量检查回归目标范围降学习率加梯度裁剪检查坐标单位损失稳定但 mAP 很低正样本阈值不当 / 候选框质量差统计前景 RoI 的比例和 IoU 分布调整 IoU 阈值检查选择性搜索参数框整体偏移训练推理的归一化系数不一致对比两边的scale_params统一系数写死在配置文件里小目标检测效果差ROI Pooling 量化误差统计小目标上的定位误差换 RoI Align或减小池化输出尺寸训练慢显存爆特征图太大 / FC 维度太高看输入分辨率和 FC 参数量限制输入长边降 FC 维度加 SVD 分解推理时同类框重叠严重NMS 阈值过高观察 NMS 后的框数量降低 NMS 阈值到 0.3 左右某类目标几乎检不出该类样本被采样策略忽略统计每个类的采样次数采样时做类别均衡补充一句关于 SVD 分解的。Fast-RCNN 论文里提到可以用 SVD 把全连接层的权重矩阵分解把 4096×4096 的矩阵拆成低秩近似推理速度能提 30% 左右精度几乎不掉。这个方法在部署到算力受限的设备上很有用代码上就是一次torch.svd加两个小矩阵的替换实现成本很低。提示SVD 分解只在推理阶段用训练时保持原样因为训练需要完整的表达能力。部署时把分解后的两个矩阵存下来替换掉原来的 FC 层即可。6. 一些从实际项目里攒下的经验最后聊几个我自己在项目里反复用到的做法不按流程走想到哪说到哪。关于候选框的缓存。选择性搜索很慢但一张图的候选框只和图像内容有关和网络参数无关。所以我把候选框离线算好存成 pickle训练时直接读。这样一来每轮 epoch 能省掉大量时间代价是磁盘上多存一份数据。这个取舍在小数据集上很划算。关于数据增强的时机。翻转、缩放这类几何变换要同时作用在图像、真实框和候选框上三者必须严格同步。我踩过的坑是只对图像和真实框做了翻转忘了候选框结果正负样本的划分全错训练出来的模型精度惨不忍睹。后来我的做法是把所有几何变换封装成一个函数接受(image, gt_boxes, rois)三个输入一起处理从结构上杜绝漏改。关于多尺度训练。Fast-RCNN 支持把输入图片缩放成不同尺寸训练比如短边随机取 480、600、800。这个技巧对小目标检测提升明显但要注意spatial_scale是随输入尺寸变化的不能写死。我的做法是从特征图的实际尺寸和输入图像尺寸反推spatial_scale动态传给 ROI Pooling。关于验证指标的观察节奏。训练早期不要只看 mAP还要看分类损失和定位损失各自的走势。如果分类损失降得很快但定位损失不动说明回归分支没学到东西大概率是回归目标的计算有问题这时候继续训练是浪费时间不如停下来查。关于 RoI Align 的迁移成本。如果你的项目还在用 Fast-RCNN且对精度有要求把 ROI Pooling 换成 RoI Align 通常是一行代码的事torchvision.ops.roi_align但提升往往很实在。我做过对比同一个数据集上小目标类别的 AP 能涨 2 到 4 个点大目标基本不变整体 mAP 涨 1 到 2 个点。唯一需要注意的是 RoI Align 的反向传播用的是双线性插值的梯度计算量比 max pooling 稍大训练时间会略微增加但完全在可接受范围内。Fast-RCNN 放到今天看结构上确实有些笨重候选框生成这一步是硬伤全连接层的参数也偏多。但它的设计思想——共享卷积计算、ROI 级特征提取、多任务联合训练——这些东西一直在往后传。把它的流程吃透再去理解 Faster-RCNN 的 RPN、YOLO 的单阶段回归、乃至 Transformer 检测器里的 query 机制你会发现它们都在解决同一个问题的不同侧面怎么高效地把哪里可能有东西和那是什么东西这两件事一起做好。