简介基于TensorFlow搭建Faster R-CNN完成目标检测任务的完整实验包适合有一定TensorFlow基础、正在做目标检测课程设计或准备入门Faster R-CNN的开发者。资源自带可直接运行的Python源码与配套数据集覆盖数据读取、RPN区域提议、边框回归与分类等关键环节。全部文件共11443个、约502.91MB其中近万个XML标注文件和上千张PNG图像构成PASCAL VOC格式训练/验证数据另外还包含Python训练/测试脚本、Cython加速模块、预训练VGG16 checkpoint以及pkl/m等辅助文件可免去重新下载权重与编译扩展的麻烦。目前已有2116人学习整体按标准检测框架组织目录拿到后即可跑通Faster R-CNN目标检测流程。适合用于复现经典算法、调参实验或作为毕业设计/项目基座能极大减少环境搭建和数据标注的重复劳动并便于根据自定义数据进一步微调。1. 为什么用TensorFlow自己拼Faster R-CNN复现成本不高但坑全在看不见的地方第一次把基于TensorFlow搭建Faster R-CNN实现目标检测任务的代码从仓库里拉下来跑通我的感受是真正卡人的不是论文里的网络结构而是anchor尺寸、标签对齐和坐标换算这些看不见的细节。网上开源代码很多能直接在自己数据上训练的也不少很多人换数据之后出现空框、漏检、训练loss震荡回头一查都是预处理阶段logits没对齐。这篇笔记会沿着一条完整的落地路线走先讲清RPN和ROI Pooling在TF里怎么组织再给出可运行的训练代码和参数最后把数据制作成VOC格式并转成TFRecord直落到训练命令。适合手里已经有一批标注数据、想快速拿到一个能实际工作的检测模型的人而不是只想看论文公式的读者。2. Faster R-CNN拆开看RPN、ROI Pooling、锚框怎么配合2.1 一张结构图理清Faster R-CNN的每条数据流Faster R-CNN由两个核心阶段组成第一阶段是RPNRegion Proposal Network负责在前景对象可能出现的位置生成候选框第二阶段是Fast R-CNN分支对候选框做分类和位置精修。理解它的关键在于两个阶段的特征不是各算各的而是共享同一个backbone输出的feature map。图片进去先经过一组卷积层得到特征图RPN在这张图上面滑窗Fast R-CNN分支也从这张图上裁剪对应的候选区域特征。这个共享设计让推理速度快了很多也是Faster R-CNN当年相对R-CNN最革命的一点。从TensorFlow实现的角度看整个网络可以抽象成以下几步先把输入图片缩放成固定尺寸过backbone得到特征图RPN在这个特征图上做3×3卷积分支出两个头——一个输出每个anchor是前景还是背景的概率另一个输出anchor到真实框的坐标偏移然后按偏移修正anchor去掉超出边界的框做NMS选出一批proposal作为ROI接着把ROI映射回特征图做ROI Pooling/crop and resize得到固定尺寸的区域特征最后接上分类头和框回归头输出类别和最终坐标。这个流程听起来不难但代码落地时最麻烦的是各个阶段之间的shape衔接。RPN输出的proposal数量是动态的而第二阶段的输入要求批次内每个样本ROI数量一致否则不能直接做矩阵运算。所以代码里通常会在NMS之后再做一个采样固定从每张图里取128个正负样本ROI多的丢弃不够的用背景框补。这一点如果你在阅读代码时没有提前注意到很容易在改batch size之后突然报错。2.2 RPN的分类与回归锚框怎么产生候选框RPN的本质是一个目标/背景的二分类器加一个边框回归器。它在feature map每个像素位置上预置一组不同尺寸、不同长宽比的anchor常见配置是3个尺寸128、256、512乘3个比例1:1、1:2、2:1也就是每个位置9个anchor。在VOC这种中等分辨率数据上通常把基础尺寸调小到64起步避免对小目标漏检。我们可以把一个mini-batch里的RPN loss写成下面的形式。分类用二值交叉熵回归用smooth L1。计算回归loss时只考虑正样本anchor也就是和某个真实框的IoU大于0.7的那些IoU小于0.3的视为背景处在中间的一律不参与训练。这里有个小细节TF里做交叉熵时如果直接把背景类别标为0前景标为1则使用tf.nn.sigmoid_cross_entropy_with_logits即可不需要把标签做one-hot。很多代码为了简洁用softmax做二分类其实性能差异不大但sigmoid在训练早期更容易稳住。# 以TensorFlow 2.x的自定义训练循环为例RPN分类loss的写法 def rpn_cls_loss(rpn_labels, rpn_scores, valid_mask): # rpn_labels: (batch, H*W*num_anchors, 1)值为0/1-1表示忽略 # rpn_scores: (batch, H*W*num_anchors, 1)网络logits输出 # valid_mask排除标签为-1的anchor它们不参与loss计算 mask tf.cast(tf.not_equal(rpn_labels, -1), tf.float32) labels tf.cast(tf.where(tf.equal(rpn_labels, -1), tf.zeros_like(rpn_labels), rpn_labels), tf.float32) loss tf.nn.sigmoid_cross_entropy_with_logits(labelslabels, logitsrpn_scores) loss loss * mask return tf.reduce_sum(loss) / (tf.reduce_sum(mask) 1e-8)上面的代码里rpn_labels在数据准备阶段已经计算好。关键点在valid_mask真正有效的anchor数量通常远少于总anchor数reduce_sum(mask)做分母会让loss在数值上稳定很多。而且这个写法同时兼容正样本极少、负样本极多的情况不用额外加focal lossFaster R-CNN原版本身就是这么训练的。2.3 为什么选Faster R-CNN而不是直接上YOLO很多人在做目标检测时会在Faster R-CNN和YOLO之间犹豫。一个基础事实是对于单张显卡、普通标注数据量的场景YOLO确实训练更快、部署更简单但它的mAP在密集小目标和遮挡场景下通常低于Faster R-CNN。Faster R-CNN的优势是两阶段结构允许它先粗筛再精修小目标的召回率更高。下面的对比表列出两者在同一个硬件平台上的典型表现差距供做技术选型时参考对比项Faster R-CNNYOLO系列检测精度两阶段精修VOC或COCO的mAP通常更高小目标召回更好单阶段直接回归速度更快但小目标容易漏检训练难度需要仔细处理RPN的anchor和正负样本调试门槛高标签和损失不复杂上手快推理速度慢一些受proposal数量影响快适合视频流和实时场景定位精度候选框经过二次回归框更准大目标没问题密集场景框会偏代码复杂度网络分两阶段代码量明显更大一个脚本基本能搭完这个表不是说你不能在某些硬件上把Faster R-CNN推上实时而是说当项目刚起步、数据和算力都有限时Faster R-CNN的每一点精度提升都需要用更复杂的代码、更大的训练开销去换。如果你的场景是工业质检、卫星遥感这种对漏检容忍度低的目标Faster R-CNN是第一选择如果是做视频流的实时检测YOLO更合适。这篇笔记后面的所有代码和参数都基于Faster R-CNN因为它们解决的是不同问题。3. 用TensorFlow搭建可训练的最小网络RPN、采样与四个损失3.1 环境选型TF1.x还是TF2.x代码怎么组织网上能找到的Faster R-CNN项目里有相当一部分是基于TensorFlow 1.x写的主干代码依赖tf.contrib和tf.Session()在TF2.x环境里几乎跑不起来。我的建议是直接选TensorFlow 2.x用Keras的Model子类化方式组织代码。原因有三一是2.x的tf.GradientTape让自定义训练循环变得很直观调试loss时不需要抱着Session去查tensor二是tf.image.crop_and_resize这个函数天然支持ROI Pooling省掉一大段CUDA自定义op的维护成本三是TF2.x在Python 3.8/3.9下安装顺畅pip install tensorflow就能完成不用走源码编译。需要注意一个细节tf.image.crop_and_resize要求传入的boxes是归一化后的坐标位于[0, 1]区间且格式是[y1, x1, y2, x2]。很多项目坑就坑在这里——从VOC读进来的是绝对像素坐标[xmin, ymin, xmax, ymax]如果忘了做归一化直接用模型会乱成一团。我会在下一章专门说明转换代码。网络结构上我用ResNet50作为backbone把conv4_block6_out作为RPN共享的特征图。之所以选这个位置是因为它的下采样倍率是16倍对VOC这种常见目标尺寸来说特征图上每个像素对应原图16x16区域既保留足够语义信息又不会让计算量爆炸。如果数据里小目标特别多也可以提到conv3输出代价是RPN计算量变大。3.2 backbone与RPN模块的实现import tensorflow as tf class FasterRCNN(tf.keras.Model): def __init__(self, num_classes, anchor_sizes(64, 128, 256), anchor_ratios(0.5, 1.0, 2.0)): super().__init__() # 这里用Keras自带的ResNet50作为backbone去掉后面的全局池化和分类层 base_model tf.keras.applications.ResNet50( include_topFalse, weightsimagenet, input_shape(512, 512, 3)) # 取conv4_block6_out也就是下采样16倍的特征图 self.backbone tf.keras.Model( inputsbase_model.input, outputsbase_model.get_layer(conv4_block6_out).output) self.num_anchors len(anchor_sizes) * len(anchor_ratios) # RPN先做一次3x3卷积共享特征再分出分类和回归两个头 self.rpn_shared tf.keras.layers.Conv2D(512, 3, paddingsame, activationrelu) self.rpn_cls tf.keras.layers.Conv2D(self.num_anchors, 1) self.rpn_bbox tf.keras.layers.Conv2D(self.num_anchors * 4, 1) def call(self, images, trainingFalse): feature_map self.backbone(images) rpn_feat self.rpn_shared(feature_map) # logits和delta的形状是(batch, H, W, num_anchors)后续要flatten按位置处理 rpn_cls_logits self.rpn_cls(rpn_feat) rpn_bbox_deltas self.rpn_bbox(rpn_feat) return feature_map, rpn_cls_logits, rpn_bbox_deltas这段代码里num_anchors len(anchor_sizes) * len(anchor_ratios)默认配置下是9。rpn_cls输出9个通道不做softmax因为后面接的是sigmoid交叉熵。rpn_bbox输出36个通道对应9个anchor每个4个坐标偏移。需要注意backbone的输入尺寸。上面代码里硬编码了(512, 512, 3)这是Faster R-CNN里比较常见的输入边长VOC原图大多在500x400左右缩放到512x512会稍微改变长宽比。如果不想牺牲小目标也可以保留原图的宽高比做letterbox填充但对初学者来说先固定尺寸把流程跑通更重要。这一步的实际含义是训练时所有图片都缩放到512x512标注框坐标也要同步等比缩放并做边界截断。3.3 anchor生成与proposal采样RPN训练时必须先为每张图生成全部anchor并计算每个anchor对应的标签和回归目标。我自己习惯在数据加载阶段生成一次缓存到内存里避免每个step都重复计算。下面代码给出了核心的生成逻辑。def generate_anchors(feature_h, feature_w, stride16, sizes(64, 128, 256), ratios(0.5, 1.0, 2.0)): # 特征图尺寸 原图尺寸 / stride这里是512/1632 # 每个位置生成一组尺寸*比例的anchor坐标映射回原图 anchors [] for cy in range(feature_h): for cx in range(feature_w): x_center, y_center (cx 0.5) * stride, (cy 0.5) * stride for s in sizes: area s * s for r in ratios: w tf.sqrt(area * r) h tf.sqrt(area / r) anchors.append([x_center - w / 2, y_center - h / 2, x_center w / 2, y_center h / 2]) return tf.constant(anchors, dtypetf.float32)这个函数把anchor中心对齐到feature map像素中心而不是左上角。这一步对最终检测精度有实际影响中心对齐之后回归目标更小网络更容易学。如果直接用像素坐标左对齐小目标的正样本anchor本来就少回归偏移又大训练会很难收敛。拿到anchor之后下一步是计算IoU、分配正负样本。正样本定义为与任意真实框IoU大于0.7的anchor负样本是小于0.3的anchor输出[-1, 0, 1]标签。这里还有一个隐含参数RPN训练的batch size一般是每张图256个采样anchor正负样本比例尽量控制在1:1附近。如果某张图的正样本anchor不足就用负样本补满反之亦然。这个策略对loss的稳定性影响很大因为RPN分类头是二分类负样本数量远大于正样本会出现严重的类别不平衡。3.4 从RPN到ROINMS与固定采样得到RPN的回归偏移后第一步工作是把偏移应用到anchor上把anchor修正为proposal的坐标。然后要做两件事去除超出图片边界的框以及执行NMS。NMS的阈值一般设为0.7IoU高于这个值的重复框会被去掉。def proposal_layer(bbox_deltas, anchors, im_shape, pre_nms_top_n6000, post_nms_top_n2000, nms_thresh0.7): # bbox_deltas: (batch, num_anchors, 4)是网络预测的偏移量 # 偏移量格式为[dx, dy, dw, dh]需要按Faster R-CNN原文方式解码 boxes decode_boxes(bbox_deltas, anchors) boxes clip_boxes_to_image(boxes, im_shape) # 计算得分取前pre_nms_top_n个做NMS再取前post_nms_top_n scores rpn_scores selected_indices tf.image.non_max_suppression( boxes, scores, max_output_sizepost_nms_top_n, iou_thresholdnms_thresh) proposal_boxes tf.gather(boxes, selected_indices) return proposal_boxes这段代码里decode_boxes是坐标解码的核心网络输出的dw和dh是log空间的对数偏移需要指数还原再乘上anchor的宽高。常见错误是把网络输出当作绝对坐标直接用或者在解码时用了exp却忘了对anchor的中心坐标做x dx * w的修正。一旦解码写错模型训练早期loss还正常后期就出现大量偏移框。NMS之后还要做一次ROI采样。这里固定每张图取128个ROI正样本是IoU大于0.5的负样本是IoU在0.1到0.5之间的。这个阈值设定也值得注意负样本IoU上限如果太高会把一些难分样本当成背景分类头学不到好特征。正负比例同样是1:1。3.5 最终分类头与四路损失组合ROI采样完成后把128个框的坐标送进tf.image.crop_and_resize从feature map上裁剪固定大小的区域通常统一为7x7或14x14。这一步替代了原论文里的ROI Pooling效果基本相同。def roi_head(self, feature_map, proposal_boxes, im_shape, crop_size7): # proposal_boxes是绝对像素坐标crop_and_resize要求[y1, x1, y2, x2]且归一化到[0,1] h, w im_shape[1], im_shape[2] boxes_norm tf.stack([ proposal_boxes[:, 0] / h, proposal_boxes[:, 1] / w, proposal_boxes[:, 2] / h, proposal_boxes[:, 3] / w], axis-1) box_indices tf.zeros([tf.shape(proposal_boxes)[0]], dtypetf.int32) cropped tf.image.crop_and_resize( feature_map, boxes_norm, box_indices, (crop_size, crop_size)) return cropped训练时的总loss由四个部分组成RPN分类loss、RPN回归loss、ROI分类loss、ROI回归loss。前两个前面已经算过后两个是在128个ROI上做的。ROI回归loss同样只计算正样本背景框不参与。四路loss相加后喂给tf.GradientTape进行反向传播。在实操中RPN回归loss的数值通常比分类loss小一个数量级如果直接把四路相加回归loss的梯度贡献不足。常见做法是给回归loss乘一个权重比如分类权重为1回归权重为1.5或2。这个超参数在不同数据集上影响不算大但值得固定下来。4. 数据准备与训练命令从标注到TFRecord的完整过程4.1 数据标注用LabelImg产出VOC格式XML训练Faster R-CNN之前数据格式必须统一成VOC。一个VOC格式的标注文件是XML根节点是annotation里面有一个object节点对应一个目标框每个object包含name、bndbox和xmin/ymin/xmax/ymax四个子节点。LabelImg是常见的标注工具它可以把标注保存成这种VOC XML。标注时有一件事要提前定下来类别名不要包含中文或特殊字符尽量用person、car、defect这种纯英文小写。因为后面的类别映射表是要按字符串索引的如果类别名有空格或数字开头解析脚本很容易漏读。另一个常见的坑是标注框的坐标不要超出图片边界尤其是使用某些标注工具误操作时会把框拖到画布外面。TFRecord解析时遇到越界坐标可能会直接报错或者在归一化后出现负数。4.2 把VOC目录整理成训练和验证集VOC格式的目录结构是Annotations存XML、JPEGImages存图片。训练前先把图片列表随机划分成train.txt和val.txt每个文件里一行一个文件名不含扩展名。这一步看似简单但很多人栽在不统一的数据集划分上测试时用训练图片评估导致mAP虚高。我一般用随机种子固定划分比例8:2划分训练和验证并且在划分完之后人工扫一眼两个集合的类别分布是否接近避免某一类只出现在验证集里。# 在数据集根目录下执行生成训练和验证的文件名列表 find JPEGImages -name *.jpg | sed s/JPEGImages\///;s/\.jpg// | shuf --random-source(seq 100) | head -n 1000 train.txt # 剩余图片进入val.txt用comm命令取差集 comm -23 (sort all.txt) (sort train.txt) val.txt这个脚本有两个参数值得说明shuf的随机源/dev/urandom在Mac上可能不是直接可用上面用seq生成固定随机序列是为了让结果可复现。实际训练时不建议把train.txt数量选得过大比如10000张图的训练集第一轮跑通可以先拿1000张试确认loss曲线正常后再全量训练。这样做的好处是模型架构和超参数的问题能在一小时内暴露而不是白等一夜。4.3 XML转TFRecord的核心脚本Faster R-CNN的训练输入主流做法是把图片和标注统一转成TFRecord再通过tf.data读取。TFRecord的好处是训练时IO压力小随机打乱和并行读取都由tf.data内部完成。下面给出转换脚本的核心部分。import xml.etree.ElementTree as ET import tensorflow as tf def parse_voc_xml(xml_path): tree ET.parse(xml_path) root tree.getroot() size root.find(size) width, height int(size.find(width).text), int(size.find(height).text) boxes, labels [], [] for obj in root.iter(object): name obj.find(name).text # 类别字符串 bbox obj.find(bndbox) xmin int(bbox.find(xmin).text) ymin int(bbox.find(ymin).text) xmax int(bbox.find(xmax).text) ymax int(bbox.find(ymax).text) boxes.append([xmin, ymin, xmax, ymax]) labels.append(category_to_id[name]) # 类别映射成整数从1开始 return width, height, boxes, labels def write_tfrecord(image_path, xml_path, tfrecord_writer): width, height, boxes, labels parse_voc_xml(xml_path) img_raw open(image_path, rb).read() # 归一化坐标TFRecord里存float不直接存像素整数 # 归一化能让不同尺寸图片共用同一套训练配置 norm_boxes [] for xmin, ymin, xmax, ymax in boxes: norm_boxes.append([ymin / height, xmin / width, ymax / height, xmax / width]) feature { image: tf.train.Feature(bytes_listtf.train.BytesList(value[img_raw])), ymin: tf.train.Feature(float_listtf.train.FloatList(value[b[0] for b in norm_boxes])), xmin: tf.train.Feature(float_listtf.train.FloatList(value[b[1] for b in norm_boxes])), ymax: tf.train.Feature(float_listtf.train.FloatList(value[b[2] for b in norm_boxes])), xmax: tf.train.Feature(float_listtf.train.FloatList(value[b[3] for b in norm_boxes])), label: tf.train.Feature(int64_listtf.train.Int64List(valuelabels)), } example tf.train.Example(featurestf.train.Features(featurefeature)) tfrecord_writer.write(example.SerializeToString())注意坐标存储用的是归一化的[ymin, xmin, ymax, xmax]顺序这正好对应上一章crop_and_resize需要的格式。这个坑非常容易出现有的项目存的是像素坐标绝对值然后把缩放逻辑写进训练循环里的tf.image.resize结果anchor又在原图尺度生成最终网络学习到的框位置差之千里。写TFRecord前先统一格式比在训练循环里反复调试划算得多。4.4 训练命令、参数设置与监控环境准备好后训练命令本身并不复杂重点在几个超参数的设置上。我用的是128的batch size分布到单卡上初始学习率0.001用Adam优化器。梯度裁剪很重要设成10的clip_norm可以防止RPN早期回归loss突然变大导致的梯度爆炸。python train_faster_rcnn.py \ --train_recorddata/train.tfrecord \ --val_recorddata/val.tfrecord \ --epochs50 \ --batch_size2 \ --init_lr0.001 \ --clip_norm10.0 \ --num_classes20batch_size2在VOC数据集上配合512x512的输入单张V100大概占用12G显存如果是8G显存的老卡会OOM。显存不够时不要优先调小输入尺寸否则小目标直接消失正确做法是先把backbone冻结只训练RPN和ROI头。训练过程中要盯三个指标总loss是否平稳下降、RPN分类loss是不是稳定往0走、验证集mAP是否在10个epoch内有上升。如果RPN分类loss不降先检查anchor的正负样本标签分配是否正常比如是不是所有anchor都被标注成了忽略值。5. 训练与推理中容易翻车的四个坑loss、空框、偏移与显存5.1 训练loss从一开始就nan或者中途突然变nan现象训练第一个step loss就是nan或者跑了几个step之后突然变nan之后无法恢复。原因通常是三种一是anchor回归目标里出现了异常值比如真实框宽高为0或重复标注导致IoU为1但面积异常二是学习率过大导致RPN的回归输出在指数解码后激增三是计算smooth L1 loss时没有做数值稳定处理。解决的第一步是在数据准备脚本里把所有宽或高小于1像素的框过滤掉并在解析TFRecord时加一个拒绝条件。第二步在代码里做把回归目标先归一化到对数空间之前对坐标差先取绝对值上限比如超过图像尺寸的偏移直接clip。第三步是把学习率调低一个数量级重试。排查这类问题最实用的手段是打印第一组batch的RPN回归loss上下界看看是不是有某个anchor对应的target是几千像素的偏移。5.2 预测时一张图一个框都没有调低阈值也没用现象模型训练完成推理时对正常图片输出空结果无论把score阈值调到多低。原因绝大多数不是模型没有学到东西而是RPN的proposal提取阶段出了问题。NMS时如果max_output_size0、score_threshold设置过高或者proposal的坐标解码错误导致所有框都落在图片边界之外被过滤就会空白。检查步骤是这样先单独跑测试脚本打印RPN在NMS之前排名前10的候选框得分和坐标看这些坐标是否在图片内。如果坐标全是负数或超过图片宽高定位到decode_boxes函数核对dw/dh是不是做了指数还原。如果坐标正常但得分普遍低于0.05说明模型没有收敛或者训练数据里正样本太少了。可以在推理代码里把NMS阈值从0.7放宽到0.5把max_output_size加大先确认问题出在RPN而不是后面的分类头。5.3 框能出来但位置偏得离谱尤其是大目标和小目标现象检测框的类别经常是对的但位置明显不准小车框偏了半个车身大目标只框住一半。这类问题通常指向ROI Pooling阶段的坐标映射错误或者anchor尺寸配置不合适。crop_and_resize要求box坐标按原图归一化但如果训练时的输入是512x512预测时直接用了原图尺寸的归一化坐标两者尺度不一致就会导致框偏移。解决方法是训练和推理必须走同一条预处理流水线输入图片都先做同样的resize到512x512推理时把网络输出的框坐标换算回原图尺寸后再做一次裁剪可视化。anchor尺寸方面如果数据集中小目标很多把anchor尺寸从(128, 256, 512)改成(32, 64, 128)同时下采样倍数从16改成8也就是backbone输出换成conv3_block这样小目标在feature map上还有足够的像素响应。5.4 显存不够batch size降到1还是OOM现象常见于显存8G的卡输入512x512时连batch size1都跑不动。这里有个很大的误区很多人首先想到的是调小图片尺寸但Faster R-CNN这种模型对输入分辨率极度敏感从512降到384小目标可能直接消失。更有效的方案是冻结backbone的一部分。实际操作是在模型初始化后把conv1到conv4之前的全部层设置成trainableFalse只微调conv4_block6_out之后的分支。这种迁移学习的做法对VOC这种中等数据集精度影响不大显存占用却可以降到原方案的三分之一。还有一个见效很快的技巧把RPN的pre_nms_top_n从6000降到2000post_nms_top_n从2000降到500ROI数量相应减少crop_and_resize的计算量和显存占用都会同步下降对精度的影响在10%以内。第三招是开启混合精度在TF2.x里设置tf.keras.mixed_precision.set_global_policy(mixed_float16)显存占用和训练时间都减少一半在V100以上显卡几乎无精度损失。6. 验证阶段的实用技巧mAP脚本与预测可视化6.1 写一个最小可用的mAP计算脚本训练结束后验证集上的mAP是衡量模型好坏的硬指标。mAP的计算并不复杂但要写得正确还是有几个细节。常见做法是按类别算AP每个类别先把所有检测框按置信度降序排列逐一判断是否和某个真实框匹配然后累加精确率和召回率用差补法求曲线下面积。为了简化上面这些过程可以直接用下面这个最小实现。def compute_ap(gt_boxes, pred_boxes, pred_scores, iou_threshold0.5): # gt_boxes: (num_gt, 4)真实框 # pred_boxes: (num_pred, 4)预测框 # pred_scores: (num_pred,)置信度 order tf.argsort(pred_scores, directionDESCENDING).numpy() pred_boxes pred_boxes[order] tp np.zeros(len(pred_boxes)) fp np.zeros(len(pred_boxes)) matched_gt set() for i, pred_box in enumerate(pred_boxes): ious compute_iou(pred_box, gt_boxes) gt_idx np.argmax(ious) if ious[gt_idx] iou_threshold and gt_idx not in matched_gt: tp[i] 1 matched_gt.add(gt_idx) else: fp[i] 1 cum_tp np.cumsum(tp) cum_fp np.cumsum(fp) recall cum_tp / max(len(gt_boxes), 1) precision cum_tp / np.maximum(cum_tp cum_fp, 1e-8) # 在召回率轴上插值取最大精确率算出曲线下面积 ap 0.0 for t in np.arange(0, 1.1, 0.1): p np.max(precision[recall t]) if np.any(recall t) else 0.0 ap p / 11.0 return ap这里用了经典的11点插值法稳定性好缺点是会把某些高分区间的高精确率摊薄导致AP数字偏低。如果你想更贴近COCO的评估方式可以把采样间隔从0.1改成0.01得到更细的插值曲线代价是计算量略微增加。跑验证集时记得用训练时的score阈值输出所有框不要用NMS之后又加一层阈值否则mAP会被低估。6.2 把预测结果保存成带框图片肉眼排查坏例mAP能给出数字但数字背后的Bad Case必须通过可视化才能定位。我的习惯是在验证脚本里额外输出三张图片一张是召回率最高的正例一张是漏检最多、置信度却很高的负例一张是置信度极低但实际是目标的难例。把这些图片保存到debug_output目录每张图按下标对应框的类别ID、置信度方便后续做针对性数据增强或Hard Example Mining。这个方法在车型检测和缺陷检测项目里帮我节省过大量时间因为很多劣化是某个特定光照条件下出现的只盯整体mAP根本看不出来。另一个验证技巧是用类别级别的mAP曲线判断训练是否有偏。如果VOC的20类里person的AP很高bottle几乎为0说明那类样本在数据增强或者anchor匹配上出了问题而不是模型整体不行。检查一下bottle这类小面积目标的真实框尺寸分布再回头调整anchor尺寸比盲目加训练轮数有效得多。我自己的习惯是每调一轮参数就保存一次验证集mAP和对应的预测图用一个文本文件记录调整了什么、效果如何。这不仅是复盘工具也方便回滚到效果好的模型权重相当于给自己留了后悔药。如果你的项目时间紧建议至少把anchor尺寸、ROI数量、学习率和NMS阈值这四个参数记录在实验表里四五个来回之后你会很快摸到自己数据和模型之间的最优区间。希望这篇笔记能帮你在Faster R-CNN的落地路上少走几步弯路。本文还有配套的精品资源点击获取