简介一份面向目标检测入门学习与医疗影像研究场景的肠道息肉检测数据集包含612张肠道影像及对应标注文件适合用于训练息肉定位模型、复现主流检测算法或进行迁移学习实验。数据集采用Pascal VOC与YOLO双格式组织每张jpg均配有同名的xml与txt标注文件类别统一为xirou共标注712个矩形框全部经labelImg工具人工绘制标注规则严谨统一可直接接入常见训练框架。压缩包共1838个文件其中612张jpg图像、612个VOC格式xml、614个YOLO格式txt整体仅14.63MB下载与解压都十分轻量。目前已有150人浏览学习适合需要标准双格式标注数据用于模型训练、精度评估或数据格式转换练习的研究者与学生也便于自行扩展类别或做数据增强。1. 肠道息肉检测数据集为什么我劝你别再自己一张张标图了做目标检测的人最怕的不是模型不收敛而是数据标注做到手抽筋。尤其医疗影像方向肠道息肉检测这种任务数据还涉及医生专业标注普通人根本标不了。所以当你看到一份612张、VOCYOLO双格式的肠道息肉检测数据集时第一反应应该是这东西能帮我省掉至少两周的标注时间。这份数据集覆盖的是肠镜场景下的息肉目标直接可以用来训练YOLOv5、YOLOv8这类主流检测模型也能无缝转成其他框架需要的格式。我之前接过一个肠镜辅助诊断的项目甲方要求检测息肉并给出位置框当时最头疼的就是数据。公开数据集零零散散格式还五花八门。如果当时有这种612张的现成VOCYOLO格式包至少能先把模型跑起来再做半自动标注迭代。这篇文章就围绕这份数据集讲清楚它是什么、怎么用、参数怎么调、有哪些坑以及你拿到手后应该按什么顺序落地。2. 拆解612张VOCYOLO格式文件结构、标注逻辑与适用场景2.1 拿到压缩包后第一件事搞清目录结构解压后你会看到一个典型的目标检测数据集目录常见做法是分为Annotations、JPEGImages和ImageSets三个核心文件夹外加YOLO格式的labels目录。VOC格式的标注文件是XML每个XML对应一张JPG图片记录着目标类别和边界框坐标。YOLO格式则是TXT文件每行代表一个目标格式为class_id x_center y_center width height坐标做了归一化。我第一次拿到这种双格式数据集时习惯性先跑一条命令统计图片和标注数量是否一致避免训练到一半发现某张图没有标注文件。# 统计JPEGImages下图片数量 ls JPEGImages | wc -l # 统计Annotations下XML数量 ls Annotations | wc -l # 统计labels下TXT数量 ls labels | wc -l如果三个数字不一致大概率是标注过程中有漏标或图片损坏。612张的数据集不大人工核对一遍也就十分钟但如果跳过这一步训练时Dataset类会直接报FileNotFoundError到时候排查起来反而更慢。另外建议用file命令抽查几张图片确认不是损坏的零字节文件。2.2 息肉检测的标注特点单类别还是多类别这份数据集面向的是肠道息肉检测本质上是一个单类别检测任务。但你不要以为单类别就简单——息肉的形态差异极大扁平息肉、带蒂息肉、隆起型息肉在肠镜图像里的视觉特征完全不同。标注时如果只统一标成polyp模型学到的特征会偏向数量最多的那类形态导致少样本形态漏检严重。我一般会在拿到数据集后先做一次类别分布统计确认是不是真的只有一个类别。# 统计labels目录下所有TXT中的类别ID分布 cat labels/*.txt | awk {print $1} | sort | uniq -c如果是单类别输出应该只有1 612这种形式假设类别ID为0。如果出现多个ID说明数据集里可能混入了其他类别比如正常黏膜或炎症区域。这时候你需要决定是保留多类别还是合并成单类别我的建议是医疗场景优先单类别降低模型混淆概率。2.3 612张够不够训练数据量焦虑的正确解法很多人拿到612张的第一反应是太少担心过拟合。这个担心合理但不必过度焦虑。YOLO系列在中小数据集上表现其实不错配合数据增强和预训练权重612张完全可以跑出一个效果尚可的模型。关键在于你的验证集和测试集划分要合理不能简单随机切要保证各类形态在训练集和验证集中都有分布。一个靠谱的划分方式是按患者或视频序列划分避免同一肠镜视频的相邻帧同时出现在训练集和验证集。这个数据集如果本身没有按序列分组你至少要做到随机划分时设置固定随机种子保证实验可复现。import random import os random.seed(42) img_files os.listdir(JPEGImages) random.shuffle(img_files) train_len int(len(img_files) * 0.8) with open(train.txt, w) as f: for name in train_files[:train_len]: f.write(fJPEGImages/{name}\n)这比用train_test_split更直观的地方在于你可以直接控制输出文件路径列表方便喂给YOLO的train.py。注意这里的路径要写相对路径或者绝对路径取决于你训练脚本的data.yaml里怎么设置。3. VOC与YOLO格式互转转换脚本与四个边界坑3.1 两种格式的本质区别绝对坐标 vs 归一化坐标VOC格式的XML里边界框是像素绝对坐标保存在bndbox节点下。YOLO格式则是归一化的相对坐标需要除以图片宽高。转换公式很简单x_center (xmin xmax) / 2 / width y_center (ymin ymax) / 2 / height bbox_width (xmax - xmin) / width bbox_height (ymax - ymin) / height这份数据集既然同时给了VOC和YOLO两种格式理论上你不需要手动转换。但实际使用中你可能要转成COCO格式、或者调整类别ID这就得自己写脚本。我放一个VOC转YOLO的通用脚本供参考。import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, output_dir): tree ET.parse(xml_path) root tree.getroot() size root.find(size) width int(size.find(width).text) height int(size.find(height).text) filename os.path.splitext(os.path.basename(xml_path))[0] yolo_path os.path.join(output_dir, filename .txt) with open(yolo_path, w) as f: for obj in root.iter(object): cls_name obj.find(name).text cls_id class_mapping.get(cls_name, 0) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) x_center (xmin xmax) / 2 / width y_center (ymin ymax) / 2 / height w (xmax - xmin) / width h (ymax - ymin) / height f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}\n)代码逻辑不复杂但这里有四个坑我踩过值得你注意。第一个坑是class_mapping要提前定义好不能直接用类别名字符串写进TXTYOLO只认整数ID。第二个坑是XML里坐标可能是整数也可能是浮点数解析时统一转成float最稳妥。第三个坑是图片宽高必须以XML里的size为准不能用PIL去读实际图片尺寸因为标注时的尺寸和文件实际尺寸可能有差异。第四个坑是文件路径分隔符Windows下用\Linux下用/写脚本时最好用os.path.join免得换机器跑直接报错。3.2 反向转换从YOLO转VOC的注意点有时候你需要把YOLO格式转回VOC比如要用LabelImg重新检查标注质量或者要跑mmdetection这类吃VOC格式的框架。反向转换公式就是把上面的等式反过来def yolo_to_voc(txt_path, img_width, img_height): with open(txt_path, r) as f: for line in f.readlines(): cls_id, x_center, y_center, w, h line.strip().split() x_center float(x_center) * img_width y_center float(y_center) * img_height w float(w) * img_width h float(h) * img_height xmin int(x_center - w / 2) ymin int(y_center - h / 2) xmax int(x_center w / 2) ymax int(y_center h / 2)这里最大的坑是归一化坐标可能因为标注精度问题导致xmin小于0或者xmax大于图片宽度。转换时最好加一个clip操作把坐标限制在[0, width]和[0, height]范围内。另外YOLO格式允许框的中心点坐标和宽高为小数直接转成VOC的整数坐标会损失精度建议保留一位小数。3.3 检查转换结果可视化是唯一的后悔药转换完格式后不要急着开训。我见过太多人转换完直接跑训练结果发现框全偏移了还以为是模型问题。正确的做法是把转换后的标注画回原图上人工抽查。import cv2 img cv2.imread(JPEGImages/000001.jpg) h, w img.shape[:2] with open(labels/000001.txt, r) as f: for line in f.readlines(): cls_id, x_center, y_center, bw, bh line.strip().split() x_center float(x_center) * w y_center float(y_center) * h bw float(bw) * w bh float(bh) * h x1 int(x_center - bw / 2) y1 int(y_center - bh / 2) x2 int(x_center bw / 2) y2 int(y_center bh / 2) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imwrite(check_000001.jpg, img)这一步是后悔药。抽查20张左右如果框的位置和息肉边界贴合再进行下一步。如果偏移严重先检查图片原始尺寸和标注尺寸是否一致再检查是否存在坐标归一化时除错宽高的问题。4. 用YOLOv8训练肠道息肉检测从目录划分到参数调试4.1 准备data.yaml类别名和路径必须一次写对YOLOv8的训练入口是ultralytics包它要求你提供一个data.yaml文件来指定数据集路径、类别数和类别名。很多人在这里翻车路径写错或者类别ID对不上训练直接报错。# data.yaml train: train.txt val: val.txt nc: 1 names: [polyp]注意train和val字段可以指向.txt文件文件里每行是图片的绝对路径或相对路径。如果你用的是YOLOv8默认的数据集加载方式也可以直接指向包含图片的目录但前提是目录下的所有图片都有对应的labels目录。我的习惯是显式用train.txt和val.txt这样能精确控制数据集划分不会因为目录扫描顺序导致数据泄漏。类别ID必须从0开始names列表的第0项对应标注文件中的0类别。如果标注文件里的类别ID是1而你这里用的是0模型会学到一个空类别训练过程中loss会一直下不去。4.2 训练命令与关键参数imgsz、batch、epochs怎么定肠道息肉检测的图像通常是内镜画面分辨率不会特别高常见做法是640x640输入。但你的数据集原始图片尺寸可能不是正方形YOLOv8会自动做letterbox填充这个不用管关键是imgsz要和模型预训练时的输入尺寸匹配。yolo detect train datadata.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0modelyolov8n.pt表示加载YOLOv8nano的预训练权重。612张的小数据集从零训练很难收敛加载预训练权重能让你在几十个epoch内看到有效结果。batch的大小取决于显存如果你只有一张8G显存的卡batch16可能爆显存降到8或者4都可以。小batch配合小数据集时lr可以适当降低我一般用默认的0.01但会开启cos_lrTrue让学习率余弦衰减。训练过程中要盯着两个指标box_loss和cls_loss。如果这两个loss在前20个epoch里没有明显下降趋势先检查数据加载是否正常不要盲目调参。你可以用yolo detect train开启plotsTrue参数训练完会自动生成loss曲线和混淆矩阵。4.3 数据增强的边界医疗影像不能乱增强很多教程会推荐开启Mosaic、MixUp等数据增强手段这在通用目标检测上确实有效。但医疗影像有自己的特殊性——肠道息肉图像本身纹理精细过度的几何变换会破坏临床意义上的形态特征。比如水平翻转对息肉检测是安全的但90度旋转会改变息肉的朝向分布可能导致模型学到错误的方向特征。YOLOv8默认的增强参数对612张的数据集来说偏激进我建议手动调低几个# augment.yaml hsv_h: 0.01 hsv_s: 0.5 hsv_v: 0.4 degrees: 0.0 translate: 0.1 scale: 0.5 flipud: 0.0 fliplr: 0.5 mosaic: 0.5 mixup: 0.0核心思路是保留ColorJitter和Scale这类不影响形态的增强关掉翻转上下和MixUp。Mosaic保留0.5即可但要注意Mosaic会把四张图拼接某些息肉被切割后标注框会跨图模型可能会学到不完整的特征。你可以在训练时设置mosaic0.0如果发现验证集精度下降明显再逐步加回来。4.4 验证集表现差先看置信度阈值还是NMS参数训练完第一次跑验证mAP50可能只有0.5左右甚至更低。这时候不要急着加数据或者换模型先跑一次yolo detect val看看具体失败样本。YOLOv8的验证会输出混淆矩阵和PR曲线定位问题在哪个环节。yolo detect val datadata.yaml modelruns/detect/train/weights/best.pt如果PR曲线在低置信度区间召回率很高但高置信度区间精度崩了说明模型对息肉和背景的区分度不够可以试试调高conf_thres到0.3甚至0.5。如果PR曲线整体偏低说明特征学习不到位需要回训练阶段调整。注意不要频繁调NMS的iou_thres这个参数对结果影响不大默认0.7够用。5. 避坑指南612张息肉数据集训练中的4个高频问题5.1 现象loss下降后又反弹训练曲线震荡严重原因学习率太高或者batch size太小导致梯度噪声大。小数据集本身batch就小如果lr保持默认0.01后期很容易在最优解附近震荡。解决改用cos_lrTrue并降低初始学习率。我试过lr00.005配合lrf0.01训练曲线平稳很多。如果震荡依旧把batch从16降到8梯度更稳定。别指望一次调参到位先跑30个epoch看趋势再决定下一步。5.2 现象验证集mAP很高但实际测试图片漏检严重原因数据划分不随机或者同一患者的多张图片同时进了训练集和验证集。这个612张的数据集如果来源是有限的几段肠镜视频相邻帧里息肉位置几乎一样模型相当于记住了训练集换一段新视频效果立刻露馅。解决先按视频序列或患者ID划分数据再训练不要用随机切分。如果数据集没有提供身份信息至少按文件名的前缀分组。另外增强测试集的多样性多找几家医院的公开图片做外部验证。5.3 现象标注框和目标是偏移的有些框完全没对准息肉原因数据集虽然是VOCYOLO双格式但转换过程中可能存在坐标精度丢失或者原标注本身质量一般。612张的标注量如果标注人员不专业边界框画偏也正常。解决手动检查所有标注框是否贴合息肉边缘重点关注框是否过大或过小。如果整个数据集的框普遍偏大写个脚本按比例收缩10%左右的边界。不要指望模型能自动纠正标注偏差标错的数据只会把模型带偏。5.4 现象训练时CUDA out of memory降低batch后仍报错原因YOLOv8推理和训练时输入图片是固定的640x640batch降到4应该能压到4G显存之内。如果仍然爆显存检查是否同时开着多个训练进程或者PyTorch版本和CUDA不匹配。解决先关掉其他进程再用torch.cuda.empty_cache()清空缓存。还是不行就用CPU训练跑几个epoch验证代码逻辑再回到GPU。注意CPU训练658张图会慢得让人怀疑人生只用来排查问题不是用来训练的。6. 进阶让612张数据集发挥10倍价值的技巧——伪标注迭代与模型蒸馏6.1 用训练好的模型做半自动标注扩充数据集612张数据训练出的模型精度不一定能直接上临床但用来做预标注工具完全够用。方法是先训练一版模型然后对一批无标注的肠镜图片跑推理把置信度高于0.8的检测结果自动写入XML或TXT再人工检查修正。yolo predict modelruns/detect/train/weights/best.pt sourceunlabeled_images/ save_txtTrue conf0.8这一步的关键是把人工精力集中在修正边界框上而不是从零画框。我一般能把标注效率提高3倍以上。注意预标注的框通常偏大或偏小人工修正时重点看边界贴合度不要只确认有无检测到。6.2 用612张数据训练大模型再蒸馏到轻量模型如果是部署到内镜设备端YOLOv8n可能精度不够YOLOv8x又跑不动。一个思路是先用612张数据训练YOLOv8m或YOLOv8l精度达标后用它的预测结果作为伪标签训练YOLOv8n。这样小模型能学到更多特征分布且推理速度快。操作上只需要把训练好的大模型对训练集图片做预测把小模型的数据集换成带伪标签的版本。要注意伪标签清洗很重要。只保留大模型置信度高于0.85的框低置信度框会往小模型里灌噪声。小模型训练epoch可以缩短到50学习率调低防止被伪标签中的异常值带偏。6.3 验证模型可靠性的最终方法外部数据测试训练和验证都在同一个分布内测试集再准也不能说明模型可靠。医疗场景尤其如此最终要拿一段来自不同设备、不同光线条件的肠镜视频做推理测试。如果精度下降超过10%说明模型过拟合到了原数据集的图像风格上而不是学到了息肉的本质特征。这时候除了扩充数据还可以把输入图像做归一化预处理减少不同内镜设备间的色彩差异。我自己的习惯是训练完把最差的三张测试图打印出来贴到工位上每天看一眼提醒自己还有哪些案例没过这个习惯救了我好几次。最后希望这篇文章对你有用能把612张数据跑出靠谱的模型。本文还有配套的精品资源点击获取