标注这件事做过的都懂——模型效果好不好八成看数据数据好不好八成看标注。可标注偏偏是最费人力的环节一张图框几个目标一天下来眼睛都花了标注团队的成本还居高不下。这两年自动标注和数据飞轮被反复提起核心思路其实很朴素用大模型先把框和掩码粗标出来人工只做审核和修正把重复劳动压到最低。我最近把X-AnyLabeling autodistill Grounded-SAM这条链路完整跑了一遍从环境部署到批量出标、再到回流训练踩了不少坑也总结出一套相对稳的流程。这篇就把整套东西拆开讲清楚包括为什么这么选型、每一步的意图是什么、哪些地方最容易翻车。不管你是刚接触自动标注的新手还是已经在做数据闭环的老手应该都能从里面捞到点能直接抄的东西。1. 为什么是这三个工具凑成一条链路1.1 自动标注的本质是用模型生产训练数据先把概念捋直。自动标注不是让模型替你干活就完事了它的本质是用一个大而全的模型去生产一个小而专的模型所需要的训练数据。你最终要部署的往往是一个轻量检测或分割模型它需要几千上万张标注图而人工标这些图成本极高。于是思路变成先用一个泛化能力强的模型比如 Grounded-SAM 这种开放词汇的检测分割组合把数据粗标出来人工只做修正修正后的数据拿去训练你的小模型小模型上线后再把难例回流形成数据飞轮。这条链路里三个工具各司其职Grounded-SAM负责从零生成标注。它把 Grounding DINO 的开放词汇检测能力和 SAM 的分割能力拼在一起你给一段文字提示比如 person. car. dog.它就能把图里对应的目标框出来并分割出掩码。这是自动标注的发动机。autodistill负责把发动机装到流水线上。它是一个蒸馏框架把大模型基础模型的输出转成目标模型能吃的标注格式并且封装了批量推理、格式转换、训练目标模型的流程。你不用自己写一堆胶水代码。X-AnyLabeling负责人工审核和修正。它是一个带 AI 辅助的标注客户端内置了 SAM、YOLO 等模型支持自动预标注、一键分割、快捷键操作人工审核效率比传统标注工具高一大截。三者串起来就是Grounded-SAM 批量出粗标 → autodistill 做格式转换和蒸馏训练 → X-AnyLabeling 做人工精修和难例回流。这个组合的好处是每一环都能单独替换不会把你锁死在某一个工具上。1.2 和直接用 SAM 点一下的区别在哪很多人会问X-AnyLabeling 里不是自带 SAM 吗我直接点一下不就自动标注了为什么还要绕 Grounded-SAM 和 autodistill区别在于规模和自动化程度。X-AnyLabeling 内置的 SAM 交互式分割适合少量图片、人工点提示的场景你点一下它分一个本质还是半自动。而 Grounded-SAM 是文本驱动的你写一次提示词它能对成百上千张图批量跑全程不需要人点。autodistill 则把批量跑这件事工程化了还能直接接着训练。所以选型逻辑很清楚场景推荐方案原因几十张图快速标X-AnyLabeling 内置 SAM交互式即点即用几千张图类别固定Grounded-SAM autodistill 批量文本驱动全自动类别多、需精修三者串联批量粗标 人工精修要持续迭代加数据飞轮难例回流再训练我实测下来纯人工标 1000 张图每张 5 个目标大概要 2-3 天用 Grounded-SAM 批量粗标 X-AnyLabeling 精修同样工作量能压到半天以内而且标注一致性更好——因为粗标阶段是同一个模型出的风格统一人工只需要改错。1.3 数据飞轮到底转的是什么数据飞轮这个词被说烂了但落到实操上它转的是这么一圈用基础模型Grounded-SAM对未标注数据批量出粗标人工在 X-AnyLabeling 里精修得到高质量标注集用 autodistill 拿这批数据训练一个轻量目标模型目标模型上线推理把置信度低或预测错的样本挑出来难例挖掘难例回到第 1 步重新粗标、精修、训练。每转一圈目标模型在难例上的表现就提升一点需要的标注量越来越少。关键在于第 4 步的难例挖掘这是飞轮能转起来的核心——如果只是无脑标新数据那叫堆数据不叫飞轮。2. 环境部署三个工具各自的坑2.1 Grounded-SAM 的依赖是最重的一环Grounded-SAM 本质是两个模型的组合依赖比较重。核心是 Grounding DINO 和 SAM 两个权重加上它们的推理代码。我建议用 conda 单独建环境别和主环境混conda create -n grounded-sam python3.10 -y conda activate grounded-samPython 版本我锁在 3.10实测 3.11 和 3.12 在部分 CUDA 扩展上会出问题。然后是 PyTorch一定要按你的 CUDA 版本装别直接pip install torch那样装到的可能是 CPU 版# 以 CUDA 11.8 为例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118装完先验证import torch print(torch.cuda.is_available()) # 必须是 True print(torch.version.cuda) # 确认 CUDA 版本如果这里是 False后面所有推理都会退化成 CPU慢到没法用。这是第一个大坑很多人卡在这还以为模型有问题。权重文件要提前下好Grounding DINO 的groundingdino_swint_ogc.pth和 SAM 的sam_vit_h_4b8939.pth或更轻的 vit_b/vit_l。权重放哪、怎么加载代码里要写对路径否则会报找不到文件的错。2.2 autodistill 的安装和模型选择autodistill 本身很轻它是个调度层真正干活的是它背后挂的基础模型和目标模型。安装pip install autodistill pip install autodistill-grounded-sam # Grounded-SAM 作为基础模型 pip install autodistill-yolov8 # YOLOv8 作为目标模型注意 autodistill 的插件是按基础模型和目标模型分开装的你要用哪个就装哪个。我第一次装的时候只装了autodistill跑起来报找不到 GroundedSAM才发现插件没装。目标模型我选 YOLOv8理由是它训练快、部署方便、社区资料多。如果你要做分割可以换成 YOLOv8-seg要做分类autodistill 也支持。选型上不用纠结先用最熟的跑通再换。2.3 X-AnyLabeling 的源码运行与快捷键X-AnyLabeling 有打包好的可执行文件直接下载就能用。但如果你要改代码、加自定义模型就得从源码跑。源码运行大致是git clone https://github.com/CVHub520/X-AnyLabeling.git cd X-AnyLabeling pip install -r requirements.txt python anylabeling/app.py在 PyCharm 里跑的话把anylabeling/app.py设为入口工作目录设成项目根目录解释器选你装好依赖的那个环境。常见报错是 Qt 相关的库缺失Linux 下补libxcb系列Windows 下一般是 PyQt5 版本冲突按 requirements 里的版本锁死基本能解决。快捷键是提效的关键我常用的几个快捷键功能W创建矩形框E创建多边形CtrlI导入 AI 预标注结果CtrlJ切换下一张D / A下一张 / 上一张CtrlS保存Del删除选中标注把CtrlI用熟配合 Grounded-SAM 导出的预标注文件审核速度能翻倍。3. 用 Grounded-SAM 批量出粗标3.1 提示词怎么写才准Grounded-SAM 是文本驱动的提示词直接决定召回率。几个实操经验用英文类别之间用点号分隔person. car. bicycle.这种格式是 Grounding DINO 的标准输入末尾的点号别漏。类别名要具体写dog比写animal准得多写red apple比写fruit准。开放词汇模型对具体名词的响应更好。别一次塞太多类别我试过一张图塞 20 个类别召回率明显下降模型会顾此失彼。建议单次不超过 8-10 个类别类别多就分批跑。同义词可以都写上比如car. automobile. vehicle.能提高召回但会带来重复框后面去重。阈值也要调。Grounding DINO 有box_threshold和text_threshold两个参数前者控制框的置信度门槛后者控制文本匹配门槛。默认 0.3/0.25 偏保守召回不够就降到 0.2误检多就升到 0.4。这个没有万能值得拿几十张图试出来。3.2 批量推理脚本的骨架单张推理跑通后批量就是套个循环。核心逻辑import os import cv2 import torch from groundingdino.util.inference import load_model, load_image, predict from segment_anything import sam_model_registry, SamPredictor # 加载模型 grounding_dino load_model(GroundingDINO_SwinT_OGC.py, groundingdino_swint_ogc.pth) sam sam_model_registry[vit_h](checkpointsam_vit_h_4b8939.pth) sam.to(devicecuda) predictor SamPredictor(sam) TEXT_PROMPT person. car. bicycle. BOX_THRESHOLD 0.3 TEXT_THRESHOLD 0.25 image_dir images/ output_dir prelabels/ os.makedirs(output_dir, exist_okTrue) for name in os.listdir(image_dir): path os.path.join(image_dir, name) image_source, image load_image(path) boxes, logits, phrases predict( modelgrounding_dino, imageimage, captionTEXT_PROMPT, box_thresholdBOX_THRESHOLD, text_thresholdTEXT_THRESHOLD, ) # 用框作为 SAM 的提示生成掩码 predictor.set_image(image_source) # ... 对每个 box 调 predictor.predict得到 mask # 保存为 X-AnyLabeling 能读的 json这里有个关键点SAM 的输入提示用 Grounding DINO 出的框框越准掩码越准。如果框本身就偏掩码会跟着偏。所以框阈值别设太低宁可漏检也别引入一堆垃圾框。3.3 输出格式要提前对齐 X-AnyLabelingGrounded-SAM 默认输出的是它自己的格式要转成 X-AnyLabeling 能直接导入的格式。X-AnyLabeling 支持多种格式我一般转成它原生的 JSON结构大致是{ version: 2.4.0, flags: {}, shapes: [ { label: person, points: [[x1, y1], [x2, y2]], shape_type: rectangle } ], imagePath: xxx.jpg, imageHeight: 1080, imageWidth: 1920 }如果是分割掩码shape_type用polygonpoints放多边形顶点。掩码转多边形可以用cv2.findContours加approxPolyDP简化顶点别太多否则文件巨大还卡。提示坐标一定要和图片尺寸对应X-AnyLabeling 是按原图坐标渲染的。如果你在推理时缩放了图片记得把坐标还原回去否则框会整体偏移。4. 用 autodistill 把粗标变成训练集4.1 autodistill 的工作流拆解autodistill 的用法很简洁核心就三步定义基础模型、定义目标模型、启动蒸馏。from autodistill_grounded_sam import GroundedSAM from autodistill.detection import CaptionOntology from autodistill_yolov8 import YOLOv8 # 1. 定义本体文本提示到类别名的映射 ontology CaptionOntology({ person: person, car: car, bicycle: bicycle, }) # 2. 基础模型 base_model GroundedSAM(ontologyontology) # 3. 对未标注图片批量打标 dataset unlabeled_images/ base_model.label(input_folderdataset, output_folderlabeled_dataset/) # 4. 训练目标模型 target_model YOLOv8(yolov8n.pt) target_model.train(labeled_dataset/, epochs50)CaptionOntology是核心它把文本提示和最终类别名对应起来。左边是喂给 Grounded-SAM 的提示词右边是你数据集里的类别名。这个映射写对了后面类别就不会乱。4.2 本体设计类别映射的讲究本体设计看着简单其实很影响结果。几个原则提示词用英文类别名按你的规范来比如提示词traffic light类别名可以是traffic_light保持你数据集命名一致。一个类别对应一个提示词别一对多如果你写{car: vehicle, automobile: vehicle}两个提示词映射到同一个类别autodistill 会合并但可能产生重复框不如直接写{car. automobile.: vehicle}让 Grounded-SAM 内部处理。类别名别用空格和特殊字符训练时容易出问题用下划线。我踩过一个坑本体里类别名写成了中文结果训练时 YOLOv8 的类别文件编码出问题报了一堆乱码。后来统一改成英文小写下划线再没出过事。4.3 蒸馏训练的参数与验证autodistill 调 YOLOv8 训练时参数可以透传。几个关键参数参数建议值说明epochs50-100数据少就多跑几轮imgsz640和推理尺寸一致batch按显存8G 显存用 8-16patience20早停防过拟合训练完一定要验证别直接上线。autodistill 训练完会输出权重拿几张没参与训练的图跑一下看 mAP 和实际效果。我一般会留 10% 的数据做验证集autodistill 的label阶段可以只标训练集验证集单独标或者人工标这样评估才准。注意自动标注出来的数据是有噪声的直接拿去训练模型会学到这些噪声。所以精修这一步不能省尤其是要上线的模型。5. 在 X-AnyLabeling 里做人工精修5.1 导入预标注并批量审核把 autodistill 或 Grounded-SAM 输出的 JSON 放到图片同目录或指定目录在 X-AnyLabeling 里用CtrlI导入。导入后每张图会显示预标注的框和掩码你只需要检查框是否贴合目标偏了就拖动调整检查类别是否正确错了就改标签检查有没有漏标漏了就补检查有没有误标多了就删。熟练之后一张图几秒钟。关键是批量审核时保持节奏别在一张图上纠结太久先把明显的错误改掉细节留到第二轮。5.2 用内置模型补标和纠错X-AnyLabeling 内置了 SAM 和 YOLO遇到预标注漏掉的目标可以直接用内置模型补。比如漏了一个人用 SAM 点一下就能分割出来。这个功能在精修阶段特别有用比手动画多边形快得多。另外它支持自动标注模式选一个内置模型对当前图跑一遍作为预标注的补充。我一般先用 Grounded-SAM 的预标注打底再用内置模型查漏补缺。5.3 快捷键与审核效率的实战技巧审核效率全靠快捷键。除了前面列的基础键几个提效技巧用D快速翻页眼睛扫一遍有问题的才停下来改标签用数字键快速切换X-AnyLabeling 支持给标签绑快捷键把高频类别绑到 1-9善用复制粘贴相似目标可以复制框再微调分组审核先集中改类别错误再集中调框位置减少上下文切换。我实测下来一个熟练的标注员用这套流程审核速度能到纯手工标注的 3-5 倍而且因为粗标统一标注一致性明显更好。6. 数据飞轮难例回流与迭代6.1 难例挖掘的几种策略飞轮能不能转全看难例挖得准不准。常用策略低置信度样本目标模型推理时置信度在 0.3-0.6 之间的说明模型拿不准值得回流预测与粗标不一致目标模型和 Grounded-SAM 结果差异大的往往是难例类别混淆样本模型把 A 类预测成 B 类的重点回流场景边缘样本夜间、遮挡、小目标等主动收集。我一般用低置信度 不一致两个策略组合召回难例的效果最好。6.2 回流数据的再标注与再训练挖出来的难例回到第 3 步重新用 Grounded-SAM 粗标再进 X-AnyLabeling 精修然后并入训练集重新训练。注意别把旧数据丢了新老数据一起训防止灾难性遗忘。如果新数据量很大可以按比例混合比如新数据占 30%-50%。再训练时学习率可以调小一点因为是在已有模型基础上微调。YOLOv8 支持从已有权重继续训把model指向上一轮的best.pt即可。6.3 飞轮转起来的判断标准怎么知道飞轮转起来了看两个指标同样精度下需要的人工精修量在下降说明模型越来越准人工越来越省难例的占比在下降说明模型覆盖的场景越来越全。如果转了几圈这两个指标都没变化那说明要么难例挖得不对要么数据分布没变得回头检查。7. 踩过的坑和几条硬经验7.1 坐标和尺寸对不上导致框全偏这是最常见的坑。Grounded-SAM 推理时如果对图片做了 resize输出的框坐标是缩放后的直接存成标注就会整体偏移。解决办法是记录缩放比例把坐标还原到原图尺寸。我一般统一不缩放或者缩放后严格还原别偷懒。7.2 类别映射写错导致训练全乱本体映射写错训练出来的模型类别全是错的。建议在label阶段完成后先抽查几张标注图确认类别名和框都对再进训练。这一步花五分钟能省几小时返工。7.3 显存不够的降级方案Grounded-SAM 的 SAM 用 vit_h 很吃显存8G 卡跑大图容易 OOM。降级方案换 vit_b 或 vit_l 的 SAM 权重精度略降但显存友好减小输入分辨率分批推理别一次加载太多图。我日常用 vit_l精度和显存比较平衡。7.4 自动标注不是万能药最后说句实在话自动标注能省大量重复劳动但它替代不了人工判断。模型没见过的新类别、模糊边界、遮挡严重的目标还是得人来。把自动标注当成高级草稿人工做终审这个定位摆正了整条链路才跑得顺。这套流程我前后迭代了三四版从最开始单张跑 Grounded-SAM到后来 autodistill 批量蒸馏再到 X-AnyLabeling 精修加飞轮每一步都是被实际问题逼出来的。工具会更新但基础模型粗标 人工精修 难例回流这个思路是稳的。你要是刚开始搭建议先用几十张图把三个工具各自跑通再串起来别一上来就上大规模那样出问题很难定位。