简介面向深度学习目标检测任务的仓储机器人识别数据集涵盖比亚迪托盘式、G1RB5000、AGV-P三类常见仓储设备适用于YOLO系列、Faster RCNN、SSD等主流目标检测算法的训练与验证。包内文件总数达两千个其中包含一千五百一十个文本格式的标签文件、四百八十九个可扩展标记语言格式的标签文件以及一个用于定义类别名称与编号的配置文档图片与对应标签已经预先划分为训练集、验证集和测试集并提供VOC与YOLO两种主流标注格式研究者拿到数据后无需额外整理即可直接输入到检测框架中开展训练。压缩包整体约八十二兆体积适中便于本地复制与云端存储。目前已有三百八十三人学习使用覆盖高校实验室、企业算法团队以及刚接触仓储机器人识别的开发者。借助这一数据集用户能快速熟悉仓储机器人的标注规范理解不同类别的对应关系省去数据清洗与格式转换的步骤将更多精力投入模型改进与场景部署。1. 为什么 AGV 仓储场景的目标检测不能拿自动驾驶数据集硬顶做仓储机器人视觉的人第一步往往卡在数据上手里没有一套像样的 agv仓储机器人识别数据集就急着拿 COCO 或自动驾驶数据集先跑通流程。我见过不少项目这样起步真机一测就翻车——AGV 顶升托盘时看不到托盘腿、两车交汇时把另一台 AGV 认成货架、夜间补光下把地面反光当成障碍物。这不是模型不行是通用数据集里根本没有这些视角和场景。本文会从数据采集、标注规范、训练配置到难例挖掘讲完整套落地路径覆盖目标检测数据集处理的常见坑适合做仓储机器人视觉、对接 AGV 调度系统或者打算自建数据集的工程师参考。数据集选对方向YOLO 系列模型在这类固定机位俯拍场景里收敛很快数据集选错调参全是玄学。2. AGV 仓储机器人识别数据集的构成与采集机位、场景分层与目录组织2.1 采集机位与视角AGV 视觉为什么和自动驾驶差这么多AGV 的感知方案一般分两种一种是 AGV 自带相机朝前看识别货架、托盘和人另一种是场端固定相机从高处俯拍识别 AGV 本身的位置和姿态把结果喂给调度系统。不管哪种视角都和自动驾驶的水平前视完全不一样采集时必须按实际安装位置来定机位。我见过最典型的错误是拿路测的行人数据集来训仓储场景模型在真机上对弯腰搬货的工人完全无感。原因很简单行人数据集是水平视角人体是竖着的AGV 俯拍视角下人是一个「头顶 肩膀」的椭圆特征分布完全不同。所以自建数据集第一步不是选模型而是先固定相机安装高度和角度。常见做法是AGV 顶部相机离地 1.2~1.5m略向下俯视 10~15 度场端相机装在通道上方 2.5~3m垂直向下或接近垂直。这样采集到的图像模型上线后看到的和训练时看到的基本一致泛化压力小很多。视角定了之后还有一个常被忽略的点镜头畸变。仓储通道一般用 6mm 或 8mm 广角镜头画面边缘畸变很明显。固定机位下畸变是确定性的模型能自己学会但前提是训练数据的机位分布要覆盖实际部署的所有点位。如果场端有 8 个相机位至少要让每个点位都有样本进入训练集而不是只在一条通道里采数据。2.2 场景分层白天、夜间、货架遮挡怎么切AGV 仓储环境的干扰因素很集中光照突变、货架遮挡、地面反光、同类目标交会。采集阶段就要按这些维度做场景分层而不是简单按「拍多少张」来规划。光照至少要分五档强日间靠窗通道会有阳光直射、普通日间、黄昏、夜间补光、暗场局部灯管损坏。其中夜间补光最容易出问题——AGV 的大灯或场端补光灯照在环氧树脂地坪上会产生大面积反光带模型容易把反光当成障碍物。采集时故意把反光严重的时段多采一些当作训练数据而不是避开它反而能让模型学会忽略反光。遮挡分层要跟着货架布局走。仓储通道里的典型遮挡有三类货架立柱挡住部分行人、两个托盘叠放、AGV 从货架缝隙穿过时车身被局部遮挡。这些样本不能靠随机拍得拿着采集清单在场景里找着拍。每类遮挡至少占总样本量的 10%~15%否则模型只在验证集上好看真机遇到遮挡就漏检。2.3 目录组织与格式转换VOC 到 YOLO 的最小脚本数据采集完第一步是把原始文件整理成标准目录结构。下面是我常用的组织方式train/val/test 按场景通道切分而不是随机切分agv_dataset/ ├── images/ │ ├── train/ # 通道 A-F含日间/黄昏样本约 7200 张 │ ├── val/ # 通道 G不含夜间约 1200 张 │ └── test/ # 通道 H 全部夜间样本约 1600 张 ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── meta/ │ ├── scene_division.csv # 每张图所属通道、时段、光照标签 │ └── attribute.csv # 遮挡程度、截断属性表 ├── agv.yaml └── README.mdtrain/val/test 按通道切分是为了防止同一个通道的连续帧同时出现在训练集和验证集里。如果随机切模型其实见过验证集的「邻居帧」mAP 会虚高很多这个坑后面详述。meta 里的 scene_division.csv 一定保留后面做难例挖掘和补采规划全靠它。标注工具默认输出的往往是 VOC XML 格式YOLO 训练需要 txt。转换脚本是数据集落地的第一个必写工具这里给一个能直接跑的版本import xml.etree.ElementTree as ET from pathlib import Path # VOC XML 转 YOLO txt类别顺序需要和 agv.yaml 里的 names 完全一致 CLASS_MAP {agv_robot: 0, person: 1, pallet: 2, shelf: 3, forklift: 4, obstacle: 5} def voc_to_yolo_one(xml_path: Path, out_dir: Path): tree ET.parse(xml_path) root tree.getroot() img_w float(root.find(size/width).text) img_h float(root.find(size/height).text) lines [] for obj in root.findall(object): # difficult1 的框通常是极模糊目标直接跳过避免噪声标签 if int(obj.find(difficult).text) 1: continue name obj.find(name).text if name not in CLASS_MAP: continue bnd obj.find(bndbox) xmin float(bnd.find(xmin).text) ymin float(bnd.find(ymin).text) xmax float(bnd.find(xmax).text) ymax float(bnd.find(ymax).text) # 归一化到 0~1YOLO 格式是中心点 宽高 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h # 裁剪越界框防止训练时报错 x_center min(max(x_center, 0.0), 1.0) y_center min(max(y_center, 0.0), 1.0) w min(max(w, 0.0), 1.0) h min(max(h, 0.0), 1.0) lines.append(f{CLASS_MAP[name]} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) out_path out_dir / (xml_path.stem .txt) out_path.write_text(\n.join(lines)) # 批量转换images/train 下的 xml 全部转成 labels/train 下的 txt xml_root Path(agv_dataset/annotations/train) out_root Path(agv_dataset/labels/train) for xml_file in xml_root.glob(*.xml): voc_to_yolo_one(xml_file, out_root)这里有两个参数要注意img_w和img_h用的是 XML 里的 size 字段而不是重新读图。如果标注过程中有人用工具裁剪过图片但没更新 XML尺寸会错位导致标注框整体偏移训练时 loss 怎么调都下不去。稳妥做法是脚本跑完后抽查 20 张图把 txt 框画回原图比对一下确认坐标没偏。CLASS_MAP的类别顺序必须和 yaml 的 names 完全一致不然模型学到的是错位的类别映射推理时全乱。3. 标注工具选型与标签体系AGV 数据集的类别树怎么设计3.1 标注工具选型LabelImg、X-AnyLabeling 还是 CVAT数据集规模决定标注工具的选择。标注是 AGV 数据集建设里最耗时的一环选错工具会导致返工成本极高。我的经验是三个档位工具适用规模输出格式关键坑LabelImg单人、3000 张以内VOC XML / YOLO txt只画矩形框圆弧或异形物体框很大无辅助分割X-AnyLabeling单人、带 SAM 辅助VOC / COCO / YOLO需要本地模型配置机器太老会卡适合抽边框CVAT多人团队协作COCO / VOC / YOLO需要部署服务导出格式要做二次字段映射单人做小规模数据集LabelImg 够用超过 5000 张还手动拉框手腕和眼睛都扛不住我一般会切到 X-AnyLabeling用 SAM 先出候选框再人工修正速度能快一倍以上。多人协作必须上 CVAT但导出时要注意它默认带label_id字段和 YOLO 的class_id定义不完全一致转换时容易串类别。另外标注中途发现标签体系改动用 LabelImg 改几百个 xml 还行用 CVAT 改几千条标注记录更麻烦所以标签体系一定要在启动标注前定死。3.2 标签体系设计类别树与遮挡属性怎么定AGV 场景的标签体系不是「人能看见什么就标什么」而是要问一个问题AGV 的决策逻辑到底需要知道什么AGV 路径规划和避障需要的是可通行区域的语义调度系统需要知道每台车在哪、托盘在哪。所以我常把类别控制在 6 个以内每个类别都有明确的决策含义类别标签名决策用途最小标注尺寸AGV 机器人agv_robot多车交汇避让AGV 协同的关键目标40×40 px人员person安全减速、停靠30×60 px托盘pallet顶升对接、取货点确认60×60 px货架shelf通道边界约束100×100 px叉车forklift人工叉车混行区避让80×80 px临时障碍obstacle绕行/停车等待含纸箱、地牛、散件30×30 px这里有一个容易混淆的点托盘和货架下的货物怎么区分。我的约定是托盘和货架作为结构化目标单独标货架上的货箱、托盘上的码垛如果和货架/托盘轮廓重叠严重不额外开「货物」类而是统一归到所属的货架或托盘框内。因为 AGV 对接时关心的是托盘本身的位置不是托盘上码了几层箱。如果强行标货物类两个框高度重叠模型训练时会被互相干扰AP 反而下降。遮挡属性的处理是另一个坑。YOLO 的 txt 格式只支持class x y w h塞不下遮挡程度和截断信息。但这些信息对后续分析很有价值比如夜间样本遮挡率高的帧往往是难例挖掘的重点。常见做法是把属性写进文件名后缀或者单独维护一张 attribute.csv字段包括image_name, scene_id, period, occlusion_ratio, truncated。属性不参与训练但参与数据分析和补采决策。这个问题容易被忽略等你想按遮挡率筛选数据时发现没记录只能重新看一遍图血泪教训。3.3 标注规范边界框贴边还是不贴边标注规范不统一是数据集质量最大的杀手。AGV 场景最容易出现的标注问题有三个。第一个是框的范围不统一。同一个人一张图框到帽子顶另一张图框到头发模型学到的目标边界是抖的。我一般定的规范是框贴着目标可见区域的外沿不包含投影和反光不包含接触的地面阴影。尤其是托盘四个腿和底面之间会有阴影新手标的时候很容易把阴影包进去导致框忽大忽小。第二个是极小目标标不标。俯拍视角下远处的人可能只有 20×30 像素框都看不清。我建议在标签体系里定义最小标注尺寸上表已经列出小于这个尺寸的物体一律不标。否则会出现大量「标了但框不准」的样本模型学到的全是噪声。标注工具一般有缩放功能把图片放大 4 倍再判断是否达到最小尺寸。第三个是类别混淆。最典型的是把叉车标成 AGV或把地牛手动液压车标成障碍物。这类混淆一旦出现就是系统性的模型会在叉车和 AGV 之间反复横跳。规避办法是给标注员一套带典型图的类别说明每类至少放 5 张示例图标之前集体过一遍。标注完成后一定要做抽检。我习惯按 10% 比例抽检重点看两类图夜间图和多目标密集图。抽检发现单张图错误超过 2 处这一批就翻工不要抱着「先训练再修正」的心态模型不会告诉你它学歪了只会给你一个虚高的 mAP 和一堆莫名其妙的漏检。4. 用 YOLOv8 训练自建 AGV 数据集配置文件、训练命令与三个必调参数4.1 训练前的配置文件data yaml 与目录路径数据集准备好第一步是写 YOLOv8 的 data yaml。这里最常见的失误是用绝对路径换台机器训练就炸。正确写法是相对路径配合path字段# datasets/agv/agv.yaml path: ./ # 相对于运行命令的目录这里指 datasets/agv/ 下 train: images/train val: images/val test: images/test names: 0: agv_robot 1: person 2: pallet 3: shelf 4: forklift 5: obstaclepath字段的取值逻辑是假如你在agv_dataset上一层目录运行训练命令path就写./agv_dataset如果直接在agv_dataset目录里运行写./就行。names的顺序必须和第 2 章转换脚本里的CLASS_MAP完全一致这是整个流程里最容易翻车的地方——类别 id 错一位模型训练时 loss 正常下降但推理结果全错而且很难排查。4.2 训练命令与超参imgsz、mosaic、close_mosaic 怎么调在 AGV 数据集上我用得最顺的基线是 YOLOv8s。不是 v8 一定比 v5 强多少而是 v8 的 anchor-free 头对小目标更友好AGV 俯拍视角下远处的人属于典型小目标。训练命令如下yolo detect train \ datadatasets/agv/agv.yaml \ modelyolov8s.pt \ imgsz640 \ epochs120 \ batch16 \ mosaic0.5 \ close_mosaic10 \ patience20 \ projectruns/agv \ nameexp_021三个必调参数说清楚imgsz我固定用 640不上 1280。AGV 俯拍场景的物体尺度比自动驾驶稳定640 已经能覆盖上表定义的最小目标上 1280 显存翻倍mAP 提升一般不超过 2 个点对真机实时推理也没帮助。如果项目对远处小目标要求极高优先处理的是补采近距离样本而不是硬上分辨率。mosaic是 AGV 场景最需要压的参数。YOLOv8 默认mosaic1.0但仓储场景货架遮挡多mosaic 会把不同通道的图拼在一起制造大量「半张货架 半个人」的拼接样本模型学到的是拼接缝特征而不是目标特征。我把 mosaic 压到 0.5保留了数据增强的多样性又避免了过度拼接。如果发现训练前期 loss 降得很慢可以继续压到 0.3 试试。close_mosaic10是配套参数最后 10 个 epoch 关闭 mosaic让模型在真实分布上做最后的收敛。如果不关验证集上 mAP 看着不错但真机跑起来对完整目标的响应反而不稳定因为模型已经习惯了看残缺目标。4.3 训练日志怎么看loss 曲线与 mAP 的合理区间训练不是把命令跑完就完事日志里有两个地方值得盯。第一个是 loss 曲线box_loss在 120 epoch 下应该降到 0.8 附近cls_loss降到 0.02 附近。如果cls_loss降不下去还反弹大概率是标注里混入了类别错误回去查标注抽检记录别急着调参。第二个是mAP50-95和mAP50的关系。AGV 这种目标尺度相对集中的数据集mAP50一般比mAP50-95高 15~20 个点如果差距超过 25 个点说明模型对框的中心点不够准可以在训练完做一轮 fine-tune降低学习率只微调最后两层跑 30 epoch。我在 AGV 数据上用过这个办法mAP50-95 能再涨 3~5 个点代价是训练时间多 20 分钟值得。说到验证很多人训练完只看model.val()的汇总指标就收工。我建议跑完训练后额外做一次带save_jsonTrue的验证输出每张图的检测详情后面难例挖掘要用。参数默认值AGV 场景建议原因imgsz640640俯拍场景目标尺度稳定上 1280 收益低mosaic1.00.5货架遮挡多mosaic 拼出大量半遮挡假样本close_mosaic1010最后阶段恢复真实分布稳定最终权重batch16尽量 16 以上batch 太小 BN 不稳定loss 震荡patience10020AGV 数据集类少后期过拟合快早停防止权重漂移5. AGV 数据集训练避坑验证集泄漏、小目标漏检与标注不一致5.1 mAP 虚高但真机漏检验证集场景泄漏的锅现象训练完验证集 mAP50 到 0.95模型上真机一测通道另一端的目标大面积漏检。原因train/val/test 随机切分同一个通道的连续帧同时出现在训练集和验证集里。模型在训练时见过验证集帧的「邻居」验证集评估基本是开卷考试。AGV 是连续移动拍摄相邻帧背景高度相似随机切分等于泄漏。解决按采集场景切分数据这是我反复强调的一点。第 2 章的目录结构里train 放通道 A-Fval 放通道 Gtest 放通道 H不同通道之间互不重叠。如果场景点位数不够退而求其次按时间段切白天训练、夜间验证也能保证基本隔离。切分完成后看一眼 val 集里的图片数量如果超过总量的 20%回退一些验证集太大反而把训练集饿死。5.2 夜间样本总学不好类别分布失衡现象总 mAP 过了 0.9但按夜间样本单独统计person 类 mAP50 只有 0.6AGV 在夜间对行人几乎不响应。原因夜间样本只占总量 5%训练时模型把注意力全放在日间高频特征上。loss 是全体样本的平均少数类样本的贡献被稀释。解决两个手段配合。一是补采把夜间样本比例提到至少 15%这是治本。二是在训练时给夜间样本所在的困难场景做损失加权YOLOv8 没有现成的样本权重参数可以在数据层面操作把夜间图像做亮度增强副本放进训练集相当于软重复采样。注意不要简单硬复制同一张图模型会过拟合到具体像素做一点亮度扰动再放进去才有效。5.3 同一物体相邻帧标签忽大忽小AP 不稳定现象训练 loss 收敛正常但验证集里同一物体在相邻帧的预测框抖动明显mAP50 波动超过 3 个点。原因标注时包含了阴影、反光或部分遮挡物导致同一物理目标在不同帧里的标注框范围不一致。模型学到的是一个「可变形的目标边界」预测自然飘。解决回查标注规范重标问题严重的类别。AGV 场景里最容易犯的是托盘框包含了地面阴影——补光灯下托盘腿的影子可以拉出半米长框就忽大忽小。我处理过一批这样的数据重标后 mAP50 稳定性直接改善。规范就是 3.3 写的框贴着目标可见区外沿不包含阴影和投影。标注抽检时专门查这一类。5.4 模型把托盘认成障碍物漏标太多现象真机上 AGV 明明看到前方有托盘模型却输出 obstacle调度系统触发了不必要的停车。原因标注阶段漏标了部分托盘尤其托盘摞在一起、只露出侧面时标注员没意识到那是托盘。训练集里这个角度的托盘样本太少模型学到的托盘特征是「四腿分开」的标准正视图侧视托盘全部落入 background 或被归到 obstacle。解决检查托盘类别在不同角度下的样本直方图。我一般按「正视图、侧视图、堆叠、遮挡」四个维度统计每个维度至少保留 300 张。不够就补采专拍托盘堆叠区和货架底层的侧视样本。另外漏标导致的问题无法靠调参解决任何置信度阈值调整都救不回来只能补数据。5.5 补光灯造成的反光带障碍物类误报飙升现象夜间补光下地面出现大面积反光带模型在无物体的地面上输出大量 obstacle 框AGV 频繁减速。原因反光带在图像里的纹理和边缘特征接近障碍物模型从训练数据里学到「这种亮带可能有东西」。如果训练集没有反光负样本模型只能靠猜。解决这是负样本问题不是正样本问题。采集时专门拍一段夜间空通道反光视频抽帧后全部标注为「背景」加入训练集不分配标签。YOLOv8 会在训练时把背景图作为负样本模型学会抑制这类纹理。我一般会让反光负样本占夜间的 10% 左右足够压低误报率。注意不要把这些图分配 obstacle 标签那样会把模型教歪——反光不是障碍物。6. 用难例挖掘验证数据集价值漏检高发帧筛选脚本与补采优先级模型训完指标好看只是第一步。真正的验收动作是跑一轮难例挖掘把验证集里漏检率高的帧找出来按场景维度归因再决定补采方向。下面这个脚本是我每次训练后固定跑的from ultralytics import YOLO from pathlib import Path import numpy as np import pandas as pd model YOLO(runs/agv/exp_021/weights/best.pt) label_dir Path(datasets/agv/labels/val) miss_rows [] for label_file in sorted(label_dir.glob(*.txt)): if label_file.stat().st_size 0: continue img_file label_file.with_suffix(.jpg) if not img_file.exists(): img_file label_file.with_suffix(.png) # 兼容 png 原图 # 读 GT 框YOLO txt 每行是 cls x y w h gt_boxes [] for line in label_file.read_text().splitlines(): cls, x, y, w, h map(float, line.split()) gt_boxes.append([x, y, w, h]) pred model.predict(str(img_file), conf0.25, verboseFalse)[0] pred_boxes pred.boxes.xywhn.numpy() if pred.boxes is not None else [] # 用 GT 中心点是否落在预测框内判断命中简单有效 missed 0 for gx, gy in [(b[0], b[1]) for b in gt_boxes]: hit any( np.abs(p[0] - gx) p[2] / 2 and np.abs(p[1] - gy) p[3] / 2 for p in pred_boxes ) missed not hit ratio missed / len(gt_boxes) if ratio 0.5: miss_rows.append([img_file.name, len(gt_boxes), missed, ratio]) pd.DataFrame(miss_rows, columns[image, gt_count, missed, miss_ratio]) \ .sort_values(miss_ratio, ascendingFalse) \ .to_csv(agv_val_miss_ratio.csv, indexFalse)脚本逻辑不难逐张读取验证集标签跑模型预测用 GT 中心点是否落入任意预测框判定命中最后按漏检比例排序输出 CSV。conf0.25要和训练时验证的阈值一致否则阈值不同会导致误判。中心点判定是偏乐观的——如果预测框很小但 GT 很大中心点落在框内也可能只覆盖了物体一小部分所以阈值取 0.5只筛严重漏检帧不作为精确指标。拿到 CSV 之后按照image字段反查第 2 章的scene_division.csv把漏检帧按通道和时段聚合。我自己的经验是补采优先级这样排第一漏检帧最密集的通道加采一轮优先补足该点位的光照条件第二新增机位比如充电区、接驳区这些区域一般是采集盲区但 AGV 每天都要经过第三新光照条件灯管老化偏黄时的通道、黄昏逆光的通道各补 200 张就有明显效果。这个脚本还有一个变体把高置信误检帧也列出来比如obstacle类置信度超过 0.8 但 GT 里没有对应框的图这就是第 5 章反光带误报的数据来源分析方法和漏检完全一样。我见过太多人做完数据集就扔一边真机出问题再回头翻训练数据那时候定位成本高得多。在 AGV 识别这种场景相对固定的任务里每轮训练后跑一次难例挖掘、看前 20 张问题图再决定下一步比盲目调超参和换网络结构都管用。我的习惯是先看数据再看指标指标只能告诉你模型好不好难例挖掘才能告诉你是数据不行还是模型不行。希望帮到你。本文还有配套的精品资源点击获取