简介这套智慧交通铁路人员危险行为检测数据集面向目标检测与行为识别方向的算法工程师、科研人员及铁路安防系统开发者可用于训练铁路场景下人员躺、坐、站及轨道区域识别模型支撑安全巡检与危险行为预警也可作为行为识别算法基准数据。数据覆盖sitting坐、sleeping躺、standing站、track轨道四类目标共3766张图像、5696个标注框其中standing框数1782、track框数1819相对较多类别分布不均衡适合检验细粒度识别与样本均衡策略。全部标注由labelImg逐框绘制矩形框完成同时提供VOC与YOLO两种格式标注便于直接适配不同检测框架。资源包共2000个文件以XML标注文件为主体另含TXT文件压缩包整体约920.36MB。需注意数据包含较多增强图片且仅标注铁路人员行为动物等目标未标注适合作为铁路安防行为检测专用训练集目前已有703人学习下载。1. 铁路人员危险行为检测的数据集3766张图够不够训练出一个能上线的模型铁轨边有人躺下、静坐、长时间站着不动这类行为在智慧交通场景里属于高危信号视觉模型得先看得见才能谈得上告警。这份《智慧交通铁路人员危险行为躺站坐检测数据集VOCYOLO格式3766张4类别》就是用来训练这类行为识别模型的基础物料3766张带标注图像同时给出VOC XML和YOLO txt两套格式类别数4个核心覆盖躺、站、坐三类行为第4类通常在包内的类别清单里单独定义。对正在做轨交安防、智慧车站、铁路周界视觉方案的工程师来说拿它做训练起点是够的但它并非开箱即用。格式映射、类别编号、训练验证集划分每一步都有翻车的空间。下面按我拿到这类数据包的处理顺序来拆目录结构、格式转换、训练参数、常见坑和效果验证。2. 拆开数据包VOC与YOLO双格式的目录结构怎么对应2.1 VOC一侧Annotations、JPEGImages 与 ImageSets 各自管什么解压后会看到一套符合Pascal VOC习惯的目录通常长这样VOCdevkit/ └── VOC2024/ ├── Annotations/ ├── JPEGImages/ └── ImageSets/ └── Main/ ├── train.txt └── val.txtJPEGImages 存放全部原始帧Annotations 里是跟图片同名的 XML 标注文件ImageSets/Main 里放的是划分好的训练和验证文件名清单。铁路场景的背景很不干净道砟、接触网、轨道、围栏全混在一起人的尺寸又小XML 里的标注质量直接决定后面的训练效果所以第一步值得认真看。打开一个 XML核心结构是这样annotation folderJPEGImages/folder filenamerail_scene_0042.jpg/filename size width1920/width height1080/height depth3/depth /size object namelie/name bndbox xmin520/xmin ymin830/ymin xmax910/xmax ymax1042/ymax /bndbox /object /annotationname是类别名bndbox四个值是目标框的左上角和右下角绝对像素坐标。高位俯拍的铁路监控画面里人的高度常常只占图像总高的十分之一框会偏窄偏扁这是正常现象。真正要警惕的是xmax超过图片宽、ymin是负值这类边界越界以及 XML 里filename和实际图片名对不上。发现这类问题的 XML 有几十个时后边训练出来的模型漏检率会莫名其妙地高。2.2 YOLO一侧txt 标签每行五个数字的含义YOLO 格式的标注文件是把图片里每个目标写成一行五个数字依次是类别编号、归一化中心点 x、归一化中心点 y、归一化宽、归一化高。训练时真正吃的是这套 txtVOC XML 主要用来人工复核标注。1 0.3724 0.8611 0.2031 0.1125 0 0.6150 0.5408 0.1512 0.2962类别编号从 0 开始对应关系放在classes.txt或后备箱的labels.txt里。这个对应顺序是整个训练里最容易出错的地方。很多数据包会写0: stand, 1: sit, 2: lie换个包可能就变成0: lie, 1: sit, 2: stand。训练前必须打开文件确认不要凭文件名猜。检查整套标签是否可用的快速脚本如下import os label_dir labels bad [] for f in sorted(os.listdir(label_dir)): if not f.endswith(.txt): continue with open(os.path.join(label_dir, f), encodingutf-8) as fp: for i, line in enumerate(fp): parts line.strip().split() if len(parts) ! 5: bad.append((f, i, 字段数不是5)) continue cid, cx, cy, w, h map(float, parts) if not (0 cx 1 and 0 cy 1): bad.append((f, i, 中心点越界)) if w 0 or h 0 or w 1 or h 1: bad.append((f, i, 宽高异常)) if cid ! int(cid) or int(cid) 0 or int(cid) 3: bad.append((f, i, 类别编号超范围)) print(问题数量:, len(bad)) for item in bad[:10]: print(item)这个脚本扫一遍能挡掉大部分格式低级错误。cid ! int(cid)是防止有人把类别编号写成1.0这种浮点格式YOLO 训练时读到会自动转但容易静默出错。中心点越界通常意味着目标框底部超出画面常见于人体躺在画面边缘的情况这类样本要不要留取决于你的业务判断。2.3 VOC 转 YOLO 的落地脚本类别清单必须先行对齐如果包里 YOLO 格式缺失、只有 VOC XML就得自己做转换。常见做法是写一个一次性脚本跑完但先要把类别清单固定下来因为 XML 里写的是类别名YOLO 里要的是编号两边对不上就全部白转。import os import xml.etree.ElementTree as ET CLASS_NAMES [stand, sit, lie, other] def voc_to_yolo(xml_path, txt_path): tree ET.parse(xml_path) root tree.getroot() img_w float(root.find(size/width).text) img_h float(root.find(size/height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in CLASS_NAMES: continue cls_id CLASS_NAMES.index(name) box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) x1 max(0, min(x1, img_w)) y1 max(0, min(y1, img_h)) x2 max(0, min(x2, img_w)) y2 max(0, min(y2, img_h)) if x2 x1 or y2 y1: continue cx (x1 x2) / 2 / img_w cy (y1 y2) / 2 / img_h w (x2 - x1) / img_w h (y2 - y1) / img_h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) with open(txt_path, w, encodingutf-8) as f: f.write(\n.join(lines)) xml_dir Annotations txt_dir labels os.makedirs(txt_dir, exist_okTrue) for f in os.listdir(xml_dir): if not f.endswith(.xml): continue xml_path os.path.join(xml_dir, f) txt_path os.path.join(txt_dir, f.replace(.xml, .txt)) voc_to_yolo(xml_path, txt_path)这段脚本里有两个容易忽略的细节。一是对框做了边界截断XML 里坐标可能略微越界超过图像宽高会让归一化后的 w 或 h 大于 1YOLO 训练直接报错截断后再丢弃空框能保住大部分有效样本。二是.6f的浮点精度对 1920x1080 的画面足够用坐标误差小于 0.001 像素没必要保留更多小数位。3. 用 YOLOv8 训练躺站坐模型数据目录、YAML 配置与关键参数3.1 整理 YOLO 训练目录images 和 labels 必须严格分家Ultralytics YOLOv8 的训练目录有硬性约定图片放images/标签放labels/且两个目录下的文件名必须一一对应。VOC 那种JPEGImages和Annotations的结构直接喂进去是跑不了的。mkdir -p data/rail/images/train data/rail/images/val mkdir -p data/rail/labels/train data/rail/labels/val把图像和标签按 8:2 划分比例可以按自己需求调整但划分时要注意一件事同一个连续视频片段里的帧不能既进训练集又进验证集否则验证分数会虚高得离谱。有经验的标注团队会在文件名里体现视频来源比如cam01_seq0042_00123.jpg这种命名里前两段是相机和片段号划分时按这个前缀分组再随机分。import os import random from collections import defaultdict image_dir JPEGImages label_dir labels # 按视频片段前缀分组避免连续帧跨集 groups defaultdict(list) for f in os.listdir(image_dir): if not f.endswith(.jpg): continue parts f.split(_) prefix _.join(parts[:2]) groups[prefix].append(f) keys list(groups.keys()) random.shuffle(keys) split int(len(keys) * 0.8) train_keys set(keys[:split]) val_keys set(keys[split:]) for phase, key_set in [(train, train_keys), (val, val_keys)]: for key in key_set: for f in groups[key]: base f.replace(.jpg, ) os.rename(os.path.join(image_dir, f), os.path.join(fdata/rail/images/{phase}, f)) os.rename(os.path.join(label_dir, base .txt), os.path.join(fdata/rail/labels/{phase}, base .txt))这段脚本的关键是按文件名前缀分组再切分。直接用random.shuffle逐张图乱分训练集和验证集里会出现大量来自同一段连续视频的相似帧模型在验证集上表现得比实际好上线后立刻现原形。分完组还要做一次数量核对训练图片数、训练标签数、验证图片数、验证标签数四者关系写个小脚本对一遍文件后缀就行。3.2 写 rail_behavior.yaml类别顺序必须和 txt 标签编号一致YOLOv8 通过一个 YAML 文件告诉训练器数据在哪、有几类、名称是什么。类别顺序是这里最关键也最容易翻车的点。path: data/rail train: images/train val: images/val nc: 4 names: 0: stand 1: sit 2: lie 3: othernames列表里的顺序必须跟 txt 里第一列的整数编号对齐。比如你的labels/train里某行开头是2YAML 里2对应的就要是lie否则模型训练时学到的是张冠李戴的语义。类型参数nc填 4和包内类别数量严格一致多写一个或少写一个都会在训练启动时报错或静默丢类别。如果包里的classes.txt顺序和你预期不一样以实际文件为准改 YAML不要试图在代码里做类别映射去绕。训练脚本里做映射等于在关键路径上埋雷每次改配置都可能漏一处。3.3 启动训练imgsz、batch、epochs、lr0 怎么给模型选 YOLOv8s 或 YOLOv8m 都可以。3766 张图不算多yolov8n 在复杂背景下容易欠拟合yolov8x 又容易过拟合。我的常用做法是用 yolov8s 起步跑通后再加大输入分辨率看收益。yolo detect train \ modelyolov8s.pt \ datarail_behavior.yaml \ imgsz640 \ batch16 \ epochs120 \ lr00.01 \ lrf0.01 \ patience15 \ projectruns/rail \ nameexp1imgsz640是这个数据集规模下的默认起步值。如果画面里目标普遍偏小比如人在 1080p 原图里高度不到 100 像素建议试imgsz1280小目标召回率通常能提升 5-10 个点但显存消耗会翻三倍以上batch 得跟着调小。batch16在 24G 显存下跑 640 分辨率是舒服的区间显存紧张就降到 8。lr00.01是预训练权重续训的常规值。如果是从零开始训练lr0建议降到 0.001否则前几个 epoch 的损失容易震荡到不收敛。patience15的意思是验证集指标连续 15 轮不提升就提前停这个数据集规模下 120 epoch 很少真正跑满多数在 60-90 轮就收敛了。训练时不要只盯着终端里的 mAP 数字。观察train/box_loss和train/cls_loss的下降曲线如果box_loss在 30 个 epoch 后还在缓慢下降而cls_loss已经躺平说明模型在学框的位置但类别区分已经到头此时该去看是不是类别间特征太接近而不是盲目加轮数。躺和坐两个类别在俯拍视角下确实很像这是这个数据集的固有难度后面讲验证时专门展开。4. 躺坐站检测训练中的典型坑五个让人血压升高的现场实录4.1 翻车一txt 第一行的类别编号和类别名错位模型训练一半才发现现象训练前人工抽查几张图框的位置看起来正常但类别名字跟框对不上——明明人躺在地上标签却给的是sit。训练到第 20 个 epoch看到验证集 mAP 始终在 0.5 上下挣扎不上不下。原因数据包制作时 VOC XML 里的name和 YOLO txt 里的类别编号不是同一套顺序生成的有人手动改过classes.txt但忘了同步改标签文件。解决训练前写脚本对同一张图的 XML 和 txt 做交叉校验。解析 XML 拿每个框的坐标和类别名再解析 txt 拿编号和归一化坐标把两个框按 IoU 配对上核对类别名和编号对应关系是否一致。抽 50 张图跑一遍就能发现问题。import os import xml.etree.ElementTree as ET def check_label_consistency(jpg_path, xml_path, txt_path): tree ET.parse(xml_path) root tree.getroot() xml_names [obj.find(name).text for obj in root.iter(object)] with open(txt_path, encodingutf-8) as f: txt_lines [line.strip() for line in f if line.strip()] txt_ids [int(line.split()[0]) for line in txt_lines] return xml_names, txt_ids xml_dir Annotations txt_dir labels img_dir JPEGImages for f in sorted(os.listdir(xml_dir)): if not f.endswith(.xml): continue base f.replace(.xml, ) xml_path os.path.join(xml_dir, f) txt_path os.path.join(txt_dir, base .txt) img_path os.path.join(img_dir, base .jpg) if not os.path.exists(txt_path) or not os.path.exists(img_path): print(文件缺失:, base) continue names, ids check_label_consistency(img_path, xml_path, txt_path) if len(names) ! len(ids): print(目标数量不一致:, base, len(names), len(ids))这段脚本不依赖任何第三方库纯标准库就能跑。它把 XML 和 txt 里的目标数量逐一比对数量不一致的优先查因为它们最可能来自标注漏标或 txt 生成时丢行。4.2 翻车二人和轨道颜色接近模型把躺下的人跟背景糊在一起现象训练完成后单张推理时站立的人框得很准躺倒的人要么完全漏检要么框住半个身体加一大片铁轨背景。原因高位摄像头下人躺倒后轮廓显著变扁视觉特征从竖条人形变成一横条加上工装颜色和道砟接近模型默认把它当背景。解决不要只靠加大imgsz更有效的是做数据增强。YOLOv8 默认开了 mosaic 和 flip但对躺卧类目标作用有限。在训练配置里把hsv_h、hsv_s适当调高提高颜色扰动幅度迫使模型学形状特征而非颜色特征。另外可以考虑把scale增强范围加大到 0.9让小目标在训练时有多尺度表现。如果验证集里躺类的召回率还是上不去最直接的方案是补充该类的训练样本但数据集不易快速扩充时优先调增强。4.3 翻车三验证集和训练集混入连续帧mAP 虚高到不敢信现象训练完后验证集 mAP50 到 0.94看起来漂亮得不像话但把模型放到一段新视频上实测漏检一堆帧率在 15fps 的视频里至少丢掉一半目标。原因这个数据集的图像不少来自监控视频抽帧相邻帧画面几乎一样。直接按文件名随机分 train/val相当于让模型在考试里看到了原题。解决严格按视频片段分组划分方法就是 3.1 里那段按文件名前缀分组的脚本。此外还要检查验证集里有没有跟训练集完全相同的图片比对文件名的 MD5 是土办法但有效md5sum data/rail/images/train/*.jpg | sort train_md5.txt md5sum data/rail/images/val/*.jpg | sort val_md5.txt comm -12 train_md5.txt val_md5.txt | wc -lcomm -12输出两个文件的公共行数量大于 0 说明有重复文件进了两边直接删掉验证集里的重复项。4.4 翻车四训练中途 loss 突然跳高随后 BN 层崩溃现象训练正常跑到第 40 个 epochtrain/loss突然从 1.2 跳升到 5.8之后再也降不回来日志里出现大量batchnorm相关告警。原因最常见的是 batch size 设置过大显存不够导致训练进程被系统强杀后恢复时 BN 统计量异常另一种情况是训练集里有损坏的图片或超大目标框某个 batch 的梯度瞬间爆炸。解决先把 batch size 减半重试。如果 loss 依然跳变找出那个异常样本——写个脚本遍历 images 目录用 PIL 打开每张图确认尺寸非零且能正常解码from PIL import Image import os bad [] for root, _, files in os.walk(data/rail/images): for f in files: if not f.endswith(.jpg): continue p os.path.join(root, f) try: img Image.open(p) img.verify() except Exception as e: bad.append((p, str(e))) print(异常图片:, bad)img.verify()不加载全部像素只校验文件头和解码完整性速度很快。找到坏图直接丢弃或删除对应标签比在训练脚本里做容错更省事因为训练时的静默跳过常常掩盖问题。4.5 翻车五四类样本数量严重不均衡多数类别训成了背景现象训练结束看混淆矩阵站立类准确率 90%静坐类 70%躺倒类只有 40%再看各类别的样本数量躺倒类只有站立类的五分之一。原因数据集的类别分布天然不均衡。铁轨场景里站立的人最多躺倒的人本来就少标注者如果没做平衡模型就会倾向把不确定的框判成高频类别。解决第一看是否需要调cls_loss权重。YOLOv8 的 loss 里类别损失权重可以在训练配置中通过cls0.8这类参数微调但更推荐先做样本重采样。常见做法是简单重复把样本少的类别复制到训练集里让每类数量大致接近注意复制会造成过拟合配合增强来缓解。另一个思路是保留原始分布只在评估时分别看每个类别的 AP不要只看整体 mAP因为整体指标会被多数类带偏。这个数据集的四类分布我没拿到精确数字但你拿到压缩包后第一件事就该跑一遍统计每个类别的标签数量拍到脸上再决定要不要做平衡。5. 验证模型效果混淆矩阵、PR 曲线和单张推理哪个更能说明问题5.1 看混淆矩阵先盯躺和坐这对冤家YOLOv8 训练完会在runs/rail/exp1/下生成confusion_matrix.png这是判断类别混淆的第一手材料。矩阵横轴是真实标签纵轴是预测标签对角线越亮越好。躺倒和静坐两个类别在俯拍视角下的形态差异很小混淆矩阵里这两格通常是最亮的非对角线元素。有一个细节要注意矩阵里background那一列。很多非对角线亮度来自误检背景而不是类间混淆。如果背景列整体偏亮说明模型产生了大量误检框问题出在模型阈值和数据复杂度单靠调参数难根治。验证集的这个背景列数值是判断模型是否可用的重要参考比整体 mAP 更诚实。yolo 混淆矩阵总和和样本总数对不上是常见困惑因为 Ultralytics 绘制时会过滤掉低置信度的预测框且每张图的背景像素参与计数所以矩阵所有格子相加不等于图片数量。不要拿这个数字去反推准确率直接用矩阵本身做类别间的相对对比就好。5.2 PR 曲线和 mAP0.5 与 0.5:0.95 之间的差距暴露问题验证结束后PR_curve.png和results.png里包含每个类别的 PR 曲线和 mAP 指标。看的时候优先看每个类别的 AP 而非整体 mAP。假设整体 mAP50 是 0.86但躺倒类的 AP 只有 0.62这个模型在你真正的核心场景里就是不合格的。AP50 和 AP50-95 的差距也有讲究。如果 AP50 很高但 AP50-95 明显偏低说明模型定位精度不够——框大致画对了位置但边缘不够贴合。躺倒的人形变扁标注框的宽高比非常极端模型预估的框稍微宽一点IoU 就从 0.7 掉到 0.5。遇到这种情况优先考虑提高输入分辨率而不是调置信度阈值。PR 曲线里另一个有信息的角落是曲线右端的膝盖位置。躺倒类的 PR 曲线如果整体偏左下说明召回率稍高时精确率就崩意味着这类样本的特征跟背景太接近。此时与其继续调参不如回去看标注躺倒的人有没有完整框进去有没有把铁轨的影子也算进目标框。5.3 单张推理实测框的位置和类别置信度一起看离线指标再好看最终还是要抽几张训练时没见过的图跑一次推理重点看框的空间位置是否合理。from ultralytics import YOLO model YOLO(runs/rail/exp1/weights/best.pt) results model.predict( sourcedata/rail/images/val/rail_scene_0057.jpg, conf0.25, iou0.5, saveTrue, save_txtTrue, )# 输出文件在 runs/detect/predict/labels/ 下 cat runs/detect/predict/labels/rail_scene_0057.txt看预测结果时有个经验一个人躺倒时框应该是扁的宽明显大于高如果输出框接近正方形大概率把身体的一部分和旁边杂物一起框进去了。再看置信度同一类目标的置信度分布应该相对集中如果出现大量 0.3 到 0.4 的勉强及格框说明模型对这个类别的把握不足。6. 把模型接进智慧交通系统部署推理和帧率优化的几个习惯模型验证通过后下一步是接到实时视频流里。部署时最常见的需求是摄像头 RTSP 流连续检测帧率要求至少 10fps 以上分辨率 1080p。直接拿model.predict循环跑通常不够常见做法是把模型导出成 TensorRT 引擎再推流。yolo export modelruns/rail/exp1/weights/best.pt formatengine device0import cv2 from ultralytics import YOLO model YOLO(best.engine, taskdetect) cap cv2.VideoCapture(rtsp://your_stream) while True: ret, frame cap.read() if not ret: break results model(frame, conf0.3, iou0.5, imgsz640, verboseFalse) for r in results: for box in r.boxes: cls int(box.cls[0]) conf float(box.conf[0]) x1, y1, x2, y2 map(int, box.xyxy[0]) if cls 2: # lie print(f躺倒目标 置信度 {conf:.2f}) cv2.imshow(rail, results[0].plot())TensorRT 导出后同样代码在 1080p 输入上的推理速度通常能比 PyTorch 原生快 3-5 倍。部署时还需要处理一个业务问题单帧检测到躺倒就告警会误报太多。实际工程里一般会加一个保持逻辑比如连续 10 帧以上检测到躺倒目标再触发告警避免行人弯腰系鞋带这类瞬时动作造成误报。我自己的习惯是把状态保持逻辑写在检测循环之外不跟模型推理耦合这样模型升级时业务层不用动。这个数据集用到的检测思想和部署链路都很成熟值得顺着这条路完整做一遍希望帮到你。本文还有配套的精品资源点击获取