简介基于YOLOv8的行人闯红灯抓拍检测系统是为高校毕设、课程设计量身定制的深度学习项目涵盖目标检测全流程适合计算机视觉相关专业学生快速落地。压缩包共含8个文件有3个Python脚本模型训练、可视化界面和视频检测、3个PyTorch权重文件以及2个说明文档整体仅15.91MB可直接在常见环境中部署运行。除了完整源码和行人闯红灯数据集还附带可视化交互页面和部署教程并在训练后输出核心指标曲线、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果及标签分布图方便答辩展示与效果评估。当前已有73人浏览学习代码均通过运行测试拿来即用可显著节省搭建时间适合需要快速完成系统演示或复现检测效果的开发者。1. 行人闯红灯抓拍为什么需要YOLOv8而非传统视觉方案一套能落地的行人闯红灯抓拍系统核心不是“检测到人”而是“在红灯状态下、行人踏入斑马线区域的那一刻稳定地抓拍到可作证据的三连拍”。过去用背景差分加帧间差分做运动目标提取一到树影摇晃、雨雪天气就疯狂误报夜间补光灯下行人轮廓发白二值化阈值调来调去还是翻车。换成YOLOv8之后检测直接回归到“框住一个人”配合信号灯状态和ROI区域做时序判定系统复杂度明显降了一档。这个方向适合两类人做毕设或课设的学生想用一套完整方案把检测、判定、抓拍、界面串起来以及做安防边端设备的工程师想在真实路口评估YOLOv8的性价比。下面按“环境搭建→数据训练→判定逻辑→踩坑→界面优化”的顺序把能复现的细节一次说透。2. 搭建YOLOv8环境Ubuntu 20.04 CPU版起步再谈GPU加速2.1 为什么不建议一上来就配GPU环境很多人拿到源码第一件事就是装CUDA、cuDNN结果在显卡驱动上耗掉两天。闯红灯抓拍这种场景检测模型是YOLOv8n或YOLOv8s这种轻量级CPU推理一张1080P图像大约在200到400毫秒做离线视频分析完全够用。毕设答辩现场演示哪怕只有一台普通笔记本只要用CPU版跑通推理后面再谈加速也不迟。Ubuntu 20.04配CPU版YOLOv8环境最大坑是PyTorch默认会拉CUDA版安装包体积大不说装完在无GPU机器上还会报错。正确做法是手动指定CPU版torch# 创建独立环境避免污染系统Python conda create -n yolo_cpu python3.9 -y conda activate yolo_cpu # 安装CPU版PyTorch2.0版本更适合C部署和ONNX导出 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 安装ultralyticsYOLOv8的训练、验证、导出都靠它 pip install ultralytics第一条命令创建虚拟环境为的是后面装OpenCV、PyQt5时不会和系统依赖打架。第二条指定CPU源装出来的torch只有几十MB比GPU版小一个量级。第三条装ultralytics它会连带装好opencv-python、pandas、matplotlib这些依赖。装完验证一下python -c import torch; print(torch.__version__, torch.cuda.is_available())输出里torch.cuda.is_available()为False不是错误只要版本号正常、没有ImportError就说明环境OK。2.2 用YOLOv8n权重跑通第一条推理命令环境就绪后别急着训练自己的数据集先用官方权重跑一遍推理确认模型文件能下载、推理链路没问题。这里有个网络细节第一次运行YOLO(yolov8n.pt)会自动下载权重如果下载慢或者超时手动下载后放到当前目录即可。from ultralytics import YOLO # 加载官方预训练权重检测80类物体 model YOLO(yolov8n.pt) # 对一张路口视频帧做推理 results model.predict( sourceframe_0001.jpg, conf0.3, # 置信度阈值低于0.3的框丢掉 imgsz640, # 输入尺寸和训练时保持一致 saveTrue, # 保存标注结果图 verboseFalse # 不打印每个类别的mAP细节 ) # 提取检测结果中的类别ID、置信度、坐标框 for r in results: boxes r.boxes if boxes is not None: cls boxes.cls.cpu().numpy() conf boxes.conf.cpu().numpy() xyxy boxes.xyxy.cpu().numpy() print(f检测到 {len(cls)} 个目标) for c, s, b in zip(cls, conf, xyxy): print(f类别{r.names[int(c)]}, 置信度{s:.2f}, 坐标{b})代码里r.boxes.xyxy给的是左上角和右下角坐标后续做ROI判定、三连拍选择都基于这几个值。conf0.3是抓拍场景的常用起点太高会漏掉侧身或被遮挡的行人太低会把路牌、灯杆上的贴纸当成人。imgsz640保持默认YOLOv8n在这个分辨率下性价比最高。2.3 摄像头或视频输入一个会被忽略的BGR/RGB坑训练时YOLOv8用RGB顺序OpenCV读帧给的是BGR。用cv2.VideoCapture读视频传给模型推理时不对通道做转换检测结果在颜色特征明显的场景比如红色信号灯会出现偏差。推理脚本里统一这样处理import cv2 from ultralytics import YOLO model YOLO(yolov8n.pt) cap cv2.VideoCapture(crossroad.mp4) while cap.isOpened(): ret, frame cap.read() if not ret: break # OpenCV是BGRYOLOv8内部按RGB预处理直接predict会色偏 frame_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results model.predict(frame_rgb, conf0.3, imgsz640, verboseFalse) for r in results: for box in r.boxes: x1, y1, x2, y2 map(int, box.xyxy[0].cpu().numpy()) # 回到BGR空间画框颜色才正常 cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imshow(detect, frame) if cv2.waitKey(1) 0xFF ord(q): break这个坑在离线视频分析时影响小但接IPC摄像头做实时抓拍时会累积误判。养成“读帧后立刻转RGB画框前转回BGR”的习惯后面代码少改一版。3. 准备行人数据集从零标注到YOLOv8能直接训练的格式3.1 数据集目录结构与labelme标注的转换脚本闯红灯检测只关注行人一个类别不需要COCO那种80类。自己标数据时用labelme画矩形框输出的是JSON格式而YOLOv8要的是txt格式每行“类别 中心x 中心y 宽 高”坐标全部归一化到0到1之间。目录结构按YOLO约定datasets/ pedestrian/ images/ train/ img_0001.jpg img_0002.jpg val/ img_0100.jpg labels/ train/ img_0001.txt img_0002.txt val/ img_0100.txt训练时data.yaml里的路径写绝对路径最省心写相对路径经常因为工作目录不对报错。下面的转换脚本读取labelme的JSON生成YOLO格式的txtimport json import os def labelme_to_yolo(json_path, out_txt_path, img_w, img_h): with open(json_path, r, encodingutf-8) as f: data json.load(f) lines [] for shape in data[shapes]: # labelme框是两点坐标 x1, y1 shape[points][0] x2, y2 shape[points][1] # 转换成YOLO格式的归一化坐标 x_center (x1 x2) / 2.0 / img_w y_center (y1 y2) / 2.0 / img_h w abs(x2 - x1) / img_w h abs(y2 - y1) / img_h # 类别id0对应person lines.append(f0 {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(out_txt_path, w, encodingutf-8) as f: f.write(\n.join(lines)) # 调用示例 labelme_to_yolo(annotations/img_0001.json, labels/img_0001.txt, 1920, 1080)转换时最容易出错的是img_w和img_h拿错labelme标注界面上看到的尺寸不一定等于原图尺寸。转换前用OpenCV读一次原图确认宽高。另外abs(x2 - x1)必须加手标时习惯性右下角到左上角会得到负宽度。3.2 用公开行人数据集补充COCO Person子集与WiderPerson的取舍自己标注几百张做演示够用但要让模型在真实路口有可用度需要补充公开数据集。COCO数据集里person类有十几万实例直接取出来当训练集效果最好但文件巨大下载和处理费时。WiderPerson是专门的行人检测数据集场景覆盖广场、街道、工地标注密度高缺点是部分图片分辨率低小目标多。建议做法从WiderPerson里按场景筛选出路口、街道、人行道相关的图片加上自己标注的路口图混合训练。筛选脚本按文件名关键词匹配import shutil import os src_img_dir WiderPerson/images src_label_dir WiderPerson/labels dst_img_dir datasets/pedestrian/images/train dst_label_dir datasets/pedestrian/labels/train keywords [street, cross, road, sidewalk] for img_name in os.listdir(src_img_dir): if any(k in img_name.lower() for k in keywords): label_name img_name.replace(.jpg, .txt) shutil.copy(os.path.join(src_img_dir, img_name), dst_img_dir) shutil.copy(os.path.join(src_label_dir, label_name), dst_label_dir)注意WiderPerson原本的标注类别可能不止person复制前用脚本过滤一遍txt文件只保留类别0的行。混合数据集的类别id必须统一为0否则训练时类别数会变成2或更多后处理逻辑全部要改。3.3 训练参数与损失曲线解读一套可复现的命令训练命令是固定的套路但参数值要按数据集规模调整。行人检测用YOLOv8s比n精度高速度在CPU上也能接受。下面这套参数适合3000到5000张图的小型数据集yolo detect train \ modelyolov8s.pt \ datadatasets/pedestrian/data.yaml \ epochs100 \ imgsz640 \ batch8 \ lr00.01 \ lrf0.001 \ patience20 \ projectruns/train \ namepedestrian_v1 \ workers4 \ devicecpupatience20表示20轮验证集mAP不提升就早停CPU训练时这个参数能省大量时间。lr00.01是预训练权重迁移学习的常用起点从零训练的话改成0.001更稳。batch8在CPU上已经是上限内存不足就降到4。训练结束后看runs/train/pedestrian_v1/results.png里的val精度曲线重点看metrics/precision(B)和metrics/recall(B)的走势。行人检测容易recall低表现为漏检。如果recall上不去优先检查数据集里是不是小目标样本太少而不是盲目加训练轮数。3.4 画损失函数曲线图训练记录可视化Ultralytics自带的results.png足够应付毕设。想要自己画loss曲线做更有诚意的分析训练日志里保留了每个epoch的tokenimport pandas as pd import matplotlib.pyplot as plt # 训练日志转CSV后读入 df pd.read_csv(train_results.csv) plt.figure(figsize(8, 5)) plt.plot(df[epoch], df[train/box_loss], labelbox_loss) plt.plot(df[epoch], df[train/cls_loss], labelcls_loss) plt.plot(df[epoch], df[train/dfl_loss], labeldfl_loss) plt.xlabel(epoch) plt.ylabel(loss) plt.title(YOLOv8 Training Loss Curve) plt.legend() plt.grid(True, linestyle--, alpha0.6) plt.savefig(loss_curve.png, dpi150)箱损box_loss和分类损cls_loss在20轮内快速下降是正常的之后进入缓慢下降区。如果箱损在30轮后开始震荡不降说明学习率太高或数据集里有标注质量很差的框调低lr0或清洗数据而不是继续硬训。4. 闯红灯判定逻辑ROI区域、信号灯状态与三连拍抓拍4.1 信号灯状态接入串口读取与模拟输入的取舍真实路口的信号灯状态读取有两种方式并接信号机通讯串口或者用视频帧里的信号灯检测识别。毕设做串口接入需要硬件配合多数情况下用视频流里截取信号灯区域做颜色识别更现实。从路口视频帧里裁出信号灯区域红色像素占比超过阈值就判定为红灯。import cv2 import numpy as np def is_red_light(frame, roi(50, 40, 80, 80)): 简化版红灯判断只统计ROI内红色像素占比 roi格式: (x, y, w, h) 信号灯在画面里的固定区域 x, y, w, h roi crop frame[y:yh, x:xw] hsv cv2.cvtColor(crop, cv2.COLOR_BGR2HSV) # 红色在HSV里有两个区间 mask1 cv2.inRange(hsv, (0, 120, 120), (10, 255, 255)) mask2 cv2.inRange(hsv, (160, 120, 120), (180, 255, 255)) red_mask mask1 | mask2 red_ratio np.sum(red_mask) / (w * h) # 阈值0.08白天路灯杆反光不会误触晚上红灯亮起能稳定捕获 return red_ratio 0.08这个函数最大的限制是ROI坐标准确性。摄像头固定不动时ROI一次性调好就行如果摄像头被人动过整个判定就会失效。生产级系统会用YOLOv8再训练一个红绿灯检测模型但毕设用HSV颜色阈值在固定视角下完全够用。4.2 斑马线ROI与人框重叠判断从检测框到“越线”的换算YOLOv8给出的检测框无法直接判断“行人是否进入斑马线”需要画一个固定多边形ROI代表斑马线区域然后判断人体检测框与多边形的重叠程度。这里不能用矩形ROI因为路口视角下斑马线是梯形矩形会把非路口区域包进来导致误报。import cv2 import numpy as np def point_in_polygon(x, y, polygon): 判断检测框底部中心点是否在多边形内 pts np.array(polygon, dtypenp.int32) return cv2.pointPolygonTest(pts, (x, y), False) 0 # 斑马线ROI四个顶点按顺时针定义用鼠标事件标定一次 crosswalk_roi [(520, 480), (760, 490), (820, 720), (450, 710)] def judge_trespassing(box_xyxy): x1, y1, x2, y2 box_xyxy # 用框底部中心点代表行人位置比用框中心更合理 foot_x (x1 x2) / 2.0 foot_y y2 # 底边y值对应脚部 return point_in_polygon(foot_x, foot_y, crosswalk_roi)用脚部点而不是重心判断越线是因为行人侧面时重心偏高可能还没踏上斑马线就被判定进去了。这个细节直接影响误报率。但脚部点也有弱点当行人被遮挡只剩上半身时y2是遮挡物的底边坐标不可靠。折中方案是取y2和框高的80%位置中的较大值foot_y max(int(y2), int(y1 (y2 - y1) * 0.8))4.3 状态机避免同一行人连续重复抓拍闯红灯抓拍最常见的问题是重复上报一个行人从踏入斑马线到走到路中间YOLOv8可能连续20帧都检测到如果每帧都生成告警一张违规会变成20条记录。需要引入状态机每个行人分配一个状态未进入→已进入→已抓拍→离开。用检测框IOU做帧间匹配def iou(box1, box2): 计算两个检测框的交并比用于帧间行人匹配 x1 max(box1[0], box2[0]) y1 max(box1[1], box2[1]) x2 min(box1[2], box2[2]) y2 min(box1[3], box2[3]) inter max(0, x2 - x1) * max(0, y2 - y1) if inter 0: return 0.0 area1 (box1[2] - box1[0]) * (box1[3] - box1[1]) area2 (box2[2] - box2[0]) * (box2[3] - box2[1]) union area1 area2 - inter return inter / union class PersonTracker: def __init__(self, iou_thresh0.4): self.tracks {} self.next_id 0 self.iou_thresh iou_thresh def update(self, boxes): matched set() new_tracks {} for box in boxes: best_tid None best_iou self.iou_thresh for tid, tbox in self.tracks.items(): if tid in matched: continue score iou(box, tbox[box]) if score best_iou: best_iou score best_tid tid if best_tid is not None: self.tracks[best_tid][box] box matched.add(best_tid) else: self.tracks[self.next_id] {box: box, status: not_entered, capture_cnt: 0} self.next_id 1 matched.add(self.next_id - 1) # 清理消失超过30帧的轨迹 # 本例简化实际要记录last_seen时间戳 return self.tracksIOU匹配是最朴素的追踪方案行人密集时容易跟丢或串轨。好在闯红灯抓拍只需要几十帧内的短期匹配不需要跨马路全程追踪IOU阈值0.4是经验值行人行走前后帧面积变化不大这个值能保持稳定对应又不会把两个并行的人框匹配到一起。4.4 三连拍抓拍策略抓拍时机与防抖补光处理取证抓拍不拍单张横三连拍是行业惯例行人刚踏入斑马线一张、走到路中央一张、即将离开一张每张间隔离1秒。实现上维护“抓拍队列”状态机判定进入违规后把当前帧送入队列继续追踪每隔一段帧数再抓一张。补光在夜间场景要提前处理YOLOv8检测不受影响但取证照片要保证人脸可辨。def capture_sequence(tracker, frame, box, capture_state): 三连拍逻辑返回是否完成一轮抓拍 capture_state: {stage: 0, frames_since_last: 0, imgs: []} capture_state[frames_since_last] 1 stage capture_state[stage] # 每20帧抓一张假设25fps约0.8秒间隔 if capture_state[frames_since_last] 20: x1, y1, x2, y2 box crop frame[y1:y2, x1:x2] # 裁剪行人区域保留人脸细节 cv2.imwrite(fcapture_{capture_state[stage]}.jpg, crop) capture_state[imgs].append(crop) capture_state[stage] 1 capture_state[frames_since_last] 0 if capture_state[stage] 3: return True return False抓拍时裁剪行人区域不要整张图存证据图里人脸要尽量清楚背景可以舍弃。遇到行人在夜间打伞、戴帽子裁剪图里人脸被遮挡可以在系统里同时保存一张全景图作为辅助证据。5. 避坑与常见问题排查训练、推理、部署三板斧5.1 现象训练时loss直接显示nan原因学习率太大导致梯度爆炸或者数据集里存在标注坐标越界的txt文件坐标值大于1或为负数。大部分情况下是后者。解决写一个脚本扫描全部label文件import os def check_labels(label_dir): bad_files [] for root, _, files in os.walk(label_dir): for f in files: path os.path.join(root, f) with open(path) as fh: for line in fh: parts line.strip().split() if len(parts) ! 5: bad_files.append(path) break try: vals [float(p) for p in parts[1:]] if any(v 0 or v 1 for v in vals): bad_files.append(path) break except ValueError: bad_files.append(path) break return bad_files print(check_labels(datasets/pedestrian/labels/train))运行后把输出的文件名删掉或重新标注再启动训练。5.2 现象CPU推理速度慢到没法做“实时”演示原因YOLOv8n已经是轻量级但CPU推理在1080P输入上可能只有2到3FPS。演示时接实时摄像头会明显卡顿。解决两个思路。第一输入分辨率降到640这是YOLOv8推理最经济的尺寸。第二跳帧处理检测与抓拍分离frame_count 0 while True: ret, frame cap.read() frame_count 1 if frame_count % 3 ! 0: # 跳过的帧直接显示不推理 cv2.imshow(preview, frame) continue # 每3帧推理一次等效10FPS左右够抓拍判定 results model.predict(frame, conf0.3, imgsz640)跳帧有一个要注意的点信号灯状态检测不要跳帧红灯状态每帧都要更新否则状态机可能错过红灯切换成绿灯的瞬间造成误抓拍。5.3 现象夜间误报激增行人没动系统却说在闯红灯原因夜间光线差图像噪声大YOLOv8对行人的置信度普遍低于白天。踩到conf0.3以下时路灯杆、垃圾桶旁的阴影被识别成低置信度行人再叠加ROI判定误报就来了。解决夜间单独一套参数置信度提高到0.45同时开启红外补光让图像整体提亮。另外在判定逻辑里加一个“最小框面积”过滤器行人检测框面积小于全图面积的0.5%时直接丢弃这个规则能滤掉大部分远处的噪声框def valid_person_box(box, frame_area, min_ratio0.005): x1, y1, x2, y2 box box_area (x2 - x1) * (y2 - y1) return box_area / frame_area min_ratio5.4 现象模型检测行人没问题但闯入判定经常晚半拍原因判定逻辑里把“检测框脚部点进ROI”当作唯一条件但检测框本身有抖动行人在ROI边缘时脚部点一会儿在里一会儿在外。解决加入“连续3帧都在ROI内才判定进入”的缓冲条件而不是单帧触发。这也是前面状态机要保留last_seen的原因只有连续稳定出现才算真正进入。5.5 现象可视化界面打开后摄像头黑屏或者推理线程把界面卡死原因把YOLOv8推理和PyQt5界面放在同一个线程模型推理阻塞了UI事件循环。解决用QThread或Python的threading单独跑推理界面只负责显示和接收信号。标准做法是推理线程把标注好的帧放入一个队列界面线程用QTimer定时从队列取帧刷新。6. 可视化界面的实现技巧与Raspberry Pi 180帧优化的启示6.1 用QThread隔离推理线程让界面不卡死这一节给一个简洁的界面框架核心是“推理放线程界面只刷新”。用PyQt5写主窗口QThread里循环读视频、推理、标注、把帧放进信号里发射给界面。from PyQt5.QtCore import QThread, pyqtSignal import cv2 from ultralytics import YOLO class DetectThread(QThread): frame_ready pyqtSignal(object) # 信号传标注好的帧 def __init__(self, video_source0): super().__init__() self.cap cv2.VideoCapture(video_source) self.model YOLO(best.pt) self.running True def run(self): while self.running and self.cap.isOpened(): ret, frame self.cap.read() if not ret: break # 转RGB推理再转BGR画框 frame_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results self.model.predict(frame_rgb, conf0.3, imgsz640, verboseFalse) for r in results: for box in r.boxes: x1, y1, x2, y2 map(int, box.xyxy[0].cpu().numpy()) cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) self.frame_ready.emit(frame) def stop(self): self.running False self.wait()主窗口里连接frame_ready信号到QLabel的setPixmap就完成了实时显示。抓拍记录用QTableWidget做列表存放违规时间、抓拍张数。这个结构在RTSP流、本地视频、USB摄像头之间切换只改VideoCapture的入参。6.2 抓拍结果管理按时间分目录记录元数据到CSV闯红灯抓拍系统拿到的是一堆jpg没有元数据等于白抓。常见做法是按日期分目录把违规记录写CSV方便后续统计和答辩展示。关键字段有时间戳、红灯状态红/绿跳变记录、行人检测框坐标、三连拍文件路径。CSV用追加模式写断电不丢已写内容import csv import os from datetime import datetime class CaptureLogger: def __init__(self, csv_pathviolations.csv): self.csv_path csv_path if not os.path.exists(csv_path): self._init_csv() def _init_csv(self): with open(self.csv_path, w, newline) as f: writer csv.writer(f) writer.writerow([timestamp, is_red, conf, box_xyxy, capture_files]) def log(self, is_red, conf, box, files): with open(self.csv_path, a, newline) as f: writer csv.writer(f) ts datetime.now().strftime(%Y-%m-%d %H:%M:%S) writer.writerow([ts, is_red, round(conf, 3), box, |.join(files)])6.3 轻量级部署选型从CPU到RK3588的迁移路径毕业设计交付时用的是PC版如果后续想往真实路口的边缘设备走方向是RK3588或Jetson系列。RK3588跑YOLOv8需要先导出ONNX再转RKNN格式转换过程有几个固定步骤先将PyTorch模型导出为ONNX再按RKNN工具箱要求做量化校准。需要注意YOLOv8的输出层结构对RKNN转换不友好通常需要重写输出层或者用RKNN官方提供的YOLOv8适配脚本。CPU版环境里导ONNX是免费的这个动作现在就能做yolo export modelbest.pt formatonnx opset12 imgsz640 simplifyTrue转换完成后用onnxruntime验证一次推理结果和pt模型是否一致。确保输出框坐标单位一致避免在边缘设备上出现“能检测但坐标偏移”的怪问题。这套工作流里最值钱的不是YOLOv8本身而是“红灯判定、三连拍、状态机归档”这套业务逻辑。换任何一个检测器这套逻辑都直接复用。工作几年后回看我当时最庆幸的是没把精力全花在调YOLOv8参数上而是把判定和抓拍链路打磨清楚那些检测框之外的代码才是系统能不能在路口站稳的关键。希望这篇笔记能帮你在自己的项目里少走一段弯路。本文还有配套的精品资源点击获取