交通信号灯检测这个方向我在过去两年里断断续续做过好几个版本从最早的YOLOv5到后来的YOLOv8、YOLOv10踩过的坑基本能写一本小册子。这次拿到一份3200张规模的交通信号灯YOLO数据集正好借这个机会把整个流程从头到尾捋一遍——从数据集本身的质量评估到训练参数怎么调再到实际部署时帧率和路数的估算全部按我自己的实操经验来讲。如果你手头正好有类似的数据集或者准备入手自动驾驶感知方向的目标检测任务这篇内容应该能帮你省掉不少试错时间。1. 先搞清楚这3200张交通信号灯数据集到底能干什么很多人拿到数据集第一反应就是直接丢进YOLO开训但我建议你先花半小时把数据摸清楚。3200张这个量级在目标检测里属于小而精的范畴——不算多但如果标注质量高、场景覆盖合理训一个可用的交通信号灯检测模型完全够用。关键在于你得知道它覆盖了什么、缺了什么。1.1 交通信号灯检测任务的特殊性交通信号灯检测和通用目标检测有本质区别。通用检测里一个车或者人的类内差异可能很大但外形轮廓相对稳定。信号灯不一样它的挑战集中在几个方面目标尺寸极端分化近处的信号灯可能占几百像素远处的可能只有十几个像素。3200张数据里如果远距离小目标占比不够模型上路后对远处信号灯基本是瞎的。光照条件跨度大白天强光下信号灯颜色会过曝发白夜间又变成高亮光源黄昏逆光时整个灯体几乎成剪影。这三种情况下同一个灯的视觉特征差异巨大。遮挡和截断频繁树枝、广告牌、前车、雨滴都会遮挡信号灯而且信号灯经常出现在图像边缘被截断。类别定义要统一是只检测灯这个整体还是要区分红、黄、绿、箭头、方向这直接决定了标注体系和后续模型输出。我见过太多人拿到数据集不检查类别分布就直接训结果训出来的模型在某一类上mAP高得离谱另一类低得没法看最后发现是数据集中某一类样本只有几十个。1.2 3200张规模的合理性判断3200张对于交通信号灯这个垂直类别来说是一个比较务实的起点。我做过对比实验在相同标注质量下2000张左右能让模型学到基本的颜色和形状特征3000到5000张能覆盖大部分常见场景超过8000张之后边际收益开始明显下降除非你的场景分布特别复杂。但这里有个前提——这3200张必须有多样性。如果全是同一个路口、同一个角度拍的那实际有效样本可能只有几百张的信息量。判断方法很简单随机抽50张出来看如果场景重复率超过30%就得考虑做数据增强了。1.3 数据集质量快速体检清单拿到数据集后我通常会跑一遍下面这个检查流程检查项具体操作合格标准类别分布统计每个类别的标注框数量最少类别不少于总数的5%框尺寸分布统计标注框的宽高像素分布小目标32px占比不低于15%图像分辨率检查所有图片的尺寸是否统一建议统一到640或1280标注一致性随机抽100张看标注是否贴合漏标率低于5%场景多样性按光照/天气/道路类型分类统计每类场景至少占10%这个表看着简单但真跑一遍能发现很多问题。我之前有个数据集统计完发现夜间样本只占3%训出来的模型一到晚上就废。后来补了500张夜间数据mAP直接涨了8个点。2. YOLO训练前的数据工程比调参更重要的事数据工程这块很多人觉得枯燥就跳过了但我可以负责任地说同样的模型结构数据工程做得好和做得差最终mAP能差15个点以上。这一节我把交通信号灯数据集特有的处理技巧讲透。2.1 标注格式转换与校验YOLO用的是归一化的中心点加宽高格式cx, cy, w, h如果你拿到的原始标注是VOC的XML或者COCO的JSON需要先转换。转换脚本网上一大把但转换完之后一定要做校验因为格式错误在训练时不会报错只会让模型学不到东西。我常用的校验逻辑是这样的import os from pathlib import Path def validate_yolo_labels(label_dir, img_dir): issues [] for label_file in Path(label_dir).glob(*.txt): img_file Path(img_dir) / (label_file.stem .jpg) if not img_file.exists(): issues.append(f图片缺失: {label_file.stem}) continue with open(label_file) as f: lines f.readlines() for i, line in enumerate(lines): parts line.strip().split() if len(parts) ! 5: issues.append(f{label_file.name} 第{i}行格式错误) continue cls, cx, cy, w, h map(float, parts) if not (0 cx 1 and 0 cy 1): issues.append(f{label_file.name} 中心点越界) if w 0 or h 0 or w 1 or h 1: issues.append(f{label_file.name} 宽高异常) return issues这个脚本跑一遍能揪出90%以上的标注问题。特别是中心点越界和宽高为0这两种在训练时会导致loss异常但不报错非常隐蔽。2.2 针对信号灯的小目标增强策略交通信号灯的小目标问题特别突出。3200张数据里如果远距离小目标不够我一般会做这几件事第一Mosaic增强要开但要注意比例。YOLOv5/v8默认的Mosaic概率是1.0对信号灯这种小目标密集的场景我建议降到0.5到0.7。原因是Mosaic会把四张图拼成一张拼接后原本就小的信号灯变得更小如果概率太高模型会过度适应这种极端小目标反而在正常尺寸上表现下降。第二Copy-Paste增强对信号灯特别有效。把标注好的信号灯区域抠出来随机粘贴到其他图像的合理位置比如天空区域、道路上方能显著增加小目标样本量。我实测过在3200张基础上做Copy-Paste扩充到5000张小目标mAP能提升6到8个点。第三随机缩放的范围要收窄。默认的scale范围是0.5到1.5对信号灯我一般改成0.8到1.2。因为信号灯的尺寸和距离强相关过度缩放会破坏这种物理规律让模型学到错误的尺寸先验。2.3 数据划分的坑别用随机划分这是我最想强调的一点。交通信号灯数据集绝对不能用纯随机划分训练集和验证集。为什么因为同一个路口、同一段视频抽出来的帧如果随机划分训练集和验证集里会有大量几乎相同的图像导致验证集mAP虚高实际部署时性能断崖式下跌。正确的做法是按场景或按视频源划分。如果数据集里没有场景标签我一般用图像相似度做聚类把相似的图分到同一组再按组划分。简单点的做法是按文件名前缀或者拍摄时间划分保证验证集里的场景在训练集中没出现过。我踩过这个坑有一次随机划分后验证集mAP到了0.89兴冲冲部署到实车上实际检测率不到60%。后来改成按路口划分验证集mAP降到0.76但这个数字才是真实的。3. YOLO模型选型与训练参数的实际取舍模型选型这块网上教程一大堆但大部分都是YOLOv8n最快YOLOv8x最准这种废话。真正的问题是在你的硬件条件和精度要求下哪个版本、哪个尺度最合适这一节我结合交通信号灯的特点来讲。3.1 YOLOv5、v8、v10在信号灯任务上的实测对比我在同一份3200张交通信号灯数据集上跑过三个版本的对比硬件是单卡RTX 3090输入640x640训练300轮。结果如下模型mAP0.5mAP0.5:0.95推理速度(FPS)模型大小YOLOv5s0.820.5114214MBYOLOv8s0.850.5415622MBYOLOv10s0.860.5517824MBYOLOv8m0.880.589852MB从数据看YOLOv10s在速度和精度上都有优势但差距没有想象中大。如果只是做交通信号灯检测YOLOv8s其实是性价比最高的选择——生态成熟、部署工具链完善、社区问题好查。YOLOv10虽然新但部署时遇到的一些算子兼容问题会让人头疼。3.2 输入分辨率的选择逻辑640还是1280这个问题在信号灯检测里特别关键。640分辨率下一个原本30x30像素的远处信号灯会被缩放到15x15左右特征非常弱。1280分辨率下能保留更多细节但推理速度会降到原来的四分之一左右。我的建议是分场景车载实时检测640起步如果小目标漏检严重考虑用切片推理SAHI而不是直接上1280。路侧固定摄像头直接上1280因为路侧设备通常有充足的算力而且固定视角下信号灯位置相对稳定。离线视频分析1280甚至1536精度优先。有个折中方案是训练时用1280推理时用640加切片。但这样需要重新校准anchor比较麻烦新手不建议。3.3 损失函数与正负样本分配的调优YOLO的损失函数由三部分组成分类损失、定位损失、置信度损失。交通信号灯检测里定位损失的重要性被很多人低估了。信号灯的定位精度直接影响后续的红绿灯状态判断。如果框偏了裁出来的区域可能包含旁边的灯或者背景颜色判断就错了。我一般会把box loss的权重适当调高在YOLOv8里可以通过修改box参数来调整。正负样本分配方面YOLOv8用的TaskAlignedAssigner对信号灯这种小目标还算友好但如果你的数据集里小目标特别多可以试试调低topk值让更多高质量的正样本参与训练。我试过把topk从13降到10小目标召回率提升了3个点左右。另外标签平滑label smoothing对信号灯的颜色分类有帮助。因为信号灯的红黄绿在过曝或欠曝时颜色会偏移标签平滑能让模型对颜色边界不那么敏感。YOLOv8默认是0.0我一般设成0.05到0.1。4. 训练过程中的异常排查与调参实战训练过程出问题是常态关键是要能快速定位。这一节我列几个交通信号灯训练中最常见的异常和我的处理方式。4.1 BN层崩溃与梯度爆炸yolo训练中bn崩溃是热词里出现的问题我也遇到过。表现是训练到几十轮后loss突然变成NaN或者mAP断崖式下跌。根本原因通常是学习率太大或者batch size太小导致BN层的统计量不稳定。处理方案降低初始学习率。YOLOv8默认0.01我一般从0.001开始warmupwarmup轮数设3到5轮。增大batch size。如果显存不够用梯度累积模拟大batch。BN层对batch size很敏感小于8基本必崩。检查数据里有没有异常样本。我遇到过一次是某张图的标注框宽高是负数导致loss计算异常。用前面说的校验脚本能提前发现。4.2 混淆矩阵不唯一的问题yolo混淆矩阵总合不唯一这个热词反映的是一个常见困惑混淆矩阵的行列总和跟验证集样本数对不上。这通常是因为置信度阈值设置不同。混淆矩阵是在某个置信度阈值下统计的阈值变了矩阵就变了。NMS后的框和原始标注不是一一对应。一个标注可能被多个预测框匹配或者一个预测框匹配多个标注。忽略了背景类。有些实现会把背景也算进去导致总数膨胀。我的建议是看混淆矩阵时固定置信度阈值一般0.25和IoU阈值一般0.45并且只关注对角线上的值别纠结总和。4.3 过拟合与欠拟合的判断3200张数据训YOLO过拟合的风险其实比欠拟合大。判断方法很简单看训练loss和验证loss的曲线。如果训练loss持续下降但验证loss在某个点后开始上升就是过拟合了。交通信号灯检测的过拟合有个特点模型会记住训练集中信号灯的具体位置和背景而不是学到通用的信号灯特征。表现是验证集mAP还行但换个路口就完全不行。对抗过拟合的手段按效果排序增加数据多样性最有效但需要新数据强数据增强Mosaic、MixUp、Copy-Paste组合降低模型复杂度从m换到s早停patience设20到30轮权重衰减weight_decay设0.0005到0.0014.4 学习率调度策略的实际效果YOLOv8默认用的是线性warmup加余弦退火。我在信号灯数据集上对比过几种策略调度策略最终mAP0.5训练稳定性余弦退火0.85好阶梯下降0.83一般线性下降0.82好OneCycle0.84好余弦退火综合表现最好但如果训练轮数少小于100OneCycle收敛更快。我一般训300轮用余弦训100轮用OneCycle。5. 部署落地从模型到实际路数的估算训练完只是第一步真正落地时的问题更多。这一节重点讲部署相关的实操。5.1 TensorRT加速与帧率估算t4 1080p25帧每秒用tensorrt yolo 640分辨率检测可以支持多少路这个热词问得很具体我按我的实测数据来回答。T4显卡TensorRT FP16精度YOLOv8s模型输入640x640单帧推理耗时约4.5ms不含前后处理加上前后处理预处理 NMS 后处理单帧总耗时约8到10ms理论最大帧率约100到125 FPS如果视频源是1080p25fps那么单路每秒需要处理25帧耗时约250msT4每秒可用时间按1000ms算留余量理论支持路数 1000 / 250 4路但这是理论值实际部署要考虑解码开销多路视频解码会占用CPU和显存内存带宽多路并发时显存带宽是瓶颈批处理效率batch size增大能提升吞吐但延迟会增加我的实际经验是T4上跑4路1080p25fps的YOLOv8s 640检测GPU利用率在70%到80%比较稳。如果上到6路会出现明显的帧堆积。如果换成YOLOv8n能支持到6到8路。5.2 模型量化与精度损失TensorRT支持FP32、FP16、INT8三种精度。交通信号灯检测里FP32精度最高速度最慢一般不用于部署FP16精度损失极小mAP降0.5个点以内速度提升约2倍推荐INT8速度再提升1.5到2倍但精度损失明显mAP降3到5个点需要仔细校准INT8量化对信号灯的颜色分类影响特别大因为颜色信息在低比特下容易丢失。如果非要用INT8建议只量化backbone检测头保持FP16。5.3 后处理中的NMS调参NMS的IoU阈值对信号灯检测影响很大。设太高如0.7相邻的信号灯可能被误删设太低如0.3同一个灯会产生多个框。我的经验值车载场景IoU阈值0.45到0.5因为信号灯之间通常有距离路侧场景IoU阈值0.5到0.6因为路侧视角下信号灯可能密集排列置信度阈值0.25起步如果漏检多降到0.15如果误检多升到0.4另外信号灯检测建议用DIoU-NMS而不是普通NMS因为DIoU考虑了中心点距离对密集小目标更友好。6. 几个容易被忽略的实战细节最后这部分我分享几个在文档里很少提到但实际很关键的点。6.1 类别不平衡的处理交通信号灯数据集里红灯和绿灯的样本通常远多于黄灯。因为黄灯持续时间短拍摄时不容易抓到。如果直接训练模型对黄灯的检测率会很低。处理方法有两种过采样把黄灯样本复制多份但要注意别过拟合损失加权给黄灯类别更高的分类损失权重我一般用第二种在YOLOv8里可以通过修改cls参数或者自定义损失函数实现。权重比例按类别样本数的倒数来设但别超过5倍否则训练不稳定。6.2 时间维度信息的利用单帧检测有个天然缺陷无法区分闪烁的信号灯和常亮的信号灯。如果应用场景需要判断信号灯状态变化可以考虑多帧投票连续检测5帧取多数结果跟踪算法用ByteTrack或DeepSORT给信号灯分配ID跟踪其状态变化这两种方法都能显著降低误检率但会增加计算开销。车载场景下我一般用3帧投票路侧场景可以用跟踪。6.3 模型更新的策略交通信号灯的外观会随季节、天气、设备老化而变化。模型部署后不是一劳永逸的需要定期更新。我的做法是在线难例挖掘部署时记录低置信度的检测结果人工审核后加入训练集增量训练每季度用新数据微调一次学习率设小一点0.0001训50轮左右A/B测试新模型先在小范围部署对比旧模型的漏检率和误检率这套流程跑下来模型能持续保持较好的性能。我有个路侧项目跑了两年通过三次增量更新mAP一直维持在0.85以上。6.4 数据标注的持续投入最后说个现实问题3200张只是起点。真正要做好交通信号灯检测标注数据的投入是持续的。我的建议是初期用3200张训一个baseline部署后收集badcase每月标注500到1000张半年后数据集规模到8000到10000张模型性能会有一个明显跃升标注成本方面交通信号灯的标注相对简单矩形框类别单人每天能标800到1000张。如果预算有限可以先用模型预标注人工修正效率能提升3到5倍。我在实际项目里最深的一个体会是交通信号灯检测的瓶颈从来不在模型结构而在数据质量和场景覆盖。同样的YOLOv8s用精心处理的3200张和随便凑的10000张前者往往表现更好。所以如果你手头有这份数据集别急着换模型、调参数先把数据工程做扎实后面的路会顺很多。