简介面向计算机视觉学习者与毕设开发者这份资源提供基于YOLOv7实现的中文车牌检测与识别方案覆盖单层/双层蓝牌、黄牌、新能源、武警、使馆、港澳等12类车牌可直接支撑课程设计、毕业设计或初期项目演示。压缩包共97个文件大小约24MB以38个Python脚本为核心涵盖数据配置、模型训练、车牌检测识别与部署调用流程同时包含13个YAML配置文件、模型权重pt/pth、C/CUDA推理代码、中文字体及说明文档模块划分清晰降低二次开发门槛。目前已有193人查阅学习代码均测试通过复现性较好。除完整源码外还提供ncnn/onnx/tensorrt等多后端转换推理示例、双层车牌切分合并工具、测试图片和README指引便于快速验证效果如遇环境配置或运行故障可直接向作者咨询并获得远程教学适合不同基础的学习者按需研读、实战复用。1. 为什么说中文车牌识别不只是目标检测 OCR很多人拿到 YOLOv7 车牌检测识别这个项目第一反应是车牌检测 用 YOLOv7 框出车牌识别 OCR 读一下字符。真按这个思路跑起来你会发现蓝牌识别率还不错但双层绿牌、新能源车牌、倾斜摄像头视角下会反复翻车。原因在于中文车牌有一个普通 OCR 没有的难题省份简称字库里有大量形近字京和津、鄂和邮在低分辨率下几乎分不清双层车牌把 8 个字符拆成了两行直接用一个序列识别模型去读会丢掉结构信息。这个标题里检测 识别 双层 12 种中文车牌真正值钱的不是 YOLOv7 检测那一层而是后面这一套为中文车牌定制的矫正与识别流程。本文就按检测 → 矫正 → 识别 → 部署这条线把每一层的实现、参数和踩坑点讲清楚适合正在做停车场道闸、工地门禁或安防摄像头本地识别的 Python 开发者。2. 任务拆解检测、矫正、识别三层各自解决什么问题车牌识别从输入图像到输出字符串中间不是一步到位的。常见做法是拆成三层先检测车牌位置再对检测框内的车牌做几何矫正最后才做字符识别。每一层的失败模式不同混在一起排查时很难定位问题所以我习惯在项目一开始就把三层的接口定义清楚——检测层输出坐标框矫正层输出规整后的矩形车牌图识别层输出字符串。这样哪一层掉链子单独测哪一层就行。2.1 检测层为什么选 YOLOv7 而不是纯图像处理或更新的 YOLO 版本车牌检测最朴素的做法是颜色分割把图像转到 HSV 空间用蓝色或绿色的阈值把车牌区域抠出来再做形态学闭运算找矩形。这个方案在固定机位、光照稳定的道闸场景能跑但换到露天停车场树叶阴影、车漆颜色、夜间路灯色温一变化阈值就崩。颜色分割本质上是在猜车牌的颜色分布而不是在学车牌的形状和纹理特征。YOLOv7 是 anchor-based 的检测器对车牌这类长宽比相对固定的目标比较友好。选它而不是 YOLOv8 或更晚的版本主要是出于部署考虑一方面这个标题给的项目基线就是 v7迁移到 v8 意味着重新处理 anchor、标签分配和导出链路代价不小另一方面 v7 的检测头导出 TensorRT engine 的路径成熟工控机上部署省事。你不用纠结版本新旧车牌检测任务难度本身不高v7 的精度余量足够。检测层关心的指标只有两个召回率和定位精度。召回率决定车牌出现在画面里但没框出来的漏检比例定位精度决定后面识别层拿到的图干不干净。检测框如果比车牌大一圈识别层会混入车漆、保险杠纹理如果框小了会把字符裁掉一半。所以我在检测层会刻意要求标注框贴着车牌边缘哪怕只有 2 到 3 个像素的余量都不要为了省事画大框。2.2 识别层CRNNCTC 与字符分类什么时候各占优势检测框拿到后识别层有两条技术路线。第一条是端到端 CRNN把整张车牌图送入卷积循环网络输出一个变长字符序列用 CTC Loss 做对齐。它的优势是对字符粘连、轻微倾斜鲁棒不需要精确切分每个字符缺点是车牌字符位置固定CTC 的解码结果偶尔会出现顺序错乱尤其是双层车牌的上下结构被压成一行时。第二条是字符分割 分类先把车牌切成单个字符再对每个字符做分类。汉字一个分类器字母数字一个分类器逻辑清晰可解释。缺点是切字符这一步依赖矫正质量一旦车牌倾斜或反光切分点就对不齐后面全错。对于中文车牌我的选择是单层车牌用 CRNN 直接识别双层车牌先按行拆成上下两段再分别走 CRNN。省去字符切分对抗粘连能力强。至于12 种中文车牌这个说法不同项目定义不同常见的是指号牌底色类型蓝牌、黄牌、绿牌、白牌、黑牌、渐变绿牌等与省份简称高频字表的组合。部署前一定要先确认权重训练时覆盖了哪些字符否则遇到没见过的省份简称识别层会硬生生输出一个最像的字而且不加任何告警。2.3 双层车牌的矫正思路从一行文字到两行文字双层车牌主要是新能源绿牌结构是上排省份简称 字母下排字母 数字一共 8 个字符。识别前得先把两行拆开。我一般用水平投影找分界线把车牌灰度图做二值化按行统计白色像素数两行字符之间会有一条明显的低谷。关键是分界线要在投影低谷里找而不是简单地从高度一半处切开因为上下两行的物理高度不一定完全相等。import cv2 import numpy as np def split_double_plate(plate_img): # 输入透视矫正后的车牌图BGR 格式 gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) # 车牌字符与背景对比度较高Otsu 自动找阈值 _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) # 水平投影按行统计亮色像素数量 row_sum np.sum(binary, axis1) / 255.0 h row_sum.shape[0] # 分界线只可能在中间区域缩小搜索范围避免被噪声带偏 band_start int(h * 0.35) band_end int(h * 0.65) # 在中间带里找行和最小的位置作为上下两行的分割线 split_y band_start int(np.argmin(row_sum[band_start:band_end])) upper plate_img[:split_y, :] lower plate_img[split_y:, :] return upper, lower这段代码有几个要点。THRESH_BINARY_INV是把字符变白、背景变黑如果实际车牌图里字符比背景暗这个标记要反过来否则投影统计的就是背景而不是字符。np.argmin找的是中间条带里行像素和最小的位置限制在 35% 到 65% 高度之间是因为双层车牌的分界线正常情况下只可能出现在中间区域避免车牌上沿的边框噪声干扰。拆完上下行之后还要把两行分别缩放成统一宽度再送入识别模型。常见做法是把上下两行各自拉伸到相同宽度比如都变成 168 像素宽、48 像素高然后拼接成一张图。拼接时可以在两行之间留几个像素的黑边避免 CRNN 把第二行的开头和第一行的结尾连在一起误读。3. 把 YOLOv7 车牌检测跑起来环境配置、推理代码与权重加载标题里的源代码包拿到手第一件事不是急着跑训练而是先把检测推理跑通确认权重文件、模型结构和依赖库三者匹配。YOLOv7 项目对环境的要求不算苛刻但 Python、PyTorch、CUDA 三者的版本组合如果不对光 ImportError 就能耗掉半天。下面这套是我在 Windows 和 Linux 工控机上反复用过的顺序。3.1 环境配置Python 版本、PyTorch 与依赖安装的实际顺序无论你从 python.org 装的是哪个版本都建议先用虚拟环境把项目隔离出来不要直接往系统 Python 里装。YOLOv7 用到的依赖里torch 和 torchvision 的版本必须匹配opencv-python 负责图像读写pyyaml 负责读模型配置文件。python -m venv yolov7_env source yolov7_env/bin/activate # Windows 下用 yolov7_env\Scripts\activate python -m pip install --upgrade pip setuptools wheel # 有 NVIDIA 显卡时安装 CUDA 版 PyTorch根据自己的 CUDA 版本选择 index-url pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 没有 GPU 就装 CPU 版推理慢但能跑通流程 pip install opencv-python numpy pandas tqdm matplotlib pyyaml requests先建虚拟环境再装依赖可以避免和电脑里其他的深度学习项目互相污染。--index-url指定 PyTorch 官方源是为了装到与 CUDA 运行时匹配的预编译包如果直接用默认 PyPI 源装到的可能是 CPU 版或 CUDA 版本匹配不上的包。装完 torch 后一定要在 Python 里跑一句torch.cuda.is_available()确认 GPU 真的可用我遇到过好几次装完显示 True但实际跑起来却是在 CPU 上慢慢磨的情况。3.2 最小推理代码加载权重检测车牌并输出坐标推理代码我习惯写成独立脚本不依赖项目的detect.py这样后面接摄像头流时可以直接复用。YOLOv7 官方工具里有两个关键函数attempt_load负责加载权重并自动补齐模型结构non_max_suppression负责去掉重复检测框。输入的图片要先做 letterbox 预处理把长边缩放到 640短边用灰色填充这一步是为了保持原始宽高比直接cv2.resize会把车牌压扁检测框定位会偏。import cv2 import torch import numpy as np from models.experimental import attempt_load from utils.general import non_max_suppression, scale_coords, letterbox # 加载训练好的车牌权重map_locationcpu 方便无 GPU 环境调试 model attempt_load(weights/best.pt, map_locationcpu) model.eval() # 读取原图letterbox 保持宽高比缩放到 640x640 img0 cv2.imread(car.jpg) img letterbox(img0, new_shape640)[0] img img[:, :, ::-1].transpose(2, 0, 1) # BGR 转 RGBHWC 转 CHW img np.ascontiguousarray(img) img torch.from_numpy(img).float() / 255.0 img img.unsqueeze(0) # 加 batch 维度 with torch.no_grad(): pred model(img)[0] # conf_thres 低于阈值的结果直接丢弃iou_thres 控制重复框抑制强度 pred non_max_suppression(pred, conf_thres0.4, iou_thres0.5) for det in pred: if det is not None and len(det): # 把 640 尺寸下的坐标缩放回原图尺寸 det[:, :4] scale_coords(img.shape[2:], det[:, :4], img0.shape).round() for x1, y1, x2, y2, conf, cls in det.cpu().numpy(): x1, y1, x2, y2 int(x1), int(y1), int(x2), int(y2) cv2.rectangle(img0, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img0, fplate {conf:.2f}, (x1, y1 - 8), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) cv2.imwrite(result.jpg, img0)letterbox输出的是缩放后的图同时会返回缩放比例和填充尺寸scale_coords就是拿这些信息把检测框还原到原图坐标。conf_thres0.4意味着置信度低于 40% 的框全部丢弃这个值对清晰的正视角车牌没问题iou_thres0.5控制两个重叠框的合并策略重叠超过 50% 的就认为在检测同一个目标。调试阶段建议把conf_thres调到 0.25让模型把不确定的框也吐出来方便看它到底学到了什么。3.3 参数说明conf_thres、iou_thres 怎么设这两个参数直接影响检测层的表现我整理了一张常用场景的取值表方便直接抄作业。场景conf_thresiou_thres说明停车场道闸正视角0.4 - 0.50.5画面干净框少高置信度足够露天摄像头斜视角0.30.5车牌偏小置信度普遍偏低夜间或逆光0.250.45 - 0.5低光照下特征不明显先保证召回密集车流多车牌同时出现0.40.6调高 iou 避免相邻车牌框被错误合并iou_thres调高之后两个紧挨着的车牌框会更倾向于被当成同一个目标所以密集车流场景要反过来调低 iou 抑制阈值让相邻目标各自保留。夜间场景conf_thres降到 0.25 之后背景误检会变多我的做法是宁可在检测层多留几个候选框把过滤压力放到识别层——识别层对非车牌图会输出乱码或低置信度结果可以用正则规则比如必须包含一个中文汉字再刷掉一批。4. 训练车牌检测模型数据标注、格式转换与训练参数用现成权重跑通推理只是第一步换一个部署环境摄像头高度、角度、光线变了检测效果就会明显变差。要保住效果必须用现场数据微调模型。这一章讲数据准备和训练参数也是整个项目里最容易在细节上翻车的地方。4.1 数据从哪来自采与公开数据集的取舍车牌检测数据的来源无非两条路自采和公开数据集。公开数据集里 CCPD 是国内用得最多的中文车牌数据集覆盖了多种天气、角度和光照条件蓝牌绿牌都有适合作为预训练起点。但公开数据集的局限也很明显它的车牌大多是车辆正前方或正后方的视角而实际部署的摄像头经常是 45 度斜向俯拍视角分布一旦错位检测框的定位精度就下降。我的建议是公开数据集负责打底自采数据负责对齐现场。自采很简单把摄像头装到要部署的位置录 30 分钟视频抽帧出来筛选出带车牌的帧标 1000 到 2000 张就够微调用了。关键是这些自采数据必须覆盖早中晚三个时段因为同一个机位在正午和傍晚的光照差异比换一个省份的差异还大。标完数据后把自采数据单独留出 20% 当验证集不要混进训练集——这样才能看出微调是否真的解决了现场问题。4.2 标注与格式转换VOC / YOLO / COCO 之间的三个边界坑车牌检测任务只需要一类目标标注工作本身不复杂常见标注工具导出的是 VOC 格式XML 文件而 YOLOv7 训练需要的是 YOLO 格式的 TXT 文件。转换脚本不难写但三个边界坑经常让人白忙一场。import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, out_dir, class_map{plate: 0}): tree ET.parse(xml_path) root tree.getroot() # 图片宽高必须取自 XML 里的 size 字段不能用标注时的像素坐标直接算 img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) lines [] for obj in root.findall(object): name obj.find(name).text cls_id class_map[name] box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # YOLO 格式中心点 x, 中心点 y, 宽, 高全部归一化到 0-1 cx (xmin xmax) / 2 / img_w cy (ymin ymax) / 2 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) out_path os.path.join(out_dir, os.path.basename(xml_path).replace(.xml, .txt)) with open(out_path, w) as f: f.write(\n.join(lines))第一个坑是归一化基准VOC 的xminxmax是整数像素坐标归一化时必须用图片的实际宽高做分母有人图省事直接除以 640训练时检测框全部偏移。第二个坑是标注框的边界双层车牌必须框成一整个矩形不要上下两行各标一个框否则检测层会把同一块车牌当两个目标后面识别层无从下手。第三个坑是类别索引如果只检测车牌nc1类别固定为 0如果和车辆检测一起做类别编号必须和 YAML 配置文件里的names顺序一一对应错一位就全乱。转换完成后要抽几张图做可视化验证把 TXT 里的坐标画回原图确认框的位置和边界。这一步虽然原始但能拦住 90% 的标注格式错误。4.3 训练命令与关键参数img_size、batch、epochs 怎么定数据准备好之后训练命令本身不复杂但参数设置直接影响收敛速度和最终精度。先看数据集配置文件# data/plate.yaml train: ./dataset/train val: ./dataset/val nc: 1 names: [plate]然后启动训练。用 COCO 预训练权重做起点比从零开始训收敛快得多。python train.py \ --data data/plate.yaml \ --weights yolov7.pt \ --cfg cfg/training/yolov7.yaml \ --epochs 100 \ --batch-size 16 \ --img-size 640 \ --device 0img-size 640是速度与精度的平衡点。车牌在画面里的像素尺寸一般不超过 100x30640 的输入分辨率足够保留字符边缘纹理再往上加到 1280 收益很小推理耗时却接近翻倍。batch-size 16需要显存约 16G如果你的显卡只有 8G降到 8同时把初始学习率从默认值调低一半否则大 batch 变小时模型容易震荡。epochs 100是车牌场景的经验值数据量在 2000 张左右时模型通常在 60 到 80 个 epoch 就收敛了后面继续训只会过拟合训练集。训练时还有一个参数容易踩坑mosaic 数据增强。YOLOv7 默认开启 mosaic把四张图拼成一张训练对小目标检测有好处但车牌被拼到图边缘时可能被切掉一半而标签还保留着完整框等于在教模型半个车牌也是车牌。我一般会在前 10 个 epoch 关闭 mosaic等模型先学到车牌的完整结构再开启 mosaic 做增强。4.4 双层车牌在检测层有没有特殊处理检测层对双层车牌不需要额外处理标注成完整矩形框即可。真正要注意的是训练数据里双层车牌的占比。如果现场部署场景有大量新能源车训练集里绿牌比例至少要占到 30%否则模型会对蓝牌过拟合绿牌的召回率会明显偏低。我见过一个项目蓝牌检测召回率 98%绿牌只有 70%查到最后就是训练集里绿牌只有几十张连验证集都凑不齐。另外车牌上的固封螺丝、水印、装饰框会被检进框里识别层会明显受到干扰。检测层不负责剔除这些噪声但训练时可以在标注框里保留这些元素让检测模型看到真实分布的样本而不是刻意裁掉。识别层能不能扛住螺丝和水印取决于识别模型的鲁棒性这也是下一章要展开的内容。5. 避坑排查车牌识别项目里最容易翻车的 5 个细节这个项目我前后跑过三轮踩坑的记录换了好几页。挑五个出现频率最高、排查方向最有代表性的写在这里每一条按现象 → 原因 → 解决展开方便你对号入座。5.1 蓝牌识别率高新能源绿牌却频繁漏检现象检测模型在测试集上整体 mAP 不低但实拍时绿牌要么框不出来要么框的位置偏下把第二行数字切掉了一半。原因训练集里绿牌样本占比太少模型把蓝色矩形当成了车牌的强特征。解决不要只靠增加绿牌数量要对绿牌样本单独做亮度、对比度扰动因为绿牌在不同光照下的颜色变化比蓝牌剧烈得多同时在训练配置里给绿牌类的损失加权让模型被迫关注绿牌特征而不是偷懒学颜色。5.2 双层车牌识别成单行字符串字符顺序乱掉现象双层绿牌识别输出的字符串类似京A·12345变成京A12345上排和下排的边界模糊第二行开头的数字被接到第一行末尾。原因直接把整个检测框送入了 CRNN模型把两行文字压到一条序列里字符之间的位置关系全乱了。解决必须先做行分割再识别。我常用的做法是前面写过的投影分割分割后上下两行分别识别最后按上排 3 字符 下排 5 字符的规则拼接。不要指望 CRNN 自己学会处理两行结构它在训练时没见过这种样本推理时就只能靠蒙。5.3 识别结果把京认成津把鄂认成邮现象字符级准确率停在 95% 左右细看错误集中在几个汉字上。原因中文车牌省份简称里形近字多车牌图像分辨率低汉字笔画在卷积特征里几乎糊成一团模型只能靠猜。解决一是把汉字识别单独做成一个固定字表的分类器而不是让 CRNN 从 3000 多个常用汉字里挑缩小搜索空间后准确率立竿见影二是对汉字区域单独做上采样和锐化再送入分类器三是在训练时对易混类别做数据增强比如把京的样本加轻微模糊让模型学会抓笔画骨架而不是纹理。5.4 摄像头斜着装检测框框得住但识别层输出全错现象检测框能圈住车牌但框是轴对齐的矩形实际车牌在画面里是透视梯形识别层拿到的矩形图里字符是歪的。原因检测层输出的是水平矩形框YOLOv7 不会给你四个角点识别模型输入要求正视矩形图拿倾斜图硬识别字符形变超过模型容忍范围。解决在识别层前加一步透视矫正。先用边缘检测找到车牌的四条边或者用一个小角点回归模型预测四个角点坐标再做透视变换把梯形拉回矩形。矫正这步不做识别层的 CRNN 就算换更大的模型也救不回来。5.5 白天效果好晚上直接失效现象同一套权重白天实测识别率 96%晚上只剩 60%车牌区域过曝或者完全看不清。原因夜间车灯照射下车牌反光字符区域和底色之间的对比度急剧下降二值化和特征提取都会失效。解决从两个方向入手。一是检测层单独收集夜间数据微调夜间车牌的视觉特征和白天差异很大混在一起训会让模型两头都抓不稳二是识别层不要只做全局二值化改用自适应局部阈值或者对车牌图做灰度聚类后再归一化让字符和底色的边界重新显出来。另一个收益明显的技巧是连续帧投票——道闸场景车辆是运动的同一个车牌会出现在连续多帧里把前后几帧的识别结果做多数表决能纠正单帧的偶发错误。6. 部署到摄像头实时流跳帧推理、TensorRT 加速与结果验证离线跑通推理脚本之后下一步是接到摄像头实时流。常见的坑是每帧都做完整检测加识别GPU 占用率拉满帧率却只有个位数。道闸场景不要求每帧都识别车辆是连续运动的我的做法是跳帧检测加 IOU 跟踪把检测频率降下来。import cv2 cap cv2.VideoCapture(0) skip_frames 3 frame_id 0 tracker SimpleIOUTracker() # 用上一帧的框做 IOU 匹配没匹配上的框就沿用 while True: ret, frame cap.read() if not ret: break frame_id 1 # 每 skip_frames 帧做一次检测中间帧用跟踪结果补上 if frame_id % skip_frames 0: dets detect_plate(frame) # 复用第 3 章的推理函数 tracker.update(dets) boxes tracker.get_boxes() for box in boxes: crop crop_and_warp(frame, box) # 抠图 透视矫正 text recognize_plate(crop) # CRNN 识别 draw_box_with_text(frame, box, text) cv2.imshow(plate_recognition, frame) if cv2.waitKey(1) 0xFF ord(q): break跳帧的代价是车辆高速通过时可能错过检测帧但道闸场景车速低skip_frames3配合 IOU 跟踪足够。离线验证时不要只看检测 mAP要按真实部署指标统计拿一段现场录制的视频人工标注每一帧的车牌位置和文本计算检测召回率和整牌识别准确率——也就是 7 位或 8 位字符完全正确的帧比例这才是道闸业务真正关心的数字。如果对延迟还有要求下一步是导出 TensorRT engine。市面上车牌识别一体机类似臻识这类设备把模型固化成专用加速方案我们用 YOLOv7 部署时靠 TensorRT 也能把单帧检测压到 10ms 量级前提是用 GPU 工控机或 Jetson 设备。导出后务必做精度对比TensorRT 的 FP16 推理偶尔会和 PyTorch 的结果差一个字符验证集上跑一遍再上线。我接手过的几个道闸项目最后都死在一个不是模型的问题上现场摄像头安装高度和角度跟我训练数据的分布不一致。现在我拿到新项目的第一件事不是调模型而是先去现场拍 200 张真实机位照片拿它当验证集。模型可以慢慢训数据分布先对齐能少走一半弯路。希望这篇能帮你把这个项目的路理顺。本文还有配套的精品资源点击获取