简介这是一套面向计算机专业本科生的毕业设计级车牌识别系统源码融合YOLOv8目标检测与CNN字符识别双模型专为大作业、毕设及AI项目实战学习者设计解决真实场景下车牌定位与OCR识别两大核心问题。资源包共425个文件含140个可读Python源码含模型训练、推理、GUI界面、47个配置用YAML文件、211个编译后pyc文件、12张实测车牌图及3个说明文档整体39.4MB结构清晰、模块解耦便于理解整体流程与调试关键环节。已有158人下载学习项目经导师指导并获98分高分评价所有代码均本地实测可运行附带多类车牌样本蓝牌、绿牌、黄牌、警用车牌、双层车牌等覆盖常见光照与角度变化场景提供从数据预处理、模型训练、车牌检测到字符分割识别的完整技术链路与排错参考。1. 项目概述与核心价值最近在帮几个学弟学妹看毕业设计发现“基于深度学习的车牌识别系统”这个选题热度一直居高不下。确实它融合了目标检测、图像处理和深度学习模型部署是一个能完整展示从理论到实践能力的绝佳项目。我自己当年毕业设计做的就是相关方向后来在工作中也接触过不少工业级的车牌识别方案。今天我就以“Python基于深度学习yolov8CNN的车牌识别系统”这个标题为蓝本为你彻底拆解一遍。这不仅仅是一个可以“交差”的毕业设计源码更是一份能让你真正理解如何将YOLOv8和CNN这两个明星模型串联起来解决一个完整计算机视觉问题的实战指南。无论你是正在选题的准毕业生还是想入门深度学习项目实践的爱好者跟着这篇内容走一遍你收获的将不仅仅是一套能运行的代码更是一套解决类似视觉识别问题的通用方法论。整个系统的核心流程非常清晰首先用YOLOv8这个当前最流行的目标检测器从复杂的车辆图片中精准地“框出”车牌的位置然后将框出来的车牌区域图像送入一个专门设计的卷积神经网络CNN进行字符分割与识别最终输出车牌号码。这个过程听起来简单但里面的门道可不少比如怎么准备和标注数据能让YOLOv8训得更准CNN的结构怎么设计才能更好地应对汉字、字母、数字混合的复杂情况以及如何将两个模型优雅地集成到一个流畅的Python系统中。接下来我就结合我踩过的坑和积累的经验带你从零开始把这套系统的里里外外都搞明白。2. 系统整体架构与核心思路拆解2.1 为什么是YOLOv8 CNN的组合在动手写第一行代码之前我们必须想清楚技术选型。车牌识别本质上是一个“检测识别”的两阶段任务。对于检测阶段为什么选YOLOv8而不是Faster R-CNN或SSD核心原因在于YOLOv8在精度和速度上取得了非常好的平衡而且其官方实现的易用性极高。对于毕业设计或中小型项目来说我们不需要从零发明轮子YOLOv8提供了丰富的预训练模型和简洁的API能让我们快速在自定义数据集上获得不错的检测效果把精力更多集中在业务逻辑和识别模块上。对于识别阶段为什么在有了YOLOv8之后还需要一个额外的CNN因为YOLOv8虽然能检测出车牌区域但它本身并不是为精细的字符识别而设计的。车牌的字符识别是一个典型的序列识别问题字符间有间距且类别31个省份简称汉字24个英文字母10个数字较多。一个专门设计的CNN可以更好地学习字符的纹理、边缘等细节特征。常见的做法是先用一个CNN进行字符的初步定位或分割例如语义分割出每个字符或者直接使用CNNCTC/序列模型进行端到端识别。在我们的项目中为了结构清晰和易于理解通常会采用“检测车牌框 - 裁剪车牌区域 - 字符分割 - CNN分类单个字符”的流程其中字符分割可以用传统图像处理如投影法也可以用另一个轻量级模型而每个字符的分类任务就交给一个多分类CNN。2.2 项目核心流程与模块划分基于上述思路我们可以将整个系统划分为以下几个核心模块这不仅是代码组织的依据也是你毕业设计说明书里的核心章节数据准备与预处理模块这是所有深度学习项目的基石。你需要准备两部分数据一是用于训练YOLOv8的、带有车牌边界框标注的车辆图片二是用于训练CNN的、切割好的单个字符图片。数据来源可以是公开数据集如CCPD也可以是自己收集标注。YOLOv8车牌检测模型训练模块利用Ultralytics YOLOv8框架加载预训练权重在我们的车牌数据集上进行微调得到一个能准确输出车牌坐标的模型。车牌图像预处理与字符分割模块将YOLOv8检测出的车牌区域裁剪出来后并不能直接扔给CNN。需要经过灰度化、二值化、去噪、矫正倾斜、字符分割等一系列图像处理操作得到一个个规整的字符小图。CNN字符识别模型训练模块构建一个卷积神经网络输入是归一化的单个字符图像输出是字符类别如65类31汉字24字母10数字。训练这个分类器。系统集成与部署模块将训练好的YOLOv8模型和CNN模型用Python串联起来编写一个完整的识别流水线。包括图像输入、检测、预处理、识别、结果输出与可视化。并考虑如何封装成API或带界面的应用。这个架构的优势在于模块解耦每一部分都可以独立优化和替换。例如你可以尝试用DBNet替换YOLOv8做检测或者用CRNN替换简单的CNN分类做端到端识别这都能为你的毕业设计增加亮点和深度。3. 核心模块实现细节与实操要点3.1 数据准备从原始图片到模型可用的数据集数据是模型的“粮食”粮食不好模型肯定长不好。对于这个项目数据准备是最繁琐但最关键的一步。对于YOLOv8检测模型你需要将数据整理成YOLO格式。每张图片对应一个.txt标注文件文件内容如0 0.5 0.5 0.2 0.1。这代表类别ID为0“车牌”边界框中心点相对坐标和宽高。这里有个大坑公开数据集CCPD的标注格式是[x1,y1,x2,y2, x3,y3,x4,y4]的四点坐标而YOLO需要的是[x_center, y_center, width, height]。你必须写一个格式转换脚本。注意在转换坐标时务必确保计算出的width和height没有超过1.0并且中心点坐标也在0~1之间。一个常见的错误是直接用了像素坐标除以图片尺寸但忘了处理边界情况导致训练时Loss为NaN。我建议将数据按8:1:1的比例划分为训练集、验证集和测试集。目录结构如下datasets/ ├── license_plate_det/ │ ├── images/ │ │ ├── train/ │ │ ├── val/ │ │ └── test/ │ └── labels/ │ ├── train/ │ ├── val/ │ └── test/对于CNN字符识别模型这部分数据更麻烦。你需要从完整的车牌图片中把每一个字符都切出来。可以先用一个初步的车牌检测器或手动框出车牌然后利用开源工具或自己写算法如垂直投影法进行字符分割。每个切出来的字符图片以其字符内容命名或放入对应类别的文件夹。例如datasets/ └── char_recog/ ├── 0/ # 存放数字“0”的图片 ├── 1/ ├── ... ├── A/ ├── B/ ├── ... └── 京/ # 存放汉字“京”的图片字符图片建议统一缩放到相同尺寸如28x28或32x32并做归一化处理。3.2 YOLOv8模型训练关键参数与调优技巧有了数据我们就可以训练YOLOv8了。Ultralytics的API非常友好几行代码就能启动训练。from ultralytics import YOLO # 加载一个预训练模型推荐yolov8s在精度和速度上比较均衡 model YOLO(yolov8s.pt) # 开始训练 results model.train( datadatasets/license_plate_det/data.yaml, # 数据配置文件路径 epochs100, # 训练轮数 imgsz640, # 输入图片尺寸 batch16, # 批次大小根据你的GPU内存调整 device0, # 使用GPU 0 workers4, # 数据加载线程数 projectruns/detect, # 结果保存路径 nameplate_det_v1, # 实验名称 pretrainedTrue, # 使用预训练权重 optimizerAdamW, # 优化器SGD也可 lr00.01, # 初始学习率 lrf0.01, # 最终学习率系数 (lr0 * lrf) momentum0.937, # SGD动量 weight_decay0.0005, # 权重衰减 warmup_epochs3.0, # 热身轮数 box7.5, # 框损失权重 cls0.5, # 分类损失权重 dfl1.5, # DFL损失权重 )这里有几个关键点data.yaml文件这个文件是数据集的“说明书”必须正确编写。内容如下path: /path/to/your/datasets/license_plate_det train: images/train val: images/val test: images/test nc: 1 # 类别数我们只有‘车牌’一类 names: [license_plate] # 类别名称参数调优imgsz通常设为640这是YOLOv8预训练时使用的尺寸。batch大小取决于你的GPU显存11G的2080Ti可以跑到16。如果出现CUDA out of memory就减小batch或imgsz。lr0初始学习率不宜过大从0.01开始比较稳妥。监控与评估训练开始后YOLOv8会在runs/detect/plate_det_v1目录下生成一系列结果包括损失曲线、精度召回率曲线、验证集上的预测样例等。重点关注metrics/precision和metrics/recall以及metrics/mAP50-95。一个在验证集上mAP50能达到0.95以上的模型在实际应用中通常就够用了。实操心得训练过程中如果发现验证集指标很早就停滞不前甚至下降而训练集损失还在降可能是过拟合了。可以尝试增加数据增强的强度YOLOv8默认已开启或者使用早停patience参数。另外务必保存好最后一次的模型权重last.pt和验证集上表现最好的权重best.pt后者通常用于最终部署。3.3 车牌预处理与字符分割传统图像处理的舞台当YOLOv8给出车牌边界框[x1, y1, x2, y2]后我们裁剪出车牌区域图像。但这时的图像可能存在倾斜、光照不均、背景复杂等问题直接送给字符识别CNN效果会很差。因此需要一套预处理流水线。标准预处理流程灰度化与二值化将彩色车牌转为灰度图然后使用自适应阈值法如cv2.adaptiveThreshold或大津法cv2.THRESH_OTSU进行二值化让字符变成白色背景变成黑色。去噪与形态学操作使用中值滤波去除椒盐噪声。然后利用开运算先腐蚀后膨胀去除小的白色噪点闭运算先膨胀后腐蚀连接断裂的字符笔画。倾斜矫正这是一个难点。可以通过霍夫变换检测车牌边框直线来计算倾斜角或者利用车牌字符的总体轮廓cv2.minAreaRect来获取旋转角度并进行矫正。字符分割这是预处理的核心。最经典的方法是垂直投影法。对矫正后的二值图像进行垂直方向的像素累加字符区域的投影值较高字符间的间隙投影值较低接近0。通过寻找投影曲线的波谷就可以确定每个字符的左右边界。import cv2 import numpy as np def segment_chars(binary_plate): 对二值化的车牌图像进行字符分割 :param binary_plate: 二值化车牌图像白字黑底 :return: 分割出的字符图像列表 # 垂直投影 vertical_projection np.sum(binary_plate, axis0) # 找到投影的波峰字符区域和波谷间隙 char_boundaries [] in_char False start 0 for i in range(len(vertical_projection)): if vertical_projection[i] 0 and not in_char: # 进入字符区域 start i in_char True elif vertical_projection[i] 0 and in_char: # 离开字符区域 end i # 过滤掉太窄的区域可能是噪声 if end - start 5: char_boundaries.append((start, end)) in_char False # 处理最后一个字符 if in_char: char_boundaries.append((start, len(vertical_projection))) # 根据边界裁剪字符 char_images [] for (left, right) in char_boundaries: char_img binary_plate[:, left:right] # 去除字符上下多余的空白 horizontal_proj np.sum(char_img, axis1) top np.where(horizontal_proj 0)[0][0] if np.any(horizontal_proj 0) else 0 bottom np.where(horizontal_proj 0)[0][-1] if np.any(horizontal_proj 0) else char_img.shape[0] char_img_cropped char_img[top:bottom1, :] char_images.append(char_img_cropped) return char_images注意事项垂直投影法对车牌字符清晰、间隔均匀的情况效果很好但如果车牌有粘连字符如“京”和“A”靠得太近、光照不均导致二值化断裂或者有螺丝钉等干扰分割就会失败。这时需要更复杂的算法比如基于连通域分析或者直接训练一个轻量的字符分割神经网络如基于U-Net。对于毕业设计可以先实现基础版本在答辩时指出这个局限性并提出改进思路会是加分项。3.4 CNN字符识别模型设计与训练分割出的单个字符图像尺寸不一需要统一缩放到固定大小如32x32并归一化像素值到[0, 1]。然后就可以构建CNN分类器了。一个简单有效的CNN结构可以如下设计import torch import torch.nn as nn import torch.nn.functional as F class CharCNN(nn.Module): def __init__(self, num_classes65): # 假设有65个字符类别 super(CharCNN, self).__init__() # 输入: 1x32x32 (灰度图) self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) # 32x32x32 self.pool1 nn.MaxPool2d(2, 2) # 16x16x32 self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) # 16x16x64 self.pool2 nn.MaxPool2d(2, 2) # 8x8x64 self.conv3 nn.Conv2d(64, 128, kernel_size3, padding1) # 8x8x128 self.pool3 nn.MaxPool2d(2, 2) # 4x4x128 self.fc1 nn.Linear(128 * 4 * 4, 512) self.dropout nn.Dropout(0.5) # 防止过拟合 self.fc2 nn.Linear(512, num_classes) def forward(self, x): x self.pool1(F.relu(self.conv1(x))) x self.pool2(F.relu(self.conv2(x))) x self.pool3(F.relu(self.conv3(x))) x x.view(-1, 128 * 4 * 4) # 展平 x F.relu(self.fc1(x)) x self.dropout(x) x self.fc2(x) return x这个网络有三层卷积池化用于提取特征最后接两个全连接层做分类。注意第一层卷积输入通道是1因为我们是灰度图。训练要点数据加载使用torchvision.datasets.ImageFolder可以很方便地加载按类别分文件夹存放的数据。数据增强对于字符识别适度的增强很有必要比如随机旋转小角度、平移、添加高斯噪声。这能提升模型对字符轻微形变和噪声的鲁棒性。可以使用torchvision.transforms。损失函数与优化器使用标准的交叉熵损失nn.CrossEntropyLoss()和Adam优化器。类别不平衡问题数字0-9的样本可能远多于汉字“藏”、“领”等。可以在DataLoader中设置samplerWeightedRandomSampler或者直接在损失函数中给不同类别赋予不同的权重。训练完成后在测试集上达到99%以上的准确率是很常见的因为单个字符的分类任务相对简单。4. 系统集成与完整流程串联前面我们准备好了两个训练好的模型一个YOLOv8检测模型best.pt一个CNN字符识别模型char_cnn.pth。现在需要写一个Python脚本把它们和预处理逻辑串起来形成一个完整的车牌识别系统。核心流程代码骨架import cv2 import torch from ultralytics import YOLO from char_cnn_model import CharCNN # 导入你定义的CNN模型 from preprocess import segment_chars # 导入预处理和分割函数 class LicensePlateRecognitionSystem: def __init__(self, det_model_path, cnn_model_path, char_classes): 初始化系统加载两个模型 :param det_model_path: YOLOv8检测模型路径 :param cnn_model_path: CNN字符识别模型路径 :param char_classes: 字符类别列表与CNN训练时顺序一致 self.det_model YOLO(det_model_path) self.cnn_model CharCNN(num_classeslen(char_classes)) self.cnn_model.load_state_dict(torch.load(cnn_model_path, map_locationcpu)) self.cnn_model.eval() # 设置为评估模式 self.char_classes char_classes self.device torch.device(cuda if torch.cuda.is_available() else cpu) self.cnn_model.to(self.device) def recognize(self, image_path): 对单张图片进行车牌识别 :param image_path: 输入图片路径 :return: 识别结果列表每个元素为(车牌框坐标, 车牌号码) # 1. 使用YOLOv8检测车牌 img cv2.imread(image_path) det_results self.det_model(img)[0] # 获取第一个也是唯一一个结果 plates [] # 遍历检测到的每一个车牌框 for box in det_results.boxes: # 获取坐标 (xyxy格式) x1, y1, x2, y2 map(int, box.xyxy[0].tolist()) confidence box.conf[0].item() # 2. 裁剪车牌区域 plate_region img[y1:y2, x1:x2] # 3. 预处理与字符分割 # 先转为灰度图然后二值化... gray_plate cv2.cvtColor(plate_region, cv2.COLOR_BGR2GRAY) _, binary_plate cv2.threshold(gray_plate, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) # 进行倾斜矫正此处省略具体函数... corrected_plate self.correct_skew(binary_plate) # 字符分割 char_images segment_chars(corrected_plate) # 4. 字符识别 plate_number for char_img in char_images: # 调整大小并归一化转换为Tensor char_resized cv2.resize(char_img, (32, 32)) char_tensor torch.from_numpy(char_resized).float().unsqueeze(0).unsqueeze(0) / 255.0 char_tensor char_tensor.to(self.device) # 预测 with torch.no_grad(): outputs self.cnn_model(char_tensor) _, predicted torch.max(outputs, 1) char_label self.char_classes[predicted.item()] plate_number char_label plates.append(((x1, y1, x2, y2), plate_number, confidence)) return plates def correct_skew(self, image): # 倾斜矫正实现略 pass # 使用示例 if __name__ __main__: # 初始化系统 char_list [0,1,...,9,A,B,...,Z,京,沪,...] # 65个字符 lpr_system LicensePlateRecognitionSystem(runs/detect/plate_det_v1/weights/best.pt, models/char_cnn_best.pth, char_list) # 识别单张图片 results lpr_system.recognize(test_car.jpg) for (box, plate_num, conf) in results: print(f检测到车牌: {plate_num}, 置信度: {conf:.2f}, 位置: {box}) # 可以在原图上画框和文字 img cv2.imread(test_car.jpg) x1,y1,x2,y2 box cv2.rectangle(img, (x1,y1), (x2,y2), (0,255,0), 2) cv2.putText(img, f{plate_num} {conf:.2f}, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imwrite(result.jpg, img)这个LicensePlateRecognitionSystem类封装了整个流程。recognize方法是核心它依次执行检测、裁剪、预处理、分割、识别并返回结果。你可以在此基础上扩展比如支持视频流识别、批量图片处理、将结果保存到数据库等。5. 常见问题、优化策略与项目扩展在实际跑通整个流程的过程中你肯定会遇到各种各样的问题。这里我总结了一些常见坑点和优化思路。5.1 训练与数据相关问题问题1YOLOv8训练时loss震荡很大或者很快降到很低但mAP不高。可能原因学习率设置过高数据标注有大量错误数据集中存在大量模糊、极小或遮挡严重的车牌。排查与解决将学习率lr0调低一个数量级比如从0.01调到0.001试试。仔细检查验证集上的预测结果看模型是不是把车灯、格栅等误检成了车牌。如果是说明数据标注质量差需要清洗数据。分析数据集中目标的尺寸分布。如果小目标太多可以尝试减小imgsz如从640降到320或者使用专门针对小目标优化的模型变体但YOLOv8本身对小目标检测能力已不错。问题2CNN字符识别模型在训练集上准确率100%但在测试集或真实图片上表现很差。可能原因严重的过拟合测试集与训练集分布不一致例如训练集是白底黑字测试集是蓝底白字。排查与解决增加数据增强的多样性颜色抖动、随机仿射变换。在CNN模型中增加Dropout层或增加L2权重衰减。检查字符分割步骤。很可能问题不出在CNN分类本身而是分割模块在测试图片上分割错误导致送给CNN的压根不是完整的字符。务必可视化查看分割出的每一个字符小图。5.2 识别流程中的典型故障问题3车牌检测到了但字符识别全是乱码。排查步骤这是一个经典的“管道式”系统调试问题必须逐级排查。可视化中间结果把YOLOv8裁剪出的车牌区域原图、灰度图、二值化图、矫正后的图、分割出的每一个字符小图全部保存下来看看。很可能在二值化或矫正环节就失败了导致字符无法辨认。检查预处理参数二值化的阈值是否自适应对于夜间或强光下的车牌全局阈值可能失效必须用自适应阈值cv2.adaptiveThreshold。倾斜矫正算法是否对角度过大30度的车牌失效模拟测试CNN手动从一张识别失败的车牌上规整地切出一个字符调整到32x32输入到你的CNN模型中看它能否正确分类。如果不能说明CNN模型泛化能力不足或遇到了未训练过的字体。问题4字符分割时汉字如“京”、“沪”被切成了两半。原因分析汉字结构复杂左右结构如“湘”或包围结构如“京”的上半部分在垂直投影上可能产生多个波峰被误判为两个字符。解决方案后处理合并在分割后根据先验知识中国车牌格式是7位字符和字符宽度比例进行合并。例如如果某个分割出的区域宽度明显小于平均宽度且其相邻区域是汉字常见部首则考虑合并。采用更先进的分割方法放弃简单的投影法改用连通域分析并结合字符宽高比规则进行筛选。或者直接使用一个端到端的识别模型如CRNN省去分割步骤这是目前工业界更主流的方向。5.3 项目扩展与优化方向如果你的基础功能已经实现想让毕业设计更出彩可以考虑以下扩展方向端到端识别模型研究并实现CRNNCNNRNNCTC或Attention-based模型。这种模型输入整张车牌图片直接输出字符序列避免了繁琐且容易出错的分割步骤对模糊、倾斜车牌的鲁棒性更强。模型轻量化与部署将训练好的YOLOv8和CNN模型转换为ONNX格式并尝试用TensorRT或OpenVINO进行推理加速。还可以研究在树莓派或Jetson Nano等边缘设备上部署实现一个嵌入式车牌识别系统。增加车牌颜色识别中国车牌有蓝、黄、绿、白、黑等多种底色。可以在YOLOv8检测的同时增加一个车牌颜色分类的小网络分支或者单独训练一个颜色分类模型。设计图形用户界面GUI使用PyQt5、Tkinter或Gradio为你的系统制作一个简单的桌面或Web界面支持上传图片、实时显示识别结果和中间过程大大提升项目的完整度和演示效果。构建简易数据集如果找不到足够多的某省车牌数据可以尝试用车牌生成算法如使用字体库和背景模板合成来扩充你的数据集这是一个非常实用的技巧。最后在整合项目源码时记得做好代码的模块化和文档注释。一个清晰的README.md文件说明如何配置环境、安装依赖、准备数据、训练模型和运行demo能让你的项目更加分。这个从数据准备、模型训练、问题排查到系统集成的完整经历才是你这个毕业设计最大的价值所在。本文还有配套的精品资源点击获取