简介面向毕业设计、课程设计与深度学习初学者的连续多位手写数字识别系统完整项目基于PyTorch 1.8与PyQt5构建GUI界面可实时检测并识别单个及连续多位数字且支持检测阈值等参数调节。压缩包共1758个文件约130.22MB主要包含Python源码与UI文件、训练验证脚本与配置文件、人工标注数据集、训练好的模型权重以及评估曲线与说明文档。内部目录涵盖训练、推理、GUI运行等模块便于二次开发与复现实验。目前已有174人学习下载适合需要快速跑通手写数字识别流程、完成毕业设计或课设演示的读者。项目附带运行教程和完整训练推理代码可在此基础上调整阈值、扩充数据或替换网络结构作为综合实践与答辩展示的可靠素材。1. 从 MNIST 到连续多位这套 GUI 解决的不只是识别一套基于深度学习opencv 的连续多位手写数字识别系统 GUI值钱的不是那个 CNN 模型而是把识别变成能用的完整工程链路。单张手写数字识别在深度学习时代早就被 CNN 做到了 99% 以上的准确率但连续多位、字迹随意、带噪声的输入才是真正让毕设翻车的场景。这套系统解决的就是从单张识别到整串可用之间的距离。压缩包里的源码、模型、MNIST 数据集、运行教程和评估曲线构成完整闭环CNN 负责识别OpenCV 负责图像预处理与数字切分PyQt5 把过程包装成能直接操作的桌面界面。适合做毕设的学生、想快速搭图像识别 GUI 的开发者以及刚入门深度学习想找完整参考项目的初学者。2. 选型先想明白为什么 CNN OpenCV 是连续多位识别的最优组合2.1 模板匹配和 CNN 的差距泛化能力不在一个量级传统做法里模板匹配和 KNN 也能做手写数字识别但天花板都很明显。模板匹配的思路是把待识别图像和 0-9 十类模板做像素级相似度计算问题在于手写数字的笔画粗细、倾斜、位移变化极大同一个7有人写得带横杠、有人不带模板匹配对这种类内差异几乎没有招架之力。KNN 好一些本质上是拿训练集里所有样本做距离度量但每张图都要和数万样本算距离推理慢对噪声也敏感。CNN 的核心优势是特征自己学。浅层卷积核学到边缘和笔画方向深层卷积核组合出数字的局部结构这种层次化特征对平移和轻微形变有天然鲁棒性。在 MNIST 上一个调好的 LeNet-5 变体可以把测试准确率做到 99% 以上传统方法的天花板大概在 97% 附近。对毕设来说这 2 个百分点的差距直接决定了答辩时实测翻车的概率。那 OpenCV 在这里到底负责什么识别是 CNN 的事但把一张写满数字的图片变成一个个孤立的 28x28 字符这件事 OpenCV 做得最省心可控。拿目标检测来做切分不是不行但为了几个数字训练一个检测头完全不划算。常见做法是 OpenCV 负责灰度化、二值化、轮廓检测和切分CNN 只做分类各干各最擅长的事。这个分工也是标题里深度学习opencv两个词真正咬合的地方。2.2 LeNet-5 及其改进网络结构与关键参数标题里没有指定具体网络结构但连续多位手写数字识别最可靠的方案就是 LeNet-5 或其轻量改进。LeNet-5 是 1998 年 LeCun 提出的经典卷积网络两个卷积池化块接三个全连接层输入 28x28 灰度图输出 10 类概率。我一般会在原始结构上做三处小改动tanh 换成 ReLU训练收敛明显更快第一个卷积层加 padding2特征图尺寸不缩水全连接之间加 Dropout(0.5)评估曲线更干净。层参数输出尺寸输入28x28 灰度图归一化到 [0,1]1x28x28Conv16 个 5x5 卷积核padding2ReLU6x28x28Pool12x2 最大池化6x14x14Conv216 个 5x5 卷积核ReLU16x10x10Pool22x2 最大池化16x5x5FC1展平 400 - 120ReLU Dropout120FC2120 - 84ReLU84输出84 - 10Softmax10训练参数上我一般用 SGD 加动量momentum0.9初始学习率 0.01batch size 128跑 15 到 20 个 epoch。MNIST 训练集只有 60000 张图用 Adam 也完全能收敛但 SGD 的训练曲线更典型、更好讲答辩时能解释的内容更多。核心网络定义如下import torch.nn as nn class LeNet5(nn.Module): def __init__(self): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 6, kernel_size5, padding2), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(6, 16, kernel_size5), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Linear(16 * 5 * 5, 120), nn.ReLU(), nn.Dropout(0.5), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, 10), ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) return self.classifier(x)padding2 是关键参数不加的话 28x28 经过 5x5 卷积变成 24x24第二层再变 10x10最终池化到 5x5加了 padding 第一层输出保持 28x28信息保留更多。Dropout 只在训练时生效PyTorch 里调用 model.eval() 后会自动关闭推理阶段不用担心它影响结果。2.3 评估曲线怎么看训练损失、验证精度与过拟合判断压缩包里带的评估曲线一般就是训练/验证的损失曲线和准确率曲线这两张图不是答辩用的装饰它们能直接告诉你模型训得到不到位。正常的曲线形态是训练损失单调下降并趋于平坦验证准确率爬升到 99% 附近后不再明显波动。如果训练损失还在降、验证准确率却开始掉这是过拟合的典型信号对应的手段是加大 Dropout、加数据增强或者提前停止。另一个容易忽略的角度是类别维度的准确率。MNIST 总体准确率 99% 不代表每个数字一样好实际经验是1和7最容易混4和9在书写潦草时也容易误判。建议额外画一张按类别分的准确率柱状图答辩被问哪里最容易错时直接答得上。数据增强方面MNIST 最常用的是随机平移 2 像素、随机旋转 10 度以内这两个增强能让模型对真实手写图片的鲁棒性明显提升而且实现成本极低。3. 把工程跑起来环境配置、目录结构与最小训练命令3.1 环境依赖清单Python、PyTorch、OpenCV 版本怎么搭运行这套系统的基础环境是 Python 3.8 到 3.10PyTorch 用 CPU 版本就够——MNIST 单张 28x28 推理在 CPU 上是毫秒级GUI 交互没有感知延迟。OpenCV 直接装 opencv-python 这个发行版不需要自己用 CMake GUI 去编译源码很多新手卡在安装opencv这一步其实就是被编译教程吓住了。GUI 层我习惯用 PyQt5界面专业且控件齐全Tkinter 零依赖但样子比较简陋毕设展示效果差一些。matplotlib 用来画评估曲线。有个新手必经的坑先放在这里pip install opencv-python 装出来的包import 语句是 import cv2不是 import opencv。报 ModuleNotFoundError: No module named opencv 的人十有八九是 import 写错了。推荐在干净的虚拟环境里按顺序装python -m venv .venv source .venv/bin/activate # Windows 下是 .venv\Scripts\activate pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu pip install opencv-python numpy matplotlib PyQt5torch 和 torchvision 单独用 CPU 索引安装是因为默认源可能拉到 CUDA 版本体积大且在没有显卡的机器上多出一堆用不到的依赖。torchvision 不是必须的但如果训练代码用了 datasets.MNIST 做数据加载这个包就省不掉。3.2 源码目录与模块划分训练、预测、GUI 谁负责什么解压之后第一件事是核对目录结构。这类毕设压缩包最常见的组织方式是这样的project/ ├── data/ # MNIST 数据集存放位置 ├── models/ # 训练好的权重文件如 lenet5_mnist.pth ├── src/ │ ├── model.py # 网络结构定义 │ ├── train.py # 训练与评估曲线绘制 │ ├── preprocess.py # OpenCV 预处理与切分 │ ├── predict.py # 推理与结果后处理 │ └── gui.py # PyQt5 图形界面 ├── eval/ # 评估曲线输出目录 └── README.md # 运行教程这个划分的合理性在于职责单一model.py 只定义网络train.py 只负责训练和出曲线preprocess.py 是纯 OpenCV 逻辑predict.py 把切分和模型推理串起来gui.py 只调前面的模块。答辩时老师问想换更好的网络怎么办你只需要动 model.py 和 train.py其余文件一行不用改。反过来如果某个 .py 文件又训模型又写界面又处理图像那就是模块没拆干净先重构再往下走。3.3 从零训练一个可用模型训练命令与参数说明拿到源码后第一步不是急着开 GUI先确认 models/ 里有没有可用的权重。如果有直接跳去跑 README 里的启动命令如果没有或者想自己从零训一个训练入口一般长这样python train.py --epochs 15 --batch-size 128 --lr 0.01 --momentum 0.9 \ --data-dir ./data --save-dir ./models --eval-dir ./eval参数含义epochs 15 在 MNIST 上足够收敛到 99% 附近batch-size 128 是显存占用和梯度起伏之间的折中lr 0.01 配合 momentum 0.9 是 SGD 在这类小数据集上的经典组合。data-dir 指定数据集位置第一次运行会自动下载 MNISTsave-dir 是权重输出目录eval-dir 是评估曲线图片的保存位置。数据加载这段代码是最容易出问题的建议直接抄这个标准写法from torch.utils.data import DataLoader from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) train_loader DataLoader(train_set, batch_size128, shuffleTrue)ToTensor 会把 0-255 的像素值缩放到 0-1Normalize 再用 MNIST 的全局均值和标准差做标准化这两个参数是公开的统计值不是随便拍的。训练时盯着两个输出每个 epoch 结束的验证准确率和损失。如果第 3 个 epoch 准确率还没超过 95%优先检查归一化有没有做这是新手最常见的低级错误。4. 连续多位识别完整链路预处理、切分与结果拼接4.1 预处理参数灰度、高斯模糊与 Otsu 二值化的取舍真实场景下拍到的或扫描的数字图片和 MNIST 的训练样本差距很大预处理的作用就是把这个差距拉小。第一步是灰度化输入如果是三通道彩色图直接 cvtColor 转灰度。第二步是高斯模糊核大小选 5x5 左右sigma 默认 0。模糊的目的是去除纸张纹理和摄像头噪声但核不能太大否则会把数字边缘抹平后续切分时笔画容易断裂。第三步是二值化推荐 Otsu 自适应阈值而不是固定阈值。固定阈值在光照稳定的合成图片上没问题但真实图片亮暗不均时同一个阈值在不同区域表现完全不同。Otsu 会根据当前图像的灰度直方图自动算最优阈值不需要人工调。注意要配合 THRESH_BINARY_INV因为手写笔迹是深色、背景是浅色反色之后数字变成白色前景方便找轮廓。import cv2 import numpy as np def preprocess(image_path): img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) # 高斯模糊去噪5x5 核在 28x28 目标下不会过度平滑 blurred cv2.GaussianBlur(img, (5, 5), 0) # Otsu 自适应阈值 反色数字变白、背景变黑 _, binary cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) # 开运算去掉孤立噪声点结构元素 3x3 kernel np.ones((3, 3), np.uint8) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) return binaryGaussianBlur 的第三个参数 sigmaX 传 0 表示由核大小自动计算这是最省心的做法。开运算是先腐蚀后膨胀能把单个像素级的噪点消掉但结构元素超过 3x3 就可能伤到数字的细小笔画比如1的顶端和7的折角这些位置笔画本来就很细。4.2 切分策略连通域 vs 垂直投影粘连数字怎么办切分是整个连续多位识别里最玄学的一步实际翻车大多发生在这里。最简单的切分是找连通域也就是 cv2.findContours 拿到每个数字的外轮廓再按 x 坐标排序。这个方法对书写干净、字间有空隙的图片效果很好但对粘连数字基本无解——两个数字笔画碰到一起时连通域会把它们当成一个整体。垂直投影法是另一种常见方案把二值图像按列求和得到每一列的前景像素数数字之间的空白列求和结果为 0于是可以按连续非零段来切分。这个方法对轻微粘连有一定抵抗力但如果两个数字在某一列上叠加投影依然分不开。我一般会先跑连通域然后对宽度异常的连通域比如宽度超过单字平均宽度的 1.5 倍做二次垂直投影尝试在粘连处找到最窄的位置再切开。def segment_by_projection(binary): # 按列求和前景为白色(255)除以 255 得到前景像素个数 col_sum binary.sum(axis0) // 255 segments [] in_segment False start 0 for i, v in enumerate(col_sum): if v 0 and not in_segment: start, in_segment i, True elif v 0 and in_segment: segments.append((start, i)) in_segment False if in_segment: segments.append((start, len(col_sum))) return segments这个函数返回的是每一段的列起止范围拿到之后从原二值图里裁出对应区域即可。如果投影切出来的某一段宽度仍然特别大说明当前图片质量太差建议直接提示用户重新拍照而不是硬切。硬切出来的碎片喂给 CNN识别结果一定是错的还很难排查。4.3 后处理与结果拼接排序、去重与置信度阈值切分完成后每个字符区域要缩放成 28x28 再送入 CNN。缩放的注意点是先按比例缩放到短边 20 像素再贴到 28x28 的黑色画布中央而不是直接 cv2.resize 硬拉到 28x28。后者会把数字压变形比如细长的1被拉宽后特征完全变了。贴画布的代码很常见def to_mnist_style(roi, size28): h, w roi.shape scale 20.0 / max(h, w) roi cv2.resize(roi, (int(w * scale), int(h * scale))) canvas np.zeros((size, size), dtypenp.uint8) # 居中粘贴保证数字不在画布角落 y_off (size - roi.shape[0]) // 2 x_off (size - roi.shape[1]) // 2 canvas[y_off:y_off roi.shape[0], x_off:x_off roi.shape[1]] roi return canvas推理时把处理好的 28x28 图像转成 1x1x28x28 的张量前向一次拿到 10 类概率。结果拼接的逻辑是按切分顺序从左到右依次取 argmax拼成字符串。但如果某一位的最大概率低于 0.6我会把这一位标记成?而不是硬给一个答案防止出现把 4 认成 9 还自信地显示出来的翻车现场。置信度阈值 0.6 是经验值调高更保守、调低更激进建议在 GUI 里做成可配置项。5. 避坑这套系统跑不通最常见的 5 个问题5.1 cv2.findContours 返回值报错OpenCV 主版本差异现象运行切分脚本时报 not enough values to unpack (expected 3, got 2) 或反过来报 expected 2, got 3。原因OpenCV 3.x 里 findContours 返回 3 个值image, contours, hierarchyOpenCV 4.x 返回 2 个值contours, hierarchy。很多毕设源码是按 OpenCV 3 写的新机器 pip 装的是 OpenCV 4版本一换就炸。解决统一改成 contours, _ cv2.findContours(...) 这种写法在 4.x 下直接能跑。如果项目依赖 3.x改成 _, contours, _ ...。最省事的是装环境时直接锁定 opencv-python 4.x然后按 4.x 的写法改一遍切分代码改动量很小。5.2 模型预测结果全是同一个数字预处理和训练不一致现象GUI 打开一张数字图识别结果全是7或者全是1而且每个数字的置信度都极高。原因训练时做了 Normalize((0.1307,), (0.3081,))但推理时直接把 0-255 的像素转成张量喂进模型或者反过来。CNN 对输入分布很敏感训练和推理分布不一致输出就会彻底乱套。解决把推理时的预处理写成和训练时完全一致包括归一化的均值和标准差。建议把 transform 定义放在一个公共模块里训练和推理都引用同一份而不是各写各的。排查时在 predict.py 里打印输入张量的均值和标准差和训练集的 0.1307/0.3081 对比一眼就能看出问题。5.3 GUI 点击按钮假死PyQt5 和 OpenCV 的线程问题现象点击识别按钮后窗口转圈几十秒程序看起来像死了实际上过一会儿才出结果。原因识别是 CPU 密集操作直接在 GUI 主线程里执行阻塞了事件循环。如果图片大或者切分复杂界面就假死。解决把识别逻辑放到 QThread 里执行主线程只负责更新界面。毕设级别的话写一个 worker 类继承 QThread把 preprocess 和 predict 塞进它的 run() 方法完成后通过信号把结果传回主线程。这是 PyQt5 的标准做法也是答辩时被问界面为什么不卡的加分回答。5.4 切分把数字拦腰截断形态学核与面积过滤没调好现象图片里单个数字被错误切分成多块识别结果多出几位比如58被识别成三个字符中间的8被拦腰切断。原因开运算的结构元素太大或者二值化阈值不合适导致数字内部出现断裂连通域算法把一根断掉的笔画当成独立字符。解决先检查开运算核是不是超过 3x3如果图片本身很干净可以跳过高斯模糊直接二值化。另外给切分加一个面积过滤单个字符的面积小于整张图面积的 1%直接丢弃。这个阈值按实际输入尺寸微调经验上能过滤掉大部分噪声和断裂碎片。5.5 评估曲线 99% 但实测一塌糊涂训练集和真实场景分布不同现象MNIST 验证集准确率 99.2%但拍一张手写数字进去识别全是错的。原因MNIST 是 28x28 居中裁剪的标准数字笔画清晰、位置规整。真实图片有背景噪声、倾斜、透视畸变分布完全不一样。模型没见过这种数据泛化自然崩。解决两个方向。第一数据增强做足随机旋转 ±15 度、随机缩放 0.8-1.2 倍、随机平移让模型见过更多长歪的数字。第二自己拍 50-100 张真实手写数字图标注后对模型做二次微调。答辩时我用真实数据微调之后准确率从 X 提到 Y这个对比反而是整个项目最有说服力的亮点。6. 把毕设做成能答辩的项目评估曲线、演示脚本与应急兜底到这一步系统已经能跑剩下的工作是把能跑变成能讲清楚、能扛住追问。我见过太多学生程序写得不错答辩一紧张就点错按钮、现场翻车所以我把演示环节拆成三层来准备。第一层是准备一个演示脚本不要现场从零操作。脚本里固定 3-5 张测试图一张标准的印刷体数字、一张手写的干净数字、一张带轻微粘连的连续数字、一张故意刁难的模糊图。每张图对应一份预期结果。演示时按顺序走先展示 GUI 识别结果再切到评估曲线页面讲训练过程。这一层能覆盖 80% 的答辩场景。第二层是准备好被追问的硬数据。评估曲线里除了损失曲线和准确率曲线建议再准备一张按类别的准确率柱状图回答哪个数字最容易认错这类问题。另外把测试集准确率、模型参数量、单张推理耗时三个数字记熟——参数量可以用 torchsummary 打印推理耗时在 CPU 上一般是几毫秒这些是答辩老师最常追问的点。第三层是应急兜底。如果现场识别结果错了不要慌张别试图强行解释。直接说这个样本的预处理切分失败了我把它的二值化结果展示给你看然后打开调试窗口给老师看问题出在切分还是识别环节。这个应对方式反而显得你对系统内部足够熟悉。我自己的习惯是演示之前先把测试图片的实际识别结果重新跑一遍确认模型文件路径、环境变量都没问题再进答辩室。这套系统从模型到 GUI 的链路不算复杂但每一环都有坑提前踩过、记下过排查过程答辩时心里才有底。希望帮到你。祝毕设顺利做出一个能扛住追问的连续多位手写数字识别系统。本文还有配套的精品资源点击获取