手写汉字识别是图像识别里比较有代表性的任务它和手写数字识别最大的区别在于类别数量多、结构复杂、相似字形多。早些年做汉字识别大多依赖传统特征加分类器后来 CNN 普及之后模型直接从原始图像学习特征识别流程简单了很多。本文围绕一套基于 MATLAB 的 CNN 手写汉字识别系统展开从原理、数据准备、网络搭建、训练、评估到界面识别把完整流程拆开讲清楚。代码部分基于 Deep Learning Toolbox 编写结构上做了模块化处理方便你改成数字识别、字母识别或者其他图案分类任务也可以重新训练自己的数据集。1. 背景与核心概念1.1 手写汉字识别为什么比数字识别难手写数字识别 MNIST 是深度学习的“Hello World”但手写汉字识别远没有这么简单。主要原因有几点类别数量大。常用汉字几千个GB2312 一级汉字就有 3755 个二级汉字 3008 个哪怕只做一个演示系统类别数量也远大于 10 个数字。字形结构复杂。汉字由笔画、偏旁、部首组合而成同样的“木”字旁在不同汉字里位置和比例都有差异。书写风格差异大。不同人的笔顺、连笔、倾斜角度、笔画粗细都不一样模型需要具备较强的泛化能力。相似字多。“未”和“末”、“人”和“入”、“日”和“目”这类相近字形稍有不慎就会误判。传统方法通常先做笔画提取、结构分析再结合模板匹配或统计分类器流程长、泛化差。CNN 的核心思路是让网络自己从图像中学习“哪些局部特征重要”所以它天然适合这种视觉结构复杂的任务。1.2 CNN 在汉字识别中的工作原理CNN 是卷积神经网络的简称专门用来处理网格结构数据比如二维图像。它通过卷积核在图像上滑动提取局部特征再用池化层压缩特征尺寸最后通过全连接层完成分类。用一个通俗的类比来说卷积层相当于“局部观察员”每个卷积核负责看一种小模式比如横线、竖线、折角、圆弧等。池化层相当于“信息压缩器”把相邻区域的特征合并成一个值减少计算量也让模型对位置偏移更鲁棒。全连接层相当于“决策委员会”把前面提取到的所有特征综合起来输出每个类别的概率。在汉字识别任务中CNN 不需要人工设计笔画特征它自己会从训练数据中学习到类似“端点的形状”“横竖交叉的模式”“包围结构的轮廓”等抽象特征。层数越深提取的特征越抽象表达能力也越强。1.3 为什么选择 MATLAB 做 CNN 训练MATLAB 的 Deep Learning Toolbox 提供了比较完整的深度学习流程支持从数据导入、网络搭建、训练可视化到模型部署都有现成接口。相比 Python 的 PyTorch、TensorFlowMATLAB 的优势在于不需要手动处理很多底层张量操作API 设计更接近“搭积木”。trainNetwork会自动处理训练循环、梯度计算和进度显示对入门者友好。内置imageDatastore可以非常方便地管理按文件夹分类的图像数据。训练过程中会实时显示损失曲线和准确率曲线观察模型收敛情况很直观。classify一行代码就能完成模型推理快速验证效果。如果你的主要工作环境是 MATLAB或者你希望快速完成一个可视化演示系统那么用 MATLAB 做 CNN 手写汉字识别是一个性价比很高的选择。2. 环境准备与工程结构2.1 MATLAB 环境要求本文示例基于 Deep Learning Toolbox 编写所需环境如下MATLAB 版本建议 R2021a 及以上。不同版本对imageDatastore、trainingOptions的参数支持略有差异本文代码以常见用法演示。Deep Learning Toolbox。Image Processing Toolbox用于图像预处理和显示。如果使用 GPU 训练需要安装 Parallel Computing Toolbox并确保显卡驱动和 CUDA 版本与 MATLAB 匹配。如果不确定自己的版本是否支持可以在 MATLAB 命令行输入以下命令验证ver(deep)如果正确安装了 Deep Learning Toolbox会输出对应的版本号如果报错请在附加功能资源管理器中安装。2.2 项目文件结构建议按照下面的目录结构组织工程方便后续扩展和重新训练HanziCNN/ │ ├── data/ │ ├── train/ % 训练集每个子文件夹一种汉字 │ │ ├── 一/ │ │ ├── 二/ │ │ └── ... │ └── test/ % 测试集结构同训练集 │ ├── scripts/ │ ├── loadData.m % 数据加载与划分 │ ├── createNetwork.m % 创建 CNN 网络 │ ├── trainModel.m % 训练主脚本 │ ├── evaluateModel.m % 模型评估 │ └── predictImage.m % 单张图片识别 │ └── models/ % 保存训练好的模型 └── hanziNet.mat2.3 数据集准备说明手写汉字数据集可以使用公开学术数据集如 CASIA-HWDB 等也可以自行采集。自行采集时建议按以下方式整理每一类汉字建立一个文件夹文件夹名就是类别标签。图片格式统一为 png 或 jpg。图片尺寸不需要提前统一augmentedImageDatastore会在训练前自动缩放。每类样本尽量均衡避免某些类别样本过多导致模型偏向。图片背景尽量干净只需要保留手写笔画信息。如果只是做功能演示可以先取少量汉字类别跑通流程比如“一、二、三、十、人、大”等确认代码无误后再扩展到更多类别。3. CNN 网络结构设计3.1 输入层设计CNN 的输入层需要指定图像尺寸。对于汉字识别考虑到字形结构复杂度推荐输入尺寸为 64×64 或 128×128。尺寸太小会丢失笔画细节尺寸太大会增加训练时间。inputSize [64 64 1]; % 宽 64、高 64、单通道灰度图如果数据集中有彩色图片会在预处理时先转为灰度图所以输入通道数为 1。3.2 卷积层与激活层卷积层通过多个卷积核提取特征。设计网络时要注意卷积核大小常用 3×3它计算量小堆叠多层能获得更大感受野。卷积核数量从少到多常见做法是 32 → 64 → 128 逐层增加。卷积层后通常接 Batch Normalization 层和 ReLU 激活层这样训练更稳定收敛更快。layers [ imageInputLayer(inputSize, Name, input) convolution2dLayer(3, 32, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer(2, Stride, 2, Name, pool1) convolution2dLayer(3, 64, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer(2, Stride, 2, Name, pool2) convolution2dLayer(3, 128, Padding, same, Name, conv3) batchNormalizationLayer(Name, bn3) reluLayer(Name, relu3) maxPooling2dLayer(2, Stride, 2, Name, pool3) fullyConnectedLayer(numClasses, Name, fc) softmaxLayer(Name, softmax) classificationLayer(Name, output) ];3.3 池化层的作用池化层的作用有两个降低特征图尺寸减少参数量和计算量。增强平移不变性让模型对小范围的位置偏移不那么敏感。常用的最大池化窗口是 2×2步长为 2它会把每个 2×2 区域取最大值输出。无论笔画向左偏一点还是向右偏一点只要仍然落在相邻区域最大池化都能提取到相似的响应。3.4 全连接层与 Softmax最后一个卷积块输出的特征图会先被展平成一维向量然后送入全连接层。全连接层的输出节点数等于类别数。Softmax 层负责把全连接层的输出变成概率分布所有类别的概率之和为 1。在trainNetwork中classificationLayer会自动配合 softmax 计算交叉熵损失不需要手动实现损失函数。3.5 训练选项设置trainingOptions控制训练过程中的各项参数。常用的设置项如下options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MiniBatchSize, 32, ... MaxEpochs, 20, ... ValidationData, augimdsValidation, ... ValidationFrequency, 10, ... Shuffle, every-epoch, ... Plots, training-progress, ... Verbose, true, ... VerboseFrequency, 20);InitialLearnRate初始学习率0.001 是常见起点。学习率太大会震荡不收敛太小则收敛慢。MiniBatchSize每批样本数量需要根据显存或内存调整。MaxEpochs训练轮数数据集越小通常需要越多轮数。ValidationData验证集用于监控模型在未见数据上的表现。Plots设为training-progress可以弹出实时训练进度窗口。4. 完整实战案例本节从创建工程开始按步骤完成数据加载、网络创建、模型训练、模型评估和单张图片识别。4.1 创建项目结构在你常用的工作目录下创建文件夹HanziCNN并在其中创建data、scripts、models三个子文件夹。然后将整理好的训练图片和测试图片分别放入data/train和data/test。4.2 编写数据加载脚本新建脚本文件scripts/loadData.m内容如下function [imdsTrain, imdsValidation, imdsTest] loadData(dataDir) % dataDir 是包含 train 和 test 子文件夹的根目录 % 例如: dataDir fullfile(pwd, data); trainDir fullfile(dataDir, train); testDir fullfile(dataDir, test); % 读取训练集和测试集 imdsTrain imageDatastore(trainDir, ... IncludeSubfolders, true, ... LabelSource, foldernames); imdsTest imageDatastore(testDir, ... IncludeSubfolders, true, ... LabelSource, foldernames); % 从训练集中划分一部分作为验证集 % 这里按 8:2 划分可根据数据量调整 splitRatio 0.8; [imdsTrain, imdsValidation] splitEachLabel(imdsTrain, splitRatio, randomized); fprintf(训练集样本数: %d\n, numel(imdsTrain.Files)); fprintf(验证集样本数: %d\n, numel(imdsValidation.Files)); fprintf(测试集样本数: %d\n, numel(imdsTest.Files)); fprintf(类别数: %d\n, numel(unique(imdsTrain.Labels))); endimageDatastore会自动读取train目录下每个子文件夹中的图片并以子文件夹名作为标签。splitEachLabel会按比例随机划分训练集和验证集。4.3 编写网络创建函数新建脚本文件scripts/createNetwork.m内容如下function layers createNetwork(inputSize, numClasses) layers [ imageInputLayer(inputSize, Name, input) convolution2dLayer(3, 32, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer(2, Stride, 2, Name, pool1) convolution2dLayer(3, 64, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer(2, Stride, 2, Name, pool2) convolution2dLayer(3, 128, Padding, same, Name, conv3) batchNormalizationLayer(Name, bn3) reluLayer(Name, relu3) maxPooling2dLayer(2, Stride, 2, Name, pool3) fullyConnectedLayer(numClasses, Name, fc) softmaxLayer(Name, softmax) classificationLayer(Name, output) ]; end这个网络包含 3 个卷积块每个卷积块由“卷积 批归一化 ReLU 最大池化”组成。输入 64×64 图像时经过三次 2×2 池化后全连接层之前特征图尺寸变为 8×8参数量适中适配小数据集和中等规模数据集。4.4 编写图像预处理在训练和验证之前需要将图像统一缩放为网络输入尺寸。使用augmentedImageDatastore完成inputSize [64 64 1]; augimdsTrain augmentedImageDatastore(inputSize, imdsTrain, ... ColorPreprocessing, gray2rgb);如果数据集中是灰度图augmentedImageDatastore会自动处理。对于彩色图也可以直接指定输入尺寸让工具箱自动转换。4.5 编写模型训练脚本新建脚本文件scripts/trainModel.m内容如下%% 训练 CNN 手写汉字识别模型 clear; clc; close all; %% 1. 数据准备 dataDir fullfile(fileparts(pwd), data); [imdsTrain, imdsValidation, imdsTest] loadData(dataDir); %% 2. 网络参数 inputSize [64 64 1]; numClasses numel(unique(imdsTrain.Labels)); %% 3. 数据增强与预处理 augimdsTrain augmentedImageDatastore(inputSize, imdsTrain, ... DataAugmentation, imageDataAugmenter(... RandRotation, [-5 5], ... RandXTranslation, [-2 2], ... RandYTranslation, [-2 2])); augimdsValidation augmentedImageDatastore(inputSize, imdsValidation); %% 4. 创建网络 layers createNetwork(inputSize, numClasses); %% 5. 设置训练选项 options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MiniBatchSize, 16, ... MaxEpochs, 30, ... ValidationData, augimdsValidation, ... ValidationFrequency, 20, ... Shuffle, every-epoch, ... Plots, training-progress, ... Verbose, true, ... VerboseFrequency, 20); %% 6. 训练 net trainNetwork(augimdsTrain, layers, options); %% 7. 保存模型 modelDir fullfile(fileparts(pwd), models); if ~exist(modelDir, dir) mkdir(modelDir); end save(fullfile(modelDir, hanziNet.mat), net); %% 8. 保存测试集供评估使用 save(fullfile(modelDir, testData.mat), imdsTest); disp(训练完成模型已保存到 models/hanziNet.mat);需要说明的是RandRotation的范围不能太大。汉字方向是固定语义信息旋转角度过大反而会破坏字形可辨识性。这里使用 [-5, 5] 度的小角度旋转即可。4.6 编写模型评估脚本新建脚本文件scripts/evaluateModel.m内容如下%% 评估模型 clear; clc; close all; %% 1. 加载训练好的模型和测试集 modelDir fullfile(fileparts(pwd), models); loaded load(fullfile(modelDir, hanziNet.mat)); net loaded.net; loadedTest load(fullfile(modelDir, testData.mat)); imdsTest loadedTest.imdsTest; inputSize net.Layers(1).InputSize; augimdsTest augmentedImageDatastore(inputSize, imdsTest); %% 2. 预测 predLabels classify(net, augimdsTest); trueLabels imdsTest.Labels; %% 3. 计算整体准确率 accuracy mean(predLabels trueLabels); fprintf(测试集准确率: %.2f%%\n, accuracy * 100); %% 4. 显示混淆矩阵 figure; confusionchart(trueLabels, predLabels); title(CNN 手写汉字识别混淆矩阵);4.7 编写单张图片识别脚本新建脚本文件scripts/predictImage.m内容如下%% 单张图片识别 clear; clc; close all; %% 1. 加载模型 modelDir fullfile(fileparts(pwd), models); loaded load(fullfile(modelDir, hanziNet.mat)); net loaded.net; %% 2. 读取图片 imgPath fullfile(fileparts(pwd), data, test, 一, yi_001.png); if ~exist(imgPath, file) error(图片不存在请修改 imgPath 为实际路径); end img imread(imgPath); if size(img, 3) 3 img rgb2gray(img); end %% 3. 预处理缩放到网络输入尺寸 inputSize net.Layers(1).InputSize(1:2); imgResized imresize(img, inputSize); %% 4. 单张图片需要补一个 batch 维度 imgBatch repmat(imgResized, [1 1 1 1]); %% 5. 预测 predLabel classify(net, imgBatch); disp([预测结果: , char(predLabel)]); %% 6. 显示图片和结果 figure; imshow(img); title([预测结果: , char(predLabel)]);4.8 运行流程与预期输出在 MATLAB 中按以下顺序运行即可打开trainModel.m点击运行。等待训练完成训练进度窗口会显示损失曲线和准确率曲线。运行evaluateModel.m查看测试集准确率和混淆矩阵。修改predictImage.m中的图片路径运行单张识别。如果数据量较小训练过程可能在几十秒到几分钟内完成。训练时若显存不足可以调小MiniBatchSize或调小输入尺寸。5. 自定义类别与重新训练5.1 如何扩展到其他识别任务这套代码不只限于汉字识别。只要数据目录结构是“每个类别一个文件夹”同样可以用来做手写数字识别0~9。手写英文字母识别A~Z。简单图形分类圆形、三角形、正方形。印刷体字符识别。其他自定义图案分类。修改方式很简单替换data/train和data/test下的子文件夹为新的类别数据然后重新运行训练脚本即可。代码会根据文件夹自动读取类别数不需要改网络结构。如果类别数差异很大比如从 10 类扩展到 100 类建议适当增加卷积层的通道数比如把第二个卷积层从 64 改为 128第三个卷积层从 128 改为 256以提升模型容量。5.2 重新训练时需要注意的问题重新训练时如果你的数据集与原有的“34期源码”示例数据集完全不同建议注意以下几点删除旧的models/hanziNet.mat模型文件或者另存为新名称避免混淆。清洗新数据剔除模糊、残缺、标签错误的样本。类别名称建议使用有意义的标签例如digit_0、letter_A或汉字本身。每类样本数量尽量均衡每类至少 50 张以上否则模型容易过拟合。如果训练准确率高但验证准确率低说明过拟合可以增加数据增强、增加 dropout 或减小网络容量。5.3 数据增强方法数据增强可以在不增加真实样本的情况下扩充训练数据量提高模型泛化能力。MATLAB 的imageDataAugmenter支持多种增强方式augmenter imageDataAugmenter(... RandRotation, [-5 5], ... RandScale, [0.9 1.1], ... RandXTranslation, [-2 2], ... RandYTranslation, [-2 2]); augimdsTrain augmentedImageDatastore(inputSize, imdsTrain, ... DataAugmentation, augmenter);需要注意的是augmentedImageDatastore的增强发生在读取图片时不会改变磁盘上的原始图片因此每次训练读取到的增强图像可能略有不同。这有助于模型看到更多样化的输入。6. 常见问题与排查思路6.1 常见报错及解决方案问题现象常见原因解决思路imageDatastore读不到图片目录路径不正确或图片格式不受支持检查data目录层级确认图片格式为 png/jpg/bmp内存不足数据集太大或MiniBatchSize过大减小MiniBatchSize或使用imds的subset方法抽样GPU 显存不足网络输入尺寸过大或 batch 过大调小MiniBatchSize或改用 CPU 训练准确率很低数据量太少、标签错误、学习率不合适检查数据质量增大训练轮数调整学习率训练 loss 一直不下降学习率太小或数据未归一化调大初始学习率确认图片灰度范围正常预测结果全是一个类类别样本严重不均增加少数类样本或使用加权损失函数无法加载模型模型文件损坏或版本不兼容重新训练并覆盖模型文件6.2 训练进度观察训练时打开的 “training-progress” 窗口会显示两个最重要的曲线损失曲线训练损失应该整体下降如果震荡剧烈说明学习率偏大如果几乎不下降说明学习率偏小。准确率曲线训练准确率和验证准确率同时上升是最理想的情况。如果训练准确率很高、验证准确率低说明模型过拟合。如果发现验证准确率在某个阶段不再提升可以考虑提前停止训练或者使用OutputNetwork参数选择最佳模型。6.3 CPU 训练太慢怎么处理如果电脑没有可用的 NVIDIA GPU或 MATLAB 未正确配置 GPU训练会退回到 CPU。此时可以调小inputSize比如从 64×64 改为 48×48。调小卷积层通道数比如 32 → 16。减小MaxEpochs。减少训练图片数量先跑通流程验证无误后再用全量数据训练。7. 最佳实践与工程建议7.1 数据集管理建议数据集是整个识别系统的基础比网络结构更容易影响最终效果。实践中有几点值得注意数据采集时尽量覆盖不同书写风格不要只找一个人写。对采集到的图片做去噪和背景统一处理减少无关干扰。按类别固定好目录结构避免中途频繁改动导致标签错乱。保存一份原始数据集副本避免图像处理操作覆盖原始数据。训练前打印各类别样本数量确认没有极端不均衡。7.2 网络结构设计建议对于初学者不要一上来就尝试 ResNet、VGG 等大模型。先从简单的 3 层卷积网络开始跑通流程后再逐步调整先用较小的输入尺寸 32×32 或 48×48减少训练时间。通道数从 16 或 32 开始逐层翻倍。在工程验证阶段以“能跑通”为优先使用小数据集验证再扩展类别和样本量。如果模型过拟合优先增加数据增强而不是盲目增大网络。7.3 模型保存与版本管理训练好的模型建议按日期或准确率命名保存例如hanziNet_v1_acc98.mat hanziNet_v2_acc99.mat这样方便回溯模型效果。如果训练脚本有改动建议同步记录改动说明避免时间久了分不清哪个脚本对应哪个模型。7.4 识别系统的工程化扩展从演示脚本到实际系统还需要考虑以下几个方面批量识别写一个循环遍历文件夹下所有图片调用classify批量预测并保存结果为 CSV。GUI 封装使用 MATLAB App Designer 设计一个手写板界面用户绘制汉字后实时识别。模型更新当新增类别或收集到更多样本时可以在原模型基础上继续训练也可以从零重新训练。日志记录记录每次预测的图片路径、预测结果和置信度方便排查错例。下面是一个简单的批量识别示例function results batchPredict(net, imgFolder) imds imageDatastore(imgFolder, ... IncludeSubfolders, true, ... LabelSource, foldernames); inputSize net.Layers(1).InputSize; augimds augmentedImageDatastore(inputSize, imds); [predLabels, scores] classify(net, augimds); results table(imds.Files, string(predLabels), max(scores, [], 2), ... VariableNames, {FilePath, PredictedLabel, Confidence}); end7.5 性能优化与部署注意在资源受限环境下运行识别系统可以采取以下优化措施将输入尺寸降到 32×32 或 48×48推理速度大幅提升。使用dlarray和dlnetwork自定义预测循环减少不必要的预处理开销。如果需要部署到 Web 或嵌入式端MATLAB 支持通过 MATLAB Compiler 或 GPU Coder 生成独立应用和 C 代码。具体部署方式需要根据目标平台单独配置。8. 总结本文围绕 MATLAB 环境下的 CNN 手写汉字识别系统从原理、环境准备、数据组织、网络设计、训练评估到单张识别给出了完整的代码实现。这套代码的核心价值在于它不是一个写死的工具而是一个可扩展的模板替换data目录下的数据集就能重新训练新的模型。修改类别文件夹就能扩展到数字、字母或自定义图形识别。调整网络通道数和训练参数就能适配不同的数据规模和硬件条件。配合 GUI 或批量识别脚本就能从实验演示变成可用的工程工具。如果你手头正好有手写汉字或字符识别的需求建议先从一个小规模数据集开始跑通本文流程再根据实际准确率和速度需求逐步调整。训练过程多观察损失曲线和验证准确率识别效果不好时优先检查数据质量其次再调整网络结构。把基础流程掌握熟练后再去尝试更复杂的网络和部署方案都会顺畅很多。