简介基于深度学习的模糊人脸图像增强系统本科毕业设计资料包面向计算机视觉、深度学习方向的高年级本科生及入门研究者针对模糊人脸图像去模糊问题提供从数据预处理、网络模型设计到训练验证与部署的完整方案。资源共二十个文件以脚本源码为主包括九个脚本文件和六个编译文件并附有模型结构示意图、测试图像、配置文件及说明文档压缩包仅三百六十二KB轻量便于快速上手。其中核心模块完成人脸图像的清晰化处理测试脚本支持运行验证目录结构清晰。从数据准备到模型评估均有代码与记录支撑便于二次开发。目前已有七十四人学习使用适合作为毕业设计参考或项目复现可帮助读者理解去模糊任务的工程实现、数据组织方式和训练流程。1. 模糊人脸图像增强系统本科毕业设计选这个题要提前盯住哪些点如果你正在准备深度学习方向的本科毕业设计又不想只做一个“调参跑通MNIST”式的项目那么模糊人脸图像增强这个题是性价比很高的选择它同时踩中图像超分辨率、去模糊、人脸识别三个热门技术点训练数据可以自己造效果好坏肉眼可见答辩时也容易讲清楚。但这道题真正难的地方不是“把网络跑起来”而是把任务定义清楚一幅低分辨率、运动模糊、带噪声的人脸如何恢复成五官可辨认、身份不漂移的清晰图像。很多学弟学妹做到一半发现PSNR涨了但人脸依旧“糊得像另一个人”就是因为一开始没把退化模型、评价指标和数据集设计当成一个整体来做。这篇笔记按我自己带毕设的经验把从选型到落地的完整路径拆开讲重点放在每一步的边界条件和可复现操作上。2. 先定任务边界人脸增强不是通用超分指标得分层看2.1 退化模型与任务定义先想清楚“模糊”是谁造成的很多人拿到题目第一反应是直接套超分网络其实人脸图像增强要解决的是一个复合退化问题。常见的成像退化可以用一句话表示高分清晰人脸 x 经过模糊核 k 卷积再下采样再加噪声得到低分模糊观察图 y。写成式子就是 y (x ⊗ k) ↓s n。这里面有四个未知量模糊核类型、下采样倍数 s、噪声标准差 n、以及 x 本身。网络要做的事就是从 y 反推 x但这道题天然是病态的——同一个 y 可能对应无数个 x所以必须给模型强加先验人脸五官的结构先验、图像纹理先验、或身份一致性先验。这个任务和通用超分最大的区别在于人脸有强结构约束。眼睛、鼻子、嘴角的位置关系几乎固定哪怕低分辨率到 32x32人眼也能隐约判断“这是不是一张脸”。所以增强网络能不能利用这种结构先验是比纯粹提升像素精度更关键的评价点。我一般会在开题报告里把问题拆成三级图像级增强纹理、边缘、语义级修复五官锐化、身份级保持增强前后是同一个人。毕设能做到前两级已经很扎实第三级通常作为验证手段而不一定进损失函数。2.2 毕业设计指标怎么选PSNR、SSIM、LPIPS和身份相似度的分工答辩时老师最爱问一个问题“你这个系统效果比别的方案好好在哪里”。如果只答“PSNR高了0.3dB”很容易被追问“人眼根本看不出区别”。我的建议是把指标分为三档分别对应不同层面的说服力。指标衡量内容适用阶段注意点PSNR像素级重建误差训练中监控对模糊不敏感容易虚高SSIM结构相似度模型对比比PSNR更接近人眼但对纹理细节仍钝感LPIPS感知距离论文主指标需要预训练网络数值越小越好人脸身份相似度增强前后是否为同一人最终验证用开源人脸识别模型提特征算余弦距离就我个人经验毕设论文里最稳的组合是主指标用 LPIPS SSIM辅助用 PSNR另加一张“真实模糊照片增强前后的人脸识别距离”表。合成测试集上 PSNR 高不算本事因为退化参数和训练时是同一分布模型可能只是记住了映射真实模糊照片上的身份相似度才是系统落地的证据。2.3 对比试验怎么做才不被答辩老师问倒对比实验是本科毕设最容易翻车的环节常见问题是不同模型用了不同的训练集、不同的退化参数甚至输入尺寸不一致然后直接比指标。这种对比赛道里最基础也最重要的原则是控制变量。我一般在实验设计上固定三样东西同一份训练/验证划分同一套退化参数脚本同一批测试图像。然后在这个前提下基线按四档来选传统插值Bicubic、简单CNNSRCNN或ESPCN、主流GANSRGAN/ ESRGAN风格、以及自己改进的网络。“深度学习对比试验怎么做”这件事实际操作上有两个容易被忽略的细节。第一所有对比模型必须用相同补丁尺寸和相同batch训练否则谈不公平第二测试时必须分合成数据和真实模糊数据两套有些模型合成数据指标高真实照片上直接崩。答辩时可以拿这两套结果的差距来讲“鲁棒性“这比堆一堆涨点更有说服力。3. 数据集与预处理先把“输入-输出对”制造明白3.1 选数据集的三条标准数量、人脸对齐、授权干净人脸增强训练需要成对的清晰/模糊图像公开数据集中没有直接现成的“清晰-模糊”对所以要自己合。数据集选择上我习惯按三条标准筛一是数量足够至少一万张以上的人脸图太少GAN会训练崩二是人脸尽量正脸或轻角度避免模型把侧脸也强行拉正三是授权干净尽量选学术用途明确的数据集。常见做法是用CelebA-HQ或FFHQ作为清晰HR来源再用退化脚本生成LR。如果机器配置一般可以先从CelebA抽 20000 张做训练验证集单独抽 1000 张保证训练集和验证集的人脸身份不重叠否则验证指标会虚高。这里要给一个容易被忽略的提醒很多人造数据时直接把整张 1024x1024 图缩到 256x256但人脸增强实际使用时输入往往是裁剪好的人脸框。所以我会在预处理阶段用OpenCV的人脸检测器先框出人脸再对齐到统一尺寸。对齐这一步能显著降低训练难度因为不用让网络额外学习人脸位置变化。3.2 造退化样本的代码模糊核、下采样、噪声一起上造退化样本的脚本是整个项目的地基我提供一个可以直接用的版本。它模拟的是“先光学模糊再传感器下采样再叠加噪声”的完整链路。# build_pairs.py import cv2 import numpy as np def degrade_image(img, kernel_size15, sigma2.0, scale4, noise_std5): # img: 0-255范围的BGR图像 # 1. 生成二维高斯模糊核并卷积模拟镜头失焦/运动模糊的近似效果 kernel_1d cv2.getGaussianKernel(kernel_size, sigma) kernel_2d np.outer(kernel_1d, kernel_1d) blurred cv2.filter2D(img, -1, kernel_2d) # 2. 下采样到低分辨率模拟传感器采样 h, w blurred.shape[:2] lr cv2.resize(blurred, (w // scale, h // scale), interpolationcv2.INTER_LINEAR) # 3. 加高斯噪声模拟暗光环境 noise np.random.normal(0, noise_std, lr.shape).astype(np.float32) lr np.clip(lr noise, 0, 255).astype(np.uint8) return lr这段代码里最值得调的是 sigma 和 scale。sigma 太小模糊几乎不可见训练出来的模型对真实模糊没泛化能力sigma 太大图像变成一团色块网络学不到有效纹理。我的推荐范围是 sigma 在 1.5 到 3.0 之间随机采样scale 固定在 4。噪声标准差 2 到 8 之间随机。这样每个epoch喂给网络的退化程度不完全一样相当于免费做了数据增强。3.3 训练集/验证集怎么切退化参数要不要全随机切分和退化参数策略直接影响最终指标的可靠性。训练集和验证集按 9:1 比例切且一定按人物身份切不要随机切图片否则同一个人出现在训练和验证里模型相当于开卷考试。退化参数上训练时用随机范围验证时用固定三档轻度模糊sigma1.5、中度sigma2.5、重度sigma3.5每档单独报告指标。这样答辩时能拿出“我的模型在重度模糊下比基线高多少”这种清晰结论。4. 用PyTorch搭一个轻量人脸增强网络从ESRGAN剪到能跑得动4.1 模型选型为什么不能直接搬ESRGAN剪到几层最合适ESRGAN是很多人做人脸超分的第一反应但直接搬完整RRDB结构在本科毕设里通常是灾难。原始ESRGAN的生成器有23个RRDB块每个块又包含密集连接参数量巨大一张1080Ti训起来要跑以周为单位的时间而且对训练技巧要求极高。更现实的做法是借鉴它的核心思想把网络剪到工程上可跑的程度同时保留残差密集连接和感知损失这两个最有效的部件。我建议的结构是浅层特征提取用一层3x3卷积中间用2到3个简化RRDB残差块上采样用PixelShuffle完成2倍放大共两次得到4倍最后再接一层3x3卷积输出。整体参数量控制在 5M 到 10M 之间一张 8G 显存的卡就能训练。别觉得结构简单就“不够深度学习”本科毕设的核心是完整走通流程而不是刷SOTA。能把训练、验证、对比实验、部署一条链路做扎实比盲目堆层数更让老师认可。4.2 生成器与判别器的最小可跑代码下面这段代码实现了可运行的生成器和判别器结构上做了一定简化但保留了四个关键组件RRDB块的密集连接、PixelShuffle上采样、PatchGAN判别器、以及与VGG感知损失对接的输出范围。# model.py import torch import torch.nn as nn class ResidualDenseBlock(nn.Module): 简化RRDB块3层卷积残差连接通道数64 def __init__(self, channels64): super().__init__() self.convs nn.ModuleList([ nn.Conv2d(channels, channels, 3, 1, 1) for _ in range(3) ]) self.lrelu nn.LeakyReLU(0.2, inplaceTrue) def forward(self, x): identity x out x for conv in self.convs: out self.lrelu(conv(out)) return identity out class Generator(nn.Module): def __init__(self, num_rrdb3): super().__init__() self.head nn.Conv2d(3, 64, 3, 1, 1) body [ResidualDenseBlock(64) for _ in range(num_rrdb)] self.body nn.Sequential(*body) # 两次2倍上采样共4倍 self.upsample nn.Sequential( nn.Conv2d(64, 64 * 4, 3, 1, 1), nn.PixelShuffle(2), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 64 * 4, 3, 1, 1), nn.PixelShuffle(2), nn.LeakyReLU(0.2, inplaceTrue), ) self.tail nn.Conv2d(64, 3, 3, 1, 1) def forward(self, x): # x: 低分辨率人脸图值域建议[0,1] out self.head(x) out self.body(out) out self.upsample(out) return torch.tanh(self.tail(out)) class Discriminator(nn.Module): PatchGAN判别器输出每个patch的真假概率 def __init__(self): super().__init__() self.net nn.Sequential( nn.Conv2d(3, 64, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 1, 3, 1, 1), ) def forward(self, x): return self.net(x)这里有两个参数需要注意。生成器输入输出都用 tanh 约束在 [-1, 1]所以训练时真实HR图要同步归一化到 [-1, 1]而不能用 [0, 1] 或 [0, 255] 混着来否则判别器会“看到”一个范围不一致的输入训练直接乱掉。num_rrdb 从 3 开始调显存不够就降到 2效果通常在 2 到 3 之间差距不大。4.3 损失函数权重与训练顺序先把L1练稳再开对抗很多人一上来就把GAN的对抗损失加上结果生成器loss疯狂震荡图像颜色一会儿紫一会儿绿。正确做法是分两个阶段第一阶段只训练生成器用 L1 损失加 VGG感知损失把网络先拉到一个“结构大致正确”的解第二阶段再加入判别器做对抗训练微调纹理细节。这样做的原因是L1 和感知损失提供强梯度能把人脸拉回正确流形对抗损失提供高频纹理梯度但单独存在时极易模式崩塌。损失权重我个人习惯设为L1 损失权重为 0.1感知损失权重为 1.0对抗损失权重为 0.01。感知损失用 torchvision 里预训练的 VGG19 的 relu5_1 或 relu4_2 输出做特征匹配。初始化学习率生成器和判别器都为 1e-4每 30 个epoch衰减 0.5。第一阶段跑 50 epoch第二阶段再跑 50 epoch总数控制在 100 epoch 内这是一张中端显卡能接受的训练周期。训练阶段损失组成学习率建议epoch阶段一L1 感知1e-450阶段二L1 感知 对抗1e-450训练循环里有一个经常踩的细节判别器更新频率要低于生成器或者每轮给判别器输入真实的HR时做随机水平翻转否则判别器很快把损失压到0生成器失去学习信号。我习惯上每训练生成器1次再训练判别器1次但判别器输入是“当前batch的HR原图生成图”不跨batch累计避免分布漂移。5. 避坑模糊人脸增强训练里最典型的5个坑5.1 深度学习环境配置装完环境先跑三行检查再训练现象代码在CPU上能跑一放到GPU上就报错或者显卡利用率只有10%。原因大部分是PyTorch、CUDA、cuDNN版本不匹配或安装的是CPU版。PyTorch 2.x 对显卡驱动版本要求更高很多人直接用默认源装装下来是CPU版却没察觉。解决用 conda 单独新建环境不要污染 base。安装后先运行python -c import torch; print(torch.__version__, torch.cuda.is_available())确认输出为 True再跑一个小矩阵乘法看GPU利用率。深度学习环境配置这块花十分钟验证比训练到一半才发现跑的是CPU省心得多。5.2 阶段一 Loss 不下降卡在同一个值附近震荡现象L1 loss从一开始就不动或者下降极慢几千步只掉了0.01。原因最常见的是学习率太大导致震荡其次是输入图像归一化不一致比如LR图是 [0,1] 而HR图是 [0,255]模型根本没法学。也有一种情况是数据加载出了问题比如所有退化样本的 sigma 全为0等于让模型做恒等映射。解决先打印一个batch里 LR 和 HR 的数值范围确认都在 [0,1] 或都映射到 [-1,1]再把学习率降到 3e-5 试跑500步最后随机抽9对数据用TensorBoard可视化看LR和HR是否真的对齐。这三步能排查掉绝大部分不收敛问题。5.3 生成图像颜色发灰或偏绿人脸像蒙了一层雾现象增强结果纹理清晰但整张图颜色不对肤色变绿变灰。原因几乎都是值域映射的问题。生成器输出经过 tanh 后范围是 [-1,1]如果显示端把它当 [0,255] 直接显示图像就一定发灰。另外如果训练数据用 BGR 读入、又没转 RGB 就送进 VGG感知损失会在错误色彩空间上计算导致颜色漂移。解决推理时统一用(output 1) * 127.5反向映射并用cv2.cvtColor(..., cv2.COLOR_BGR2RGB)保证送入VGG和显示的图像色彩空间一致。这里没有什么玄学纯粹是类型和范围不一致。5.4 PSNR 在涨人脸却越来越不像本人现象合成测试集上 PSNR 比基线高但把增强结果拿给人看都说“五官有点怪”“不像原图那个人”。原因PSNR是像素级指标网络只要把低频部分还原得够平滑PSNR就能涨但眼睛、嘴这些高频结构是否真实它管不了。感知损失虽然比PSNR好但它的特征空间不包含身份信息所以也无法约束增强前后是同一张脸。解决在验证阶段必须加身份相似度度量具体做法是提前用固定人脸识别模型提特征监控增强结果与原图的余弦距离。如果这个距离过大说明网络在“自创五官”。同时把 lpips 作为早停依据而不是PSNR因为LPIPS和主观观感更一致。5.5 显存不够一开判别器就 OOM现象阶段一能训开了GAN以后直接CUDA out of memory。原因判别器训练需要同时把HR原图和生成图一起在显存里求梯度峰值显存需求几乎是阶段一的两倍。解决把输入patch从 128 降到 96batch_size 从 8 降到 4或者用梯度累积每 4 步更新一次权重等效增大batch但不涨显存。还有一个更省显存的办法是训练时只对判别器输入用torch.no_grad()计算生成图但注意梯度要等生成器本身训练时才回传代码上要分离两块图的梯度流。6. 用开源人脸识别库做最终验证不打嘴仗拿数字说话6.1 计算增强前后的身份相似度合成测试集指标再高也抵不上一张真实模糊照片演示。我最后的验证脚本会调用开源人脸识别库对增强前后的照片分别提特征计算欧氏距离或余弦距离然后和人脸检测置信度一起输出。# validate_identity.py import face_recognition def check_identity(original_path, enhanced_path): # original: 一张真实可辨认的“目标人脸”; enhanced: 模型增强后的结果 img1 face_recognition.load_image_file(original_path) img2 face_recognition.load_image_file(enhanced_path) enc1 face_recognition.face_encodings(img1) enc2 face_recognition.face_encodings(img2) if not enc1 or not enc2: return None dist face_recognition.face_distance([enc1[0]], enc2[0])[0] return dist这个库底层是dlibWindows下编译可能报错Linux或WSL下面更省心。人脸距离越小越好通常小于 0.4 可以认为是同一个人0.4 到 0.6 属于可疑区间。我一般把 0.6 作为毕设演示的及格线低于 0.4 就说明增强结果没有把人脸“重构”成另一个人。6.2 单张验证不够做成一份自动测试报告最后一个技巧是把验证脚本串成批处理对测试目录里所有真实照片自动生成一张对比图和三组指标PSNR/SSIM如果有参考图/人脸距离。做一个跑批脚本每张图输出增强前后拼接图最后汇总一张Markdown表格。这样答辩现场打开终端跑一遍老师看到的不只是论文里精选的几张图而是整批可复现的结果。提示真实模糊照片往往没有人眼可接受的参照物这种情况下不要执着于PSNR用人脸检测框和身份相似度说话更可信。我个人现在的习惯是训练期间每 5 个epoch就抽真实照片跑一次人脸距离而不是等全部训练完再验证。因为合成数据上PSNR高但真实脸崩掉的模型通常在第20个epoch左右就能看出苗头早点发现就能早点回调损失权重。这条经验帮我省了很多重训的时间希望帮到你。本文还有配套的精品资源点击获取