简介这是一份基于ResNet完成人脸表情识别的Python课程期末大作业适合高校Python/深度学习课程学生、需要完整项目参考的开发者以及人脸识别方向入门者。项目整合了模型训练与表情分类流程包含源码、数据集与说明文档可快速复现七类表情识别任务并可用于课程答辩或作业展示。压缩包共103个文件涵盖19个py源码、HDF5权重模型、图片与标注XML、演示GIF/MP4、说明文档等约54.11MB结构清晰便于直接运行与二次修改。目前已有135人学习下载。包内还附带训练好的ResNet与Xception权重以及测试图片、特效素材和项目配置能够帮助使用者跳过环境配置和训练周期直接体验识别效果说明文档则辅助理解网络搭建与参数调整思路对完成期末报告和答辩也很有参考价值。1. 基于ResNet的人脸表情识别期末大作业怎么从“能跑”做到“能答辩”人脸表情识别是Python期末大作业里一个躲不开的经典选题但很多同学做着做着就卡在同一个地方——模型选了ResNet权重也下载了结果加载时报错或者识别结果完全对不上。这份基于ResNet的人脸表情识别项目源码核心是用预训练的ResNet配合Xception模型做七类表情分类自带训练好的hdf5权重文件、测试图片和GIF动图文件打包在一起直接可用评审分达到95分以上难度适中适合需要交Python课设、又不想在手写网络结构上花太多时间的同学。我拆完这份资源最大的感受是模型文件、测试样本和说明文档都备齐了真正要自己动手的地方是预处理和前后处理而你把这部分走通就能把迁移学习、权重加载、推理管线全部过一遍答辩时也有的讲。2. 项目拆包与双模型选型ResNet和Xception各自负责什么先看资源里到底有什么再决定怎么改。这是每份大作业源码最容易被忽略的一步——很多人解压后直接就跑训练脚本跑完也不知道该改写哪一行。我建议先把文件清单过一遍再谈模型选型。2.1 文件清单从hdf5权重到测试样例的角色文件类型角色说明resnet.hdf5模型权重ResNet主干模型推理时优先用它Xeception.hdf5模型权重Xception模型权重文件名少了字母c加载时别手打_mini_XCEPTION.102-0.66.hdf5模型权重mini Xception训练到第102轮的中间checkpoint验证精度0.66scan.gif / miaomiao.gif测试动图GIF格式测试输入用于验证逐帧推理happy1.jpeg / surprised2.jpeg测试图片静态笑容、惊讶样本单帧推理用justgogif.jpeg / bkg2.jpg辅助图片背景和扩展测试样本EmotionRecognition.imlIDEA模块文件JetBrains系IDE工程配置用PyCharm打开时自动识别项目结构每个hdf5对应一条训练路径。resnet.hdf5是主推模型带mini字样的权重文件我劝你不要当成稳定输出——0.66的验证精度说明它只是训练中间产物我在第4章会专门说这类checkpoint的坑。2.2 为什么同时放ResNet和Xception两个模型有人会质疑期末大作业放两个模型是不是多余恰恰相反这是答辩时最值得展开讲的点。ResNet的残差结构解决的是深层网络退化问题。表情识别这个任务的特征层次跨度很大浅层卷积提边缘和纹理中层提眼睛、嘴巴的形状深层提“皱眉”“嘴角上扬”这类全局表情语义。如果没有残差连接网络到十几层之后精度就开始下降所以用ResNet做主干是稳的选择。Xception则是把普通卷积拆成深度可分离卷积把通道相关性和空间相关性分开建模参数量更小但对局部肌肉纹理更敏感——比如眼角细纹这种细微变化恰恰是表情分类里的关键线索。在落地时两者是互补关系。我一般会分别加载两个模型对同一张人脸ROI各做一次预测再把softmax输出做加权平均或者投票。单模型在happy和surprise这种容易混淆的类别上翻车概率不低双模型融合之后稳定性会明显好一截。2.3 hdf5权重的加载方式与验证手段hdf5文件在Keras里固定用load_model读取不要用load_weights。前者把网络结构和权重一起读进来后者只读权重还需要手动重建网络结构——期末阶段一旦结构对不上报错会非常难排查。from tensorflow.keras.models import load_model # 加载完整模型结构 权重一句话搞定 model load_model(resnet.hdf5, compileFalse) model.summary()compileFalse这个参数值得多说一句。大作业只要把分类结果跑出来编译优化器不是必需项。而且有些hdf5是在旧版Keras下保存的带着compile加载会在恢复优化器状态时报莫名其妙的错关掉反而更稳。加载完我习惯再跑一段校验脚本确认模型的输入shape和输出维度避免后面预处理方向搞错import numpy as np # 打印输入输出维度确认图像尺寸和通道数 print(input shape:, model.input_shape) print(output shape:, model.output_shape) # 造一张假数据试跑一次能过就说明模型文件没问题 fake_input np.random.randn(1, 48, 48, 1).astype(float32) out model.predict(fake_input, verbose0) print(predict output dim:, out.shape) # 正常应该是 (1, 7)output shape的第二个数字就是表情类别数。定义为七类表情时最后一层输出一定是7。如果看到的是5或者8先别急着改代码回头确认一下你加载的到底是哪个模型文件——项目里三个hdf5对应的网络结构并不完全一致。3. 把一张图片跑成七分类结果预处理与推理全链路大作业交之前至少要跑通一条完整链路人脸检测 → 灰度化 → 缩放 → 归一化 → 模型推理 → 标签映射。这里的每个环节都有参数讲究改一个就可能让精度掉好几个点。3.1 环境依赖与版本选择项目是按TensorFlow Keras这套栈写的OpenCV负责人脸检测和图像读取Pillow负责动图拆帧。我的建议版本组合是Python 3.8或3.10配TensorFlow 2.10别直接用Python 3.12——太新的Python版本在装TensorFlow时经常遇到wheel不兼容的问题。pip install tensorflow2.10 opencv-python numpy pillow装完可以快速验证一下CUDA和GPU是否可用没有GPU也无所谓这种规模的推理CPU完全带得动。3.2 静态图片推理从人脸检测到标签映射import cv2 import numpy as np from tensorflow.keras.models import load_model EMOTIONS [angry, disgust, fear, happy, sad, surprise, neutral] def predict_face_emotion(img_path, model_pathresnet.hdf5, modelNone): if model is None: model load_model(model_path, compileFalse) # 读取图片转为灰度图 img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 用OpenCV的Haar级联检测人脸 cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml) faces cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(48, 48)) if len(faces) 0: return None, no face detected # 取第一张人脸裁剪出ROI区域 x, y, w, h faces[0] roi gray[y:yh, x:xw] # 缩放到模型输入尺寸并归一化到[0, 1] roi cv2.resize(roi, (48, 48)) roi roi.astype(float32) / 255.0 roi np.expand_dims(roi, axis0) # 加上batch维度 roi np.expand_dims(roi, axis-1) # 加上通道维度 # 模型推理取最大概率对应的表情标签 pred model.predict(roi, verbose0)[0] label_idx int(np.argmax(pred)) confidence float(pred[label_idx]) return EMOTIONS[label_idx], confidence这里有几个参数值得注意。scaleFactor1.1表示每次缩放步长值越小检测越精细、速度越慢minNeighbors5控制一个区域被误检为人脸需要多少相邻窗口确认调大会漏检、调小会误检minSize(48, 48)直接过滤掉小于48像素的人脸区域既提速又省得把远处的杂物当成人脸。数据归一化到0到1之间是配合预训练模型的输入分布。expand_dims两次是把灰度图从(48, 48)变成模型要的(1, 48, 48, 1)少一个都不行——模型predict的时候对张量维度的要求非常死板。调用时如果加载的模型输入不是48×48比如某个Xception权重需要64×64就把resize的地方改成对应尺寸再用model.input_shape确认一遍。3.3 GIF动图的逐帧处理逻辑GIF本质上是多帧图片序列表情识别要做的就是对每一帧重复执行静态图的推理流程。但要注意OpenCV的imread不能直接读GIF需要借助Pillow先拆分帧再转成OpenCV能处理的BGR格式。from PIL import Image, ImageSequence def predict_gif(gif_path, model, max_frames10): img Image.open(gif_path) results [] for i, frame in enumerate(ImageSequence.Iterator(img)): if i max_frames: break # PIL读出来是RGBOpenCV推理前要转回BGR frame_rgb frame.convert(RGB) frame_bgr cv2.cvtColor(np.array(frame_rgb), cv2.COLOR_RGB2BGR) tmp_path fframe_{i:03d}.jpg cv2.imwrite(tmp_path, frame_bgr) label, conf predict_face_emotion(tmp_path, modelmodel) results.append((i, label, conf)) print(fframe {i}: {label}, {conf:.2f}) return resultsmax_frames10是防止动图帧数太多导致推理时间失控。如果图里人脸动作幅度不大更聪明的方式是均匀抽帧——比如每5帧取1帧效果差不多但速度快一截。3.4 批量测试与结果统计期末答辩需要数据支撑至少跑一组准确率统计。常见做法是把测试图片按表情类别分文件夹放好循环推理后算混淆矩阵。import os import csv def batch_evaluate(test_dir, model_pathresnet.hdf5): model load_model(model_path, compileFalse) rows [] for label_name in os.listdir(test_dir): label_dir os.path.join(test_dir, label_name) if not os.path.isdir(label_dir): continue for fname in os.listdir(label_dir): fpath os.path.join(label_dir, fname) if not fname.lower().endswith((.jpg, .jpeg, .png)): continue pred_label, conf predict_face_emotion(fpath, modelmodel) rows.append({ image: fname, true: label_name, pred: pred_label, confidence: round(conf, 4), correct: pred_label label_name }) with open(eval_result.csv, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnamesrows[0].keys()) writer.writeheader() writer.writerows(rows) accuracy sum(r[correct] for r in rows) / len(rows) print(ftotal: {len(rows)}, accuracy: {accuracy:.4f}) return rows输出用utf-8-sig编码是因为Excel直接打开UTF-8的CSV会乱码这是个小细节但答辩时演示给老师看观感差别挺大。4. 避坑指南hdf5、尺寸和checkpoint的那点事这份资源本身能跑但拿到手不一定会跑得很顺。下面的坑是我实际复现时会踩到的每一条都按现象、原因、解决的顺序拆开讲。4.1 hdf5文件加载就报错模型结构恢复失败现象load_model(resnet.hdf5)直接抛ValueError: Unable to synchronously read attribute或者Unknown layer之类的错误。原因hdf5文件是旧版Keras保存的层配置的序列化格式和当前TensorFlow版本不兼容。TensorFlow 2.x早期版本和2.10之间tf.keras的层反序列化逻辑有差异这是最经典的版本坑。解决先试试load_model(path, compileFalse)能解决很大一部分问题不行就按项目生成时的环境装回TensorFlow 2.4到2.6区间还不行就用tf.keras.models.load_model替换keras.models.load_model。三者按顺序排查基本跑不掉。4.2 predict时报shape不匹配差一个维度都不行现象found shape(None, 48, 48, 3)但模型期望(None, 48, 48, 1)或者反过来。原因模型是在灰度图上训练的输入通道数是1你用cv2.imread直接读进来是BGR三通道通道数是3。另一个常见原因是忘了加batch维度。解决统一走灰度链路——cv2.cvtColor转灰度再np.expand_dims加通道维。我每次写完预处理都会打印一次roi.shape确认它是(1, 48, 48, 1)再丢给模型这个习惯帮我省了无数次定位时间。4.3 mini_XCEPTION.102-0.66.hdf5当主模型用识别结果全错现象拿_mini_XCEPTION.102-0.66.hdf5跑测试图输出的表情标签几乎全是同一个置信度还很高。原因文件名里的102指的是第102个epoch0.66是当时的验证集精度。这就是一个训练中间checkpoint不是收敛后的最终权重。验证精度0.66说明模型还没学好直接当主模型用当然翻车。解决主推理统一用resnet.hdf5mini版本只作为对比实验出现。答辩时如果想展示“轻量模型的精度差距”把它当成反面案例反而显得你懂训练流程。4.4 中文路径下图片读不出来cv2.imread静默返回None现象图片路径里带中文目录名cv2.imread不报错但返回的img是None后面cv2.cvtColor直接崩溃。原因OpenCV的imread在Windows上对非ASCII路径支持一直不稳定这是OpenCV的老问题。解决要么把所有路径改成英文要么用cv2.imdecode替代def imread_unicode(path): data np.fromfile(path, dtypenp.uint8) return cv2.imdecode(data, cv2.IMREAD_COLOR)imdecode读的是已经转换成numpy数组的字节流绕开了文件名编码问题。期末拷贝项目时顺手把目录名全改成英文能省掉一堆麻烦。4.5 GIF推理卡顿跑一帧要等好几秒现象没有GPU动图几十帧推理一次要等半分钟以上现场演示时气氛很尴尬。原因逐帧全量推理每帧都走完整的人脸检测加模型预测CPU上的计算量不小。解决先缩小检测区域——既然动图里人脸位置基本不变第一帧检测出人脸坐标后后续帧直接裁剪同一个ROI省掉反复检测再把max_frames调小或者间隔抽帧。5. 进阶技巧把双模型做加权投票再输出到屏幕如果时间允许把这个加进去答辩效果会很不一样。常见做法是同时加载resnet.hdf5和Xeception.hdf5对同一张ROI分别预测再把两个softmax向量做加权平均。两个模型的特征侧重点不同融合出来会比单一模型稳在surprise和happy这类容易混淆的类别上尤其明显。def ensemble_predict(roi, models, weightsNone): if weights is None: weights [1.0] * len(models) preds [] for m in models: preds.append(m.predict(roi, verbose0)[0]) # 按权重做加权平均最终标签取概率最大的类别 avg np.average(np.array(preds), axis0, weightsweights) label_idx int(np.argmax(avg)) return label_idx, float(avg[label_idx])权重列表和模型列表要一一对应。默认两个模型各占一半权重实际使用时如果发现某个模型在某类表情上明显更准可以把它的权重调高到0.6、0.7。这个超参数不需要理论推导直接拿测试集试几组看准确率曲线挑一个就好。再往前走一步给推理结果做实时可视化用OpenCV在人脸框上方画出表情标签和置信度用cv2.putText加cv2.rectangle就能实现效果很直观。如果项目里敢写摄像头实时推理那就需要把上面的静态图流程改成摄像头逐帧处理——打开摄像头、每一帧做人脸检测和推理、显示结果逻辑完全一样只是把输入源从图片文件换成了cv2.VideoCapture(0)。这套改法的好处是工作量不大但能在答辩现场直接演示比干讲PPT有说服力得多。可视化代码二十几行就能写完。写代码时记得把每帧推理的时间也打到屏幕上帧率数据是性能优化的直接证据。我以前做课设时最常犯的毛病是拿到资源就急着跑模型加载失败就反复重装环境白白耗掉两三天。后来养成一个习惯拿到任何模型文件第一件事永远是加载后打印summary和input_shape确认文件和自己的环境匹配再开始写业务逻辑。这份资源的核心优势是模型权重、测试样本和文档都已经配好你要做的不是怀疑它能不能跑而是把预处理和推理管线这块真正吃透。希望帮到你。本文还有配套的精品资源点击获取