简介这是一份基于ResNet的人脸表情识别Python期末大作业资源包面向Python与深度学习初学者以及需要完成课程设计或毕业设计的人群。资源涵盖完整可运行的源码、配套数据集与说明文档可帮助理解卷积神经网络在图像分类任务中的实际应用流程。压缩包共103个文件约54.11MB包含19个Python脚本、3个HDF5模型权重文件、多张PNG/JPG/JPEG表情样本图片、XML配置文件、Markdown说明文档及GIF演示图等类型覆盖代码、模型、数据与文档结构清晰。项目源码经本地编译调试评审分达95以上难度适中适合直接作为期末大作业参考或在此基础上扩展改进。目前已有135人学习下载说明该资源具备一定的参考价值。下载后可按说明文档快速复现人脸表情识别流程并利用提供的测试图片验证模型效果。1. 基于 ResNet 的人脸表情识别一个能直接交的大作业方案期末周最折磨人的不是没写代码而是写了一堆代码却跑不出结果。基于 ResNet 的人脸表情识别是很多院校 python 期末大作业的保留题目题目看着不难真正动手才发现三个坎训练数据去哪找、ResNet 网络怎么搭、表情预测结果为什么总像玄学。这份资源把这三样一次配齐了——源码、数据集、说明文档外加几个训练好的 hdf5 权重文件评审分能到 95 以上难度适中。适合第一次做深度学习课程设计的本科生也适合想快速在本地跑通一个表情识别 demo 的开发者。我拆过不少同类项目这篇文章直接把文件构成、运行环境和踩坑点说清楚。2. 拆开压缩包hdf5 权重、GIF 测试图与模型结构的对应关系2.1 文件清单里的每个文件是干什么的解压后的目录相当直白一眼能看到resnet.hdf5、Xeception.hdf5、_mini_XCEPTION.102-0.66.hdf5三个权重文件还有happy1.jpeg、surprised2.jpeg、scan.gif、miaomiao.gif这类测试图以及bkg2.jpg这种明显是界面背景的素材图。源码和说明文档放在压缩包的目录层里EmotionRecognition.iml是 JetBrains 系 IDE 生成的模块描述文件说明作者当初在 PyCharm 或者 IDEA 里建过工程对运行没有任何影响。第一次接手这种资源我建议一定先完整解压再动手不要在压缩包预览模式里直接跑脚本。压缩包预览模式下文件路径是临时的中文目录名、特殊符号路径都会让相对路径失效接着就是一连串莫名其妙的FileNotFoundError最后排查半天发现是路径问题血亏时间。先解压到一个纯英文路径下这是所有后续操作的前提。2.2 ResNet、Xception、mini-Xception 三个权重怎么分工resnet.hdf5是主模型权重对应标题里的 ResNet 主线。表情识别是典型的细粒度分类问题——生气和厌恶在面部肌肉纹理上的差异极小普通浅层网络很难把这些细微区别学出来。ResNet 的核心是残差块通过恒等映射让梯度在深层网络里顺利回传层数深了也不容易退化训练曲线比 VGG 稳定很多这也是它成为这类任务首选的原因。Xeception.hdf5是 Xception 的权重注意文件名少了个字母实际模型是 Xception。Xception 用深度可分离卷积把空间卷积和通道卷积拆开参数量比同深度的 ResNet 更省在表情这类局部纹理明显的任务上表现不差。_mini_XCEPTION.102-0.66.hdf5是 mini-Xception 的轻量权重文件名里的 0.66 是它在验证集上的准确率这个模型参数极少、推理极快常被拿来当表情识别的 baseline也适合部署到摄像头上做实时识别。三个权重的定位可以这样理解权重文件模型特点适合场景resnet.hdf5ResNet结构深、特征强课程设计主模型、写报告主体Xeception.hdf5Xception参数更省、精度均衡与 ResNet 做对比实验_mini_XCEPTION.102-0.66.hdf5mini-Xception轻量、速度快摄像头实时推理、demo对于交作业来说ResNet 主线已经足够撑起报告的技术深度Xception 和 mini-Xception 可以作为对比实验出现这个项目里三者齐备写报告时连“模型对比”这一节都有现成素材。2.3 hdf5 到底是权重还是整个模型很多新手拿到.hdf5文件习惯用load_weights去套一个自己搭的模型结果报错报得一头雾水。这里要分清.hdf5可能保存了两样东西一种是通过model.save()保存的完整模型结构 权重 优化器状态另一种是只通过model.save_weights()保存的纯权重。前者用load_model一行就能恢复后者必须先有结构再load_weights。直接对这份资源里的resnet.hdf5用load_model是最稳的它会连带模型结构一起恢复不需要你自己去猜 ResNet 的层结构。如果加载时报Unknown layer之类的错说明权重里带了一些自定义层这时可以在load_model里传custom_objects或者退一步用model.load_weights只加载权重。到底走哪条路取决于报错信息别一上来就盲试。2.4 输出层与表情类别的顺序问题模型输出层对应的表情类别一般是 7 类anger, disgust, fear, happy, sad, surprise, neutral这是 FER2013 数据集的约定分类。但不同作者保存类别索引时顺序可能不一致有的把 neutral 放最后有的把 happy 放最后。如果你按自己想的顺序去解读预测结果会发现所有预测都对应不上真实表情这就是典型的“模型没坏是你类表顺序对不上”。拿到权重的第一步先打印model.summary()看输出维度。如果是 7 维大概率是上面那套标准列表如果输出层是 5 维或者 2 维说明作者做了类别合并比如只保留 happy、sad、neutral或者按正负情绪二分类。这时候你再按 7 类做 one-hot 就会翻车。我每次拿到陌生权重第一件事永远是先确认输出维度再谈后面的事。3. 环境与数据准备Python 版本、TensorFlow 与 FER2013 的预处理3.1 Python 和 TensorFlow 版本怎么配最省事.hdf5权重文件对 TensorFlow 和 Keras 的版本非常敏感。TF1.x 时代保存的权重拿到 TF2.15 上加载经常会报Unknown layer或者unable to synchronously read这不是文件坏了是版本兼容问题。我一般建议先建一个干净虚拟环境Python 选 3.8 到 3.10 区间配 TensorFlow 2.10 Keras 2.10这个组合对旧 hdf5 的兼容性是最好的下面的命令可以直接粘贴python -m venv venv source venv/bin/activate # Windows 下用 venv\Scripts\activate pip install tensorflow2.10.0 keras2.10.0 numpy opencv-python pillow h5py这里把h5py一起装上是有原因的hdf5 文件的读取依赖 h5py 这个底层库版本不对会直接报ImportError或者文件打开失败。装完后先验证一下环境python -c import tensorflow as tf; print(tf.__version__)能正常输出版本号说明基础环境没问题。要是这一步就报错先看是不是 Python 版本太高TF2.10 不支持 Python 3.11 以上的版本这是新手最常见的环境翻车点。不建议一上来就装最新的 TensorFlow 2.15 或 2.16新版本对旧权重格式的兼容性反而更差。课程设计图的是稳定复现不是尝鲜新特性把版本锁死在一套组合里能省下大量调试时间。3.2 FER2013 数据集下载与切分表情识别用得最多的公开数据集是 FER2013单 CSV 文件48x48 灰度图标签列加像素列一共 35887 张样本标准划分是训练集 28709 张、验证集 3589 张、测试集 3589 张。这个数据集在 Kaggle 上有原始页面下载下来是一个fer2013.csv用 pandas 读进来之后按 Usage 列切分就行。import pandas as pd import numpy as np df pd.read_csv(fer2013.csv) pixels df[pixels].values labels df[emotion].values # pixels 列是空格分隔的字符串转成 (数量, 48, 48) 的灰度矩阵 X np.array([np.fromstring(p, dtypeint, sep ) for p in pixels]) X X.reshape(-1, 48, 48, 1).astype(float32) / 255.0 # Usage 列区分 train / val / test train_idx df[df[Usage] Training].index val_idx df[df[Usage] PublicTest].index test_idx df[df[Usage] PrivateTest].index X_train, y_train X[train_idx], labels[train_idx] X_val, y_val X[val_idx], labels[val_idx] X_test, y_test X[test_idx], labels[test_idx]这段代码里np.fromstring(p, dtypeint, sep )是把像素字符串拆成整数数组/ 255.0把像素归一化到 0 到 1 区间。表情识别这类任务对归一化非常敏感如果训练用归一化后的数据、推理却用原始像素值预测置信度会全部飘到 0.5 附近看起来像模型没训练过。3.3 测试图与 GIF 的预处理别让输入尺寸坑了你压缩包里的happy1.jpeg、surprised2.jpeg是单帧图片scan.gif、miaomiao.gif是动图。模型训练时输入是 48x48 灰度图推理时也要走完全一致的流程否则前面训练得再好预测结果还是凭运气。单帧图片的处理是这样的from PIL import Image def preprocess_image(path, target_size(48, 48)): img Image.open(path) img img.convert(L) # 转灰度 img img.resize(target_size) # 统一尺寸 arr np.array(img).astype(float32) / 255.0 arr arr.reshape(1, 48, 48, 1) # 加 batch 维度 return arrconvert(L)是转灰度这一步不能省因为模型输入通道数就是 1直接喂 RGB 三通道会报维度错误。reshape(1, 48, 48, 1)里的第一个 1 是 batch 维度Keras 的 predict 要求输入带上 batch 维。GIF 动图稍微麻烦一点PIL 打开后默认只读第一帧但有些 GIF 带透明通道直接转灰度会报错。稳妥做法是先转成 RGB 再转灰度避免 alpha 通道干扰。img Image.open(miaomiao.gif) img.seek(0) # 取第一帧 img img.convert(RGB).convert(L) # 先去通道再转灰度我见过不少人在处理 GIF 时翻车报错信息是cannot identify image file其实不是文件坏而是 PIL 没按预期读帧。记住先seek(0)取帧再统一走灰度、缩放、归一化这条管线测试图的问题就解决了。4. 训练与推理实战把 ResNet 跑通的完整代码路径4.1 两种训练方式从零训练和加载预训练拿到这份资源后你可以选择自己重新训练一个 ResNet也可以直接在已有权重基础上微调。对于课程设计来说我建议先从加载预训练权重入手把流程跑通再考虑要不要从零训练。从零训练 ResNet 在 CPU 上可能要跑几个小时而加载现成的resnet.hdf5做几轮微调十分钟就能看到效果。训练入口的代码结构大概是这样的用 Keras 的函数式 API 搭一个简化 ResNet 块然后编译训练from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Conv2D, BatchNormalization, Activation, Add, GlobalAveragePooling2D, Dense def res_block(x, filters, strides1): shortcut x x Conv2D(filters, (3, 3), stridesstrides, paddingsame)(x) x BatchNormalization()(x) x Activation(relu)(x) x Conv2D(filters, (3, 3), paddingsame)(x) x BatchNormalization()(x) if strides ! 1 or shortcut.shape[-1] ! filters: shortcut Conv2D(filters, (1, 1), stridesstrides)(shortcut) x Add()([x, shortcut]) x Activation(relu)(x) return x inputs Input(shape(48, 48, 1)) x Conv2D(32, (3, 3), paddingsame)(inputs) x BatchNormalization()(x) x Activation(relu)(x) x res_block(x, 32) x res_block(x, 64, strides2) x GlobalAveragePooling2D()(x) outputs Dense(7, activationsoftmax)(x) model Model(inputs, outputs)这里shortcut是残差连接的恒等映射分支当卷积步长改变或者通道数变化时用 1x1 卷积把 shortcut 的维度对齐这是残差块里最容易写错的地方。GlobalAveragePooling2D把特征图压成一个向量替代 Flatten能显著减少参数量是 ResNet 系列的标准做法。编译和训练用 Keras 的标准流程配上三个常用回调from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping, ReduceLROnPlateau model.compile(optimizerAdam(learning_rate0.001), losscategorical_crossentropy, metrics[accuracy]) callbacks [ ModelCheckpoint(best_model.h5, save_best_onlyTrue), EarlyStopping(patience10, restore_best_weightsTrue), ReduceLROnPlateau(factor0.5, patience3, min_lr1e-6) ] history model.fit(X_train, y_train, validation_data(X_val, y_val), batch_size64, epochs30, callbackscallbacks)ModelCheckpoint会在验证集准确率提升时自动保存最好的一版权重EarlyStopping在连续 10 轮没有提升时自动停掉避免浪费时间ReduceLROnPlateau在验证损失不降时自动把学习率减半。这三个回调组合起来基本不用人盯着训练过程。4.2 加载 resnet.hdf5 做单张图片预测训练或者拿到现成权重之后预测是最有成就感的环节。加载resnet.hdf5并预测单张图片的完整流程如下from tensorflow.keras.models import load_model model load_model(resnet.hdf5, compileFalse) emotions [anger, disgust, fear, happy, sad, surprise, neutral] x preprocess_image(happy1.jpeg) # 复用上面的预处理函数 pred model.predict(x, verbose0) idx int(pred.argmax(axis1)[0]) confidence float(pred[0][idx]) print(f预测结果: {emotions[idx]}置信度: {confidence:.2f})compileFalse这个参数很多人不知道它的作用是只加载网络结构和权重不加载优化器状态。加载一个只用来推理的模型完全不需要优化器还能避免版本不同导致的optimizer weights相关报错。我一般只要不是继续训练都用compileFalse加载权重。4.3 扩展到摄像头实时识别的常见做法这个项目的核心是图片识别但拿到了能跑的权重再往前迈一步就是摄像头实时识别。常见做法是用 OpenCV 的 Haar 级联检测人脸把检测到的人脸区域送进模型预测再把表情文字画在框上。核心逻辑就这几行import cv2 from tensorflow.keras.models import load_model model load_model(_mini_XCEPTION.102-0.66.hdf5, compileFalse) cap cv2.VideoCapture(0) face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) while True: ret, frame cap.read() gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5) for (x, y, w, h) in faces: face gray[y:yh, x:xw] face cv2.resize(face, (48, 48)) face face.astype(float32) / 255.0 face face.reshape(1, 48, 48, 1) pred model.predict(face, verbose0) label emotions[int(pred.argmax(axis1)[0])] cv2.rectangle(frame, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2) cv2.imshow(Face Emotion, frame) if cv2.waitKey(1) 0xFF ord(q): break实时推理建议用 mini-Xception 那个权重ResNet 虽然精度高但每帧都要跑一次前向传播普通笔记本 CPU 上帧率会掉到个位数。mini-Xception 参数量小同样条件下能跑到 20 帧以上体验完全不一样。5. 避坑清单五个把预测结果变成玄学的常见错误5.1 现象load_model 报 Unknown layer 或直接崩溃加载resnet.hdf5时可能遇到ValueError: Unknown layer: ...或者h5py相关的读取异常。这不是文件损坏是权重里的层定义在当前环境里找不到对应实现。常见原因有两个一是项目作者用了比较老的 Keras 版本层名在 TF2 里改了 alias二是自定义层没有注册。解决办法分两步。第一步把load_model(resnet.hdf5, compileFalse)改成load_model(resnet.hdf5, compileFalse, custom_objects{...})括号里填报错信息提示的那个层名。第二步如果还在报错放弃 load_model改用 load_weights 配合一个手动搭的模型结构代码里复现残差块后加载权重即可。这个方案对纯权重文件永远是保底选择。5.2 现象所有预测结果都集中在同一个类别模型能正常加载预测也能出结果但不管输入什么表情输出概率全部集中在 happy 或者 neutral 这一类。这不是模型傻了是类别索引顺序不匹配。训练时类表可能是[happy, sad, neutral, ...]你推理时用[anger, disgust, ...]argmax 出来的索引对应不上自然全是“同一类”。解决办法是打印模型输出层确认 7 类还是别的数量然后去说明文档里找类别顺序。如果文档没写拿压缩包里happy1.jpeg和surprised2.jpeg两张已知标签的图各测一次看哪个索引位输出概率最高反推类表顺序。这是最朴素的标定方法亲测有效。5.3 现象训练集准确率很高推理时一塌糊涂训练集 0.9验证集 0.66推理单张图直接乱猜这是典型的预处理不一致。训练阶段用了/255.0归一化推理阶段忘了或者训练用 48x48推理时 resize 成 224x224再或者训练是灰度图推理喂了 RGB 三通道。解决办法是把预处理抽成一个独立函数训练和推理复用同一个函数。项目里preprocess_image已经统一了灰度化、缩放、归一化三步任何测试图都走这个函数不要手动逐个处理。从那以后我每次写推理脚本第一件事就是确认这个函数和训练时用的是同一个别再各写一套。5.4 现象GIF 或带透明通道的图片读取报错用 PIL 打开scan.gif或网络下载的 PNG 测试图报cannot identify image file或者cannot write mode RGBA as JPEG。前者是因为 PIL 没正确识别 GIF 帧后者是图片带 alpha 通道而模型输入只接受灰度。解决办法是统一先.convert(RGB)再.convert(L)把透明通道先抹掉再转灰度。GIF 还要先seek(0)回到第一帧。这块代码前面 3.3 节已经给过了直接复用就不会出问题。5.5 现象训练到一半内存爆掉或者 CPU 慢到怀疑人生训练 ResNet 时笔记本 CPU 上跑一个 epoch 要五六分钟32G 内存照样被吃满有时候进程直接被杀掉。原因是 batch size 太大加 ResNet 本身参数量大48x48 输入虽然不大但每一层特征图的缓存累加起来很可观。解决办法是先把batch_size从 64 降到 16再看显存或者内存占用是否回落。如果还不行把输入尺寸从 48x48 降到 32x32 试试代价是精度略微下降或者干脆别从零训练 ResNet直接加载现成的resnet.hdf5冻结底层只训练最后一两层训练速度和资源占用都会好很多。课程设计不要求你从零训出 SOTA资源不足时学会用现成权重是更聪明的做法。6. 进阶技巧冻结微调、投票集成与准确率验证6.1 用数据增强和类别权重对付类别不平衡FER2013 里 happy 类样本最多disgust 类样本最少直接训练模型会偏向多数类。常见做法是加数据增强旋转、平移、水平翻转轮流来同时给少数类加权重。from tensorflow.keras.preprocessing.image import ImageDataGenerator datagen ImageDataGenerator(rotation_range10, width_shift_range0.1, height_shift_range0.1, horizontal_flipTrue) datagen.fit(X_train) model.fit(datagen.flow(X_train, y_onehot, batch_size32), validation_data(X_val, y_val), epochs30)rotation_range10表示图片随机旋转 10 度以内horizontal_flipTrue做水平翻转。表情识别里翻转不会改变语义生气翻过来还是生气这是最安全的数据增强方式。6.2 冻结底层微调把准确率往上抬如果验证集卡在 0.66 上不去最常见思路是冻结 ResNet 底层特征提取层只微调最后几层等损失稳定后再解冻全部层用小学习率微调。for layer in model.layers[:-8]: layer.trainable False model.compile(optimizerAdam(learning_rate0.0001), losscategorical_crossentropy, metrics[accuracy])我见过不少同学什么也不改盲目加层数结果训练集涨到 0.95 验证集反而掉了典型的过拟合。冻结底层、只调顶层是数据量小的时候最稳的提升方式。6.3 三个权重投票集成手上同时有 ResNet、Xception、mini-Xception 三个权重最简单的提升办法是把三个模型的预测概率相加取 argmax少数服从多数。这个技巧几乎不用额外成本还能把单模型的偶然波动抹平。pred1 model1.predict(x, verbose0) pred2 model2.predict(x, verbose0) pred3 model3.predict(x, verbose0) final (pred1 pred2 pred3).argmax(axis1)[0]我第一次做表情识别时为了图省事直接用原始像素喂 ResNet验证集准确率只有 0.5调了一周都没起色。后来老老实实先把预处理统一、再把类别顺序标定对同样的权重立刻跳到 0.66。从那以后我每次拿到陌生权重都强制先打印model.summary()确认输出维度再用一张已知标签的图跑通全流程最后才谈优化。这个习惯帮我避开了无数个坑希望也帮到你。本文还有配套的精品资源点击获取