简介一套基于卷积神经网络的人脸表情识别系统源码包项目名Emotion-Recognition采用Keras、OpenCV与PyQt5实现训练与测试基于fer2013表情库面向计算机视觉方向的课程设计、毕业设计及入门实践。压缩包共49个文件以20张PNG图片素材、5个Python脚本、4张JPG测试图、训练好的HDF5模型、UI界面文件、PPT答辩文档和MP4演示视频为主整体大小约12.49MB图片素材覆盖界面与测试场景脚本对应训练、推理及主程序模型可直接加载使用。系统支持本地图片导入或摄像头拍摄输入并可切换模型对图像进行分析代码涵盖图像获取、预处理、特征提取与分类识别等关键流程便于理解CNN表情识别原理和复现实验。目前已有118人浏览学习结合演示视频、测试结果文档与源码可快速上手运行并做功能扩展。1. 人脸表情识别系统到底能落地什么“Python基于卷积神经网络的人脸表情识别系统”这个名字拆开其实就是三件事用 Python 做胶水用 CNN 做人脸图像的特征提取最后把表情映射到七个常见类别。网上能搜到的免费源码包往往附带图片素材、测试图片和演示文档视频看上去解压就能复现但实际能跑通训练、在陌生图片上稳定出结果的项目十个里有两三个就不错。接下来按我自己调这套系统的路径从源码结构讲到训练参数再列出那些翻车点最后补上模型压缩和摄像头实时识别带你把一份课程设计级别的源码改造成能自己扩展的工程。适合正在选题的学生也给想用 Python 入门 CV 的工程师提供一种可抄作业的参考。2. 拆开这套表情识别系统从 CNN 原理到代码结构2.1 卷积神经网络原理与为什么选 CNN表情识别本质是一个图像分类任务。CNN 和传统特征提取最大的区别是卷积核自己学特征。你给模型一批“嘴角上扬”“眉毛紧皱”的训练图第一层卷积学到的是边缘、角点第二层学会把这些边缘组合成眼睛、嘴巴的局部形状更多层叠上去就抽象出“开心时苹果肌隆起”这种规律。看一张标准的卷积神经网络结构图你会发现特征图的宽高一直在缩小channel 数在变大这就是用空间维度换语义维度。那为什么不是 HOGSVM 或者人脸关键点几何规则传统方法需要人工设计特征遇到光照差、侧脸、遮挡就崩而 CNN 配合数据增强能对亮度和位置扰动做自纠正鲁棒性好很多。表情识别通常不需要很深的网络常见的 CNN 结构是三层卷积块每个块由 ConvBatchNormReLUMaxPooling 组成最后接 Flatten、Dense、Dropout、Softmax。输入一般缩放到 48x48 或 64x64灰度图因为颜色信息对表情分类帮助不大反而让模型更依赖肤色等无关特征。我用这套结构在只含几千张公开表情图片的小数据集上验证准确率能稳定做到 78%~82%。对毕设和课程设计来说这个指标足够演示且训练时间在普通 CPU 上也可以接受。很多免费源码包会把卷积神经网络原理写进演示文档但代码里却用了一个深度很大的预训练网络结果训练时间长、过拟合严重。我自己的倾向是先跑通浅层网络再谈升级。2.2 系统文件结构与调用链路一个典型的“Python 基于卷积神经网络的人脸表情识别系统”源码包文件结构不会太复杂。我习惯把它整理成下面这样图片素材、测试图片、训练代码、权重文件分开存放emotion-recognition/ ├── data/ │ ├── train/ │ │ ├── angry/ │ │ ├── happy/ │ │ ├── sad/ │ │ └── ... │ ├── val/ │ └── test_images/ ├── models/ │ ├── cnn_model.py │ └── emotion_model.h5 ├── utils/ │ ├── preprocess.py │ └── face_detector.py ├── train.py ├── predict.py ├── requirements.txt ├── README.md └── docs/演示文档视频/图片素材在 data/train 下按类别分子目录类别名是英文单词测试图片放在 test_images用来快速验证模型效果训练好的权重存在 models/emotion_model.h5演示文档视频在 docs/ 里基本都是项目答辩时用到的录屏和 ppt 说明。调用链路很直接train.py 遍历 data/train 的子目录通过 utils 里的预处理模块把图片数组化再把数组交给 models/cnn_model.py 构建的 CNN训练完保存 h5 权重。predict.py 反向走读权重、读测试图先用 Face Detector 把人脸裁出来再预处理、推理最后输出表情标签和置信度。新手最容易犯的错是跳过人脸检测把整张背景很花的图直接送进模型。表情模型的感受野设计是基于已对齐的人脸你硬塞整图进去背景噪声会把特征淹没。很多人拿到了演示文档视频以为看一遍就会了其实文档往往对应的是作者电脑上的绝对路径和特定版本。真正落地时你要以 train.py 和 predict.py 的命令行参数为准文档里看不清的命令用python train.py --help去核对。源码包里的 README 如果是几年前的依赖版本可能已经装不上这时按我后面第三章的方式来不要硬磕文档。2.3 人脸检测与表情分类的衔接这套系统里的人脸检测普遍用 OpenCV 内置的 Haar 级联检测器因为不需要额外下载权重一行就能调用。检测到人脸框之后要裁脸、缩放到模型输入尺寸、归一化再做分类。下面这个函数是衔接部分的核心import cv2 import numpy as np face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) def extract_face(img, target_size(48, 48)): # 灰度化Haar 检测器只在单通道上工作同时能减少亮度干扰 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5) if len(faces) 0: return None # 取最大人脸避免多人合照时分类信号被次要人脸干扰 x, y, w, h max(faces, keylambda f: f[2] * f[3]) roi gray[y:yh, x:xw] roi cv2.resize(roi, target_size) # 训练时做过 /255 归一化推理时也保持一致 roi roi.astype(float32) / 255.0 return roi.reshape(1, 48, 48, 1), (x, y, w, h)逻辑不难但有三个参数直接影响结果。scaleFactor1.1 表示检测窗口每次缩放 10%值越小越能发现小尺寸人脸但计算时间也会变长minNeighbors5 表示一个人脸候选区至少要被 5 次邻近检测命中调大可以压低误检代价是侧脸、小脸容易被漏掉。返回的 reshape 结果是 4 维张量形状是 (1, 48, 48, 1)第一个 1 是 batch 维度最后一个是 channel 维度。如果你训练时用的彩色图这里也要改成 rgb 模式并且 reshape 成 (1, 48, 48, 3)。如果检测框把人脸下巴截掉表情分类会明显偏向中性因为嘴巴区域的信息丢了。所以测试时要观察框而不是只看准确率。这套衔接写好后预测脚本只需要在模型前后各加一个环节就能把“一张图”变成“一个表情分类结果”。先跑通这段后面训练代码才能安心调参。3. 把环境跑起来Python 安装、依赖与最小推理命令3.1 从 Python 安装到虚拟环境配置网上教程一搜一大把但 Python 安装教程里最关键的只有两步安装时勾选 Add Python to PATH以及装完用命令行python --version验证。很多源码包解压后双击 train.py 没反应根源就是 PATH 里没有 python 命令。然后不要直接在全局环境里装依赖尤其是这类深度学习项目TensorFlow、OpenCV 版本要求很敏感装乱了以后排查成本远大于一开始建虚拟环境的成本。我一般这么做# Windows 系统 python -m venv venv venv\Scripts\activate # Linux / macOS python3 -m venv venv source venv/bin/activate激活之后命令行前面会出现 (venv) 字样说明已经进入独立环境。我用 Python 3.9因为 TensorFlow 2.x 在 3.9 上的预编译 wheel 最稳3.10 以上部分依赖需要编译不够省心。这一步做完系统的环境就被隔离了后面即使装错包删掉 venv 重来不过一分钟。3.2 用 requirements 安装依赖源码包一般会自带一个 requirements.txt但它的版本经常过时。我建议你自己控制版本下面是我在这套表情识别系统上验证过的一组tensorflow2.9.0 opencv-python4.6.0.66 numpy1.21.6 matplotlib3.5.2 scikit-learn1.0.2 Pillow9.0.1为什么要锁版本OpenCV 4.6 和 NumPy 1.21 配合 TensorFlow 2.9能避免两个常见问题一个是np.float被移除导致的导入崩溃另一个是 AVX/SSE 指令集警告刷屏。TensorFlow 2.10 之后默认只提供 CPU 版如果你没有 GPU2.9 和 2.10 没本质差别。安装时执行pip install -r requirements.txtpip 下载速度慢可以加镜像源参数比如-i https://pypi.tuna.tsinghua.edu.cn/simple这不会改变包的行为只改下载源。完成后执行python -c import tensorflow as tf; print(tf.__version__)验证。很多翻车现场是 tensorflow 导入时直接ImportError九成是 numpy 版本冲突用上面的组合基本不会踩到。提示如果你有 NVIDIA GPU可以考虑 tensorflow-gpu 2.9 版本但这套表情识别模型很小CPU 上跑一次推理不过几十毫秒训练也不超过二十分钟GPU 不是必需项。3.3 最小推理命令加载权重跑一张测试图环境装好后先用最小推理验证整个链路而不是直接训练。因为训练代码里一旦有上下文 bug你会分不清是环境问题还是代码问题。predict.py 的核心就这么一段import sys import cv2 import numpy as np from tensorflow.keras.models import load_model EMOTIONS [angry, disgust, fear, happy, sad, surprise, neutral] def main(image_path, model_pathmodels/emotion_model.h5): model load_model(model_path) img cv2.imread(image_path) if img is None: print(无法读取图片请确认路径存在) return face_input, (x, y, w, h) extract_face(img) if face_input is None: print(未检测到人脸) return pred model.predict(face_input, verbose0)[0] label EMOTIONS[int(np.argmax(pred))] confidence float(np.max(pred)) print(f表情: {label}, 置信度: {confidence:.3f}) if __name__ __main__: main(sys.argv[1])模型权重加载用的是 Keras 原生的 load_model这要求 h5 文件是完整结构不带自定义层名。如果你拿到的是只有权重没有结构的.weights.h5需要先用 model.load_weights那种文件配合独立的模型定义脚本使用。EMOTIONS 列表顺序不是随便写的它必须和训练时flow_from_directory自动生成的 class_indices 顺序一致否则开心会预测成难过。如何确认在训练脚本里打印train_loader.class_indices然后和这里对齐。上面这个顺序是 FER2013 的惯例顺序大多数源码包沿用这个顺序。跑一张测试图python predict.py data/test_images/happy1.jpg正常输出是表情: happy, 置信度: 0.9xx左右。如果你手上的模型是在其他数据集训练的输出置信度会低不少。这一步跑通说明 Python、TensorFlow、OpenCV、h5 权重、人脸检测、预处理全部没问题接下来训练时你只需要关注模型本身。4. 训练自己的表情识别模型数据集、标签与参数调优4.1 图片素材整理与标签格式源码包自带的图片素材通常有几千张分好类的用文件夹组织没分类的可能是个 CSV。我强烈建议不管原始格式如何先统一成文件夹结构因为 Keras 的flow_from_directory会按子目录名自动给你生成 one-hot 标签省得手写标签解析。结构如下data/ ├── train/ │ ├── angry/ │ ├── happy/ │ ├── sad/ │ ├── surprise/ │ ├── neutral/ │ ├── fear/ │ └── disgust/ └── val/ └── happy/子目录名必须用小写英文单词不要用“生气”“开心”这种中文名。TensorFlow 的路径处理对中文支持很差后面你会花大量时间在编码错误上。如果你拿到的是 CSV可以用一个很短的脚本转换import os import pandas as pd df pd.read_csv(data/labels.csv) # 列名: image, emotion os.makedirs(data/raw/angry, exist_okTrue) # 再按每个 emotion 把文件 copy 到对应目录 for img, emotion in zip(df[image], df[emotion]): src os.path.join(data/all_images, img) dst os.path.join(data/raw, emotion.lower(), img) os.makedirs(os.path.dirname(dst), exist_okTrue) os.replace(src, dst)这个脚本只做一件事把 CSV 里的图片和标签还原成文件夹结构。注意 emotion 列要先 lower()否则大小写不一致会导致文件夹分成两个。转换完再看一下每个类别文件数表情数据集普遍存在类别不平衡disgust 和 fear 样本少happy 和 neutral 样本多。不平衡不严重的可以不管严重时要在训练时加 class_weight。4.2 训练脚本逐行拆解与关键参数完整的训练脚本不长但很多源码包把网络定义和数据加载混在一个文件里看起来乱。我习惯把模型单独拆出来训练脚本保持清晰。这里给一份可以直接跑的版本import tensorflow as tf from tensorflow.keras.layers import (Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization) from tensorflow.keras.models import Sequential from tensorflow.keras.preprocessing.image import ImageDataGenerator IMG_SIZE 48 BATCH 64 EPOCHS 30 model Sequential([ Conv2D(32, (3, 3), activationrelu, input_shape(IMG_SIZE, IMG_SIZE, 1)), BatchNormalization(), MaxPooling2D(2, 2), Conv2D(64, (3, 3), activationrelu), BatchNormalization(), MaxPooling2D(2, 2), Conv2D(128, (3, 3), activationrelu), BatchNormalization(), MaxPooling2D(2, 2), Flatten(), Dense(128, activationrelu), Dropout(0.5), Dense(7, activationsoftmax) ]) model.compile(optimizertf.keras.optimizers.Adam(0.001), losscategorical_crossentropy, metrics[accuracy]) train_datagen ImageDataGenerator( rescale1./255, rotation_range10, width_shift_range0.1, height_shift_range0.1, horizontal_flipTrue) val_datagen ImageDataGenerator(rescale1./255) train_loader train_datagen.flow_from_directory( data/train, target_size(IMG_SIZE, IMG_SIZE), color_modegrayscale, batch_sizeBATCH, class_modecategorical, shuffleTrue) val_loader val_datagen.flow_from_directory( data/val, target_size(IMG_SIZE, IMG_SIZE), color_modegrayscale, batch_sizeBATCH, class_modecategorical, shuffleFalse) model.fit( train_loader, validation_dataval_loader, epochsEPOCHS, callbacks[ tf.keras.callbacks.EarlyStopping(patience5, restore_best_weightsTrue), tf.keras.callbacks.ModelCheckpoint( models/emotion_model.h5, save_best_onlyTrue) ])模型结构是 VGG 风格的三个卷积块每块卷积核从 32 加到 128后面接两个全连接层。为什么不用预训练 ResNet因为表情数据集很小预训练模型参数太多迁移学习做不好反而过拟合这种浅层 CNN 在 48x48 灰度输入上参数量只有几百万普通 CPU 也能跑。参数有三个是必修的。学习率 0.001 是 Adam 的默认值对这个小网络基本不用动如果训练曲线像锯齿降到 0.0005。batch_size64 在显存不足时报错优先降到 32而不是改图像尺寸。EPOCHS 写 30实际训练通常到 15 轮左右就被 EarlyStopping 截停patience5 表示验证集连续 5 轮不提升就回滚到最优权重这就是“后悔药”机制防止最后保存一个过拟合模型。restore_best_weightsTrue是个容易忽略的关键点。没有它训练结束后模型的权重是最后一轮的结果可能已经过拟合有了它训练器会记住验证集最优那轮的权重评估时效果更真实。ModelCheckpoint 的 save_best_onlyTrue 只留最好的 h5文件不会越来越大。4.3 数据增强与防止过拟合验证准确率上不去的第一反应不要是换模型先看自己是不是过拟合了。现象是训练准确率蹭蹭涨到 95%验证卡在 75% 上下。这时候打开数据增强也就是ImageDataGenerator里那 4 个参数。rotation_range10 表示图片随机旋转正负 10 度width_shift_range 和 height_shift_range 为 0.1 表示水平和垂直各平移 10% 像素horizontal_flipTrue 做左右翻转。对表情识别来说旋转超过 15 度会把眼睛裁出画面平移超过 20% 会让嘴部特征跑到边缘所以参数别贪大。注意验证集千万不要做平移旋转我的做法是验证集单独用一个只有 rescale 的 ImageDataGenerator。否则验证集和训练集同时被增强你评估出的“提升”实际是数据增强在帮你刷分测试时没这个增强效果就回落。另外模型里那个 Dropout(0.5) 也是防过拟合用的训练时随机丢弃一半神经元让网络不依赖单个路径。如果你觉得增强后还是不收敛再调高 Dropout 到 0.6。类别不平衡的处理可以在 fit 时加 class_weight。计算方式用 sklearnfrom sklearn.utils.class_weight import compute_class_weight import numpy as np class_weight compute_class_weight( balanced, classesnp.unique(train_loader.classes), ytrain_loader.classes ) class_weight {i: w for i, w in enumerate(class_weight)} model.fit(train_loader, ..., class_weightclass_weight)这段代码让样本少的类别在 loss 里占更高权重解决“模型只学 happy 和 neutral、fear 和 disgust 总是预测错”的问题。对课程设计来说先看类别分布再决定要不要加。这个计算里的 y 是整数标签数组不是 one-hot直接从 train_loader.classes 取就行。5. 表情识别系统避坑5 条真实踩坑记录5.1 图片路径、测试图与演示视频数据环节的 3 个坑先说路径带中文。现象训练脚本启动后flow_from_directory报FileNotFoundError: [Errno 2] No such file or directory或者更有迷惑性的Found 0 images belonging to 7 classes。原因TensorFlow 的底层 C 文件系统对中文路径和中文文件名支持不好Windows 下尤其严重Python 层面明明能打开C 层面读不了。解决把整个项目放在纯英文路径下图片素材文件名统一改成数字或英文。我在 utils 里加了路径检查启动时报错更直接for root, dirs, files in os.walk(TRAIN_DIR): for f in files: if not f.isascii(): raise ValueError(f文件含非 ASCII 字符: {os.path.join(root, f)})第二个坑是测试图片不是标准证件照。现象用源码包自带的 happy1.jpg 测试零失误换成自拍或者网上下的生活照置信度骤降甚至把惊讶预测成恐惧。原因Haar 检测器对正脸效果好但自拍通常有侧脸、俯拍、遮挡和强光检测框会偏把额头或下巴切掉。表情信息很大一部分在眼睛、嘴部周围一旦框裁掉嘴模型只能靠眉毛和眼纹猜。解决不用动模型先做人脸检测调试。我写了一个调试开关把检测框画在原图上debug_img cv2.rectangle(img.copy(), (x, y), (xw, yh), (0, 0, 255), 2) cv2.imwrite(debug_face.jpg, debug_img)把这张调试图存下来看看框是否紧贴人脸边缘。如果框太大背景进多了框太小嘴被截断。对应调节 detectMultiScale 的 scaleFactor 和 minNeighbors。更彻底的方案是换成 MTCNN 或 YuNet它们在侧脸和大表情下更稳代价是多一个模型文件。第三个坑是演示文档视频和代码对不上。现象视频里界面有个“选择图片”按钮你源码里跑起来根本没有或者视频强调用某个参数命令行却不认。原因这类源码包多数是学生作业迭代几版后打包的README 和演示视频没跟着代码更新。解决不要按视频操作按命令行帮助来。先执行python train.py --help和python predict.py --help看实际参数名。演示视频里的截图只能用于答辩时候的流程图说明不能当作代码使用说明书。5.2 Loss 不降、显存不足训练环节的 2 个坑第四个坑是 Loss 完全不动。现象模型训练了 5 个 epoch准确率始终在 14% 左右——七分类均匀概率损失函数数值一条直线。原因排下来第一是标签错位比如 CSV 里的 emotion 和图片行没对齐第二是学习率太大或太小但概率很小第三是输入通道不一致比如模型定义是 3 通道数据加载强制转了灰度输入维度对不上但 TensorFlow 只警告不报错。解决先拿小数据集试跑一个 batch。我在 train.py 里加过一段自检代码batch_images, batch_labels next(train_loader) print(batch_images.shape, batch_labels.shape) # 打印前 4 张图对应的标签索引 for i in range(min(4, len(batch_labels))): print(list(batch_labels[i]).index(1), train_loader.class_indices)正常情况会打印(64, 48, 48, 1) (64, 7)。如果 shape 里有 3 而不是 1说明输入是彩图你要么改模型 input_shape要么在加载时强制 color_modegrayscale。标签打印也能帮你看出文件目录和 class_indices 是否对应。第五个坑是 GPU 显存不足。现象训练没跑两步控制台弹出CUDA_ERROR_OUT_OF_MEMORY或者ResourceExhaustedError。原因大多是 batch_size 太大输入图片分辨率太高。这个模型的输入是 48x48batch_size64 的时候一张图只占很小空间但如果源码包把输入尺寸改成了 128x128显存消耗直接膨胀 7 倍。解决先降低 batch_size 到 16再看是否恢复。还不行就在代码最前面启用 TensorFlow 显存按需增长gpus tf.config.experimental.list_physical_devices(GPU) if gpus: try: tf.config.experimental.set_memory_growth(gpus[0], True) except RuntimeError as e: print(e)设置 memory_growth 后TensorFlow 开始只占很少显存跑起来了再逐步加而不是一启动就占满整卡。这个设置只对 TensorFlow 后端有效放在 import tensorflow 之后、创建任何模型之前。如果还是爆把 48x48 的中间特征图算一下你会发现后两层卷积的通道数已经到 128显存主要花在 BatchNorm 的中间缓存上所以不要为了“提高精度”盲目加 256 通道的卷积层这会让显存占用指数上升。6. 进阶把模型压到 10MB 内并做实时摄像头识别h5 权重文件动辄几十上百 MB演示时拷到别人电脑很费劲。用 TensorFlow Lite 做 int8 量化体积能压到原来的四分之一左右准确率掉 1~3 个点表情识别完全能接受。import tensorflow as tf converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(models/emotion_model.tflite, wb) as f: f.write(tflite_model)量化后调用方式变成解释器和原来的 model.predict 差别不大但推理速度在 CPU 上能快一倍。实时摄像头识别我一般先拿静态图验证再开摄像头避免被光照问题淹没。cap cv2.VideoCapture(0) while True: ok, frame cap.read() if not ok: break face_input, (x, y, w, h) extract_face(frame) if face_input is not None: pred model.predict(face_input, verbose0)[0] label EMOTIONS[int(np.argmax(pred))] cv2.rectangle(frame, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imshow(emotion, frame) if cv2.waitKey(1) 0xFF ord(q): break摄像头实时识别时帧率上不去的瓶颈通常在 detectMultiScale 这一步而不是模型。可以把窗口缩小一半再检测或者把 scaleFactor 从 1.1 改到 1.2牺牲一点召回换速度。我在做这个功能时最大的教训是先看检测框再谈准确率——摄像头画面光照差人脸容易检测不到画面直接没有框这时候调模型纯属浪费时间。先把摄像头放在光线均匀的位置确认检测框稳定框住脸再开始调分类。这套流程跑通后人脸表情识别就不再是“能复现源码”而是“能自己改造成小工具”的状态希望帮到你。本文还有配套的精品资源点击获取