简介面向希望入门深度学习与计算机视觉的学习者这份基于 Python 的表情识别项目覆盖了从传统方法到 CNN 的完整对比流程。项目在 FER2013、JAFFE 和 CK 三个数据集上进行评估并使用 Gabor、LBP 等传统特征提取方式与卷积神经网络模型对照适合作为毕业设计、课程设计或工程实训。资源共 57 个文件压缩包约 16.86MB。其中包含 17 个 Python 脚本覆盖数据集预处理、LBP/Gabor 特征提取、模型训练、测试及 GUI 界面等核心环节大量 png/jpg 图片用于展示训练曲线、识别效果和界面截图另有 tflite 模型文件、txt 说明和配置脚本方便部署与二次开发。项目还提供实时摄像头识别演示代码、可视化工具和数据集引用说明读者可以快速搭建环境并复现实验。目前已有 290 人学习适合需要完整案例代码和动手实践的中级 Python 开发者。1. 表情识别不是人脸识别的附属品这个 Python 项目到底在解决什么问题很多人第一次接「表情识别」需求是从人脸识别门禁系统设计里顺出来的——既然能检测到人脸那顺手把人脸上的情绪也分类一下这不就是多加一个输出吗真上手才发现人脸识别解决的是「你是谁」表情识别解决的是「你现在什么状态」前者做 1:N 特征检索后者做图像分类模型脑袋完全不是一回事。这个 Python 项目做的事情很具体先从画面里把人脸框出来检测再把框内区域按七类情绪做分类。对新手而言它比人脸识别更友好数据集小、模型轻、能很快在摄像头前看到效果对老手而言它适合用来验证一套从数据到部署的完整 Pipeline。适合正在学 OpenCV 和 Keras、想把手里的 48x48 灰度数据集跑成一个能接摄像头实时演示的完整管线的工程师。以下内容直接按我平时做这个方案的顺序展开。2. 从人脸检测到表情分类技术栈拆解与选型理由2.1 人脸检测选型OpenCV Haar Cascade、Dlib 与 MTCNN 怎么选表情识别管线的第一段不是分类而是人脸检测。一个 48x48 的分类模型只接受「人脸框内的图像」框偏了、框漏了后面再好的分类模型也是白搭。在 Python 生态里最常见的人脸检测方案就三类OpenCV 自带的 Haar Cascade、Dlib 的 HOG 检测器以及 MTCNN 级联网络。很多人第一次看到「表情识别」需求时习惯把它当成一种人脸识别算法来选型一上来就想用最深的模型结果把简单问题做复杂了。Haar Cascade 的核心逻辑是用一组矩形特征快速扫描图像通过级联分类器逐级排除非人脸区域。它的优点是快CPU 单帧只需要几毫秒而且 opencv-python 装完就能调用不需要额外下载权重就能跑。缺点是召回率有限侧脸、低头、暗光环境下框不住人。Dlib 的 HOG 方案在工程上是对 Haar 的折中API 简单但对大角度侧脸的改善并不明显还多一个编译安装成本。如果你在 vscode 里配置 python 环境时把 opencv 装进了错误的虚拟环境import cv2 报错先别怀疑代码先看解释器路径这类环境问题占了新人踩坑的一大半。方案CPU 单帧耗时对侧脸/遮挡依赖适用阶段Haar Cascade1-5ms弱opencv-python跑通管线Dlib HOG5-15ms中等dlib快速原型MTCNN20-50ms强PyTorch/TensorFlow 权重效果打磨MTCNN 是三个小网络级联先快速找候选框再精细回归人脸关键点。它对侧脸、小脸、遮挡的容忍度明显高但推理慢一个数量级在嵌入式板上经常跑不动。所以我的常规做法是第一次跑通用 Haar管线完整了再评估要不要换 MTCNN。实时项目里帧率是硬指标为了多召回几个侧脸把帧率砍半大多数产品是接受不了的。2.2 表情分类模型选型轻量 CNN 与迁移学习的取舍表情分类在模型上是一个标准的图像分类任务输入一张对齐后的人脸小图输出一个 7 维概率分布。老项目中还能见到 LBP 或 HOG 特征加 SVM 的做法在小数据集上可解释性强但 FER2013 这种规模下CNN 的精度优势很明显代码也更少。Keras 把卷积、归一化、训练封装得很顺手所以现在大家基本不再手写特征。很多人会顺手拿 ImageNet 预训练的 ResNet50 来做迁移学习理由是公开权重好下载、效果肯定比从零训好。这个想法在自然图像分类里没问题但在表情识别上要打个问号。FER2013 是 48x48 灰度图ImageNet 是 224x224 三通道彩色图源域和目标域差异很大把 48x48 放大到 224x224 并不会带来更多信息反而让推理变慢。如果一定要用预训练常见做法是冻结前面的卷积层只训练最后的分类头先观察验证集是否正常下降。就 FER2013 这个数据集体量而言自己搭一个 4 层卷积的轻量 CNN从零开始训练效果就已经够用。单张 48x48 灰度图用轻量 CNN 在 CPU 上单次推理 10ms 以内训练一轮只需要几十秒跨机器复现也容易。当你在做的是 Python 入门到接真实摄像头 demo 的项目这个性价比远高于堆大模型。后面第四章会给完整结构这里先记住结论小图、小数据、小模型是这套方案最稳的起点。2.3 数据集选型FER2013、CK 与 RAF-DB 怎么搭配数据集规模与格式标签质量适合场景FER201335887 张 48x48 灰度 CSV有噪声训练流程验证CK593 个实验室表情序列高微调提升精度RAF-DB约 3 万张真实场景图高真实分布评估FER2013 是表情识别领域被用得最多的公开数据集它在 Kaggle 上以 CSV 形式分发字段只有 emotion、pixels、Usage下载后不需要处理复杂的目录结构很适合用来先把训练流程跑通。但它的标签是从网络图像众包标注来的不少样本本身就有争议模型在这上面冲到过高的验证集准确率不完全是好事。CK 是实验室条件下采集的表情序列每段视频从 neutral 开始到峰值表情结束研究者通常取最后三帧作为带标签样本来训练标签质量比 FER2013 高很多。缺点是样本总数少单独训练很容易过拟合。我的经验是先把 FER2013 训练到验证集相对稳定再用 CK 的峰值帧做二次微调这样能在最终演示时把 sad 和 surprise 之类细节抓得更准。RAF-DB 就更接近真实摄像头场景光照、年龄、遮挡都比较杂适合用来做上线前的最终评估。3. 预处理 FER2013 数据集从 CSV 到可训练的 NumPy 数组3.1 解析 FER2013 的 CSV 格式并划分数据集不管后续用 TensorFlow 还是 PyTorch第一步都是把 CSV 变成 NumPy 数组。FER2013 的 pixels 字段是一长串空格分隔的整数每行正好 2304 个数对应 48x48 的灰度图。emotion 字段是 0 到 6 的整数分别代表 angry、disgust、fear、happy、sad、surprise、neutral。Usage 字段由官方分好了 Training、PublicTest、PrivateTest 三份训练验证直接用这个划分最省事不要自己再随机切官方划分能让你以后的实验结果和别人对比。import numpy as np import pandas as pd def load_fer2013(csv_path): df pd.read_csv(csv_path) images, labels, usages [], [], [] for _, row in df.iterrows(): pixels np.array(row[pixels].split(), dtypenp.float32) images.append(pixels.reshape(48, 48, 1)) labels.append(int(row[emotion])) usages.append(row[Usage]) images np.array(images) / 255.0 labels np.array(labels) usages np.array(usages) return images, labels, usages X, y, usage load_fer2013(fer2013.csv) print(X.shape, y.shape, np.unique(y))pixels.split() 把字符串切成 2304 个子串np.array 直接转成 float32 数组reshape 成单通道 48x48。这里我用 float32 而不是 float64因为后续训练和推理在 CPU/GPU 上都更快显存占用也只有一半。归一化放到加载时统一做后面写模型会更干净。iterrows 在 3.6 万行数据上有点慢但只是一次性预处理不值得为了省几秒引入额外复杂度。train_mask usage Training val_mask usage PublicTest test_mask usage PrivateTest X_train, y_train X[train_mask], y[train_mask] X_val, y_val X[val_mask], y[val_mask] X_test, y_test X[test_mask], y[test_mask] print(X_train.shape, X_val.shape, X_test.shape)为什么不自己随机切验证集PublicTest 和训练集来源相同分布用它做验证能避免误用测试集PrivateTest 留作最终外部验证。如果你自己重新随机切务必保证同一个人的不同帧不会同时出现在训练和验证里否则会有数据泄漏验证集数字会虚高。3.2 数据增强参数怎么设rotation、shift、zoom 的合理区间FER2013 只有 3.6 万张图表情类又互相接近直接训练很容易过拟合。数据增强是这类型项目的标配但参数不是随便给的。Keras 以前常用的 ImageDataGenerator 仍可运行不过我现在的常见做法是把增强层直接放进模型入口训练时生效、推理时不生效代码更统一。import tensorflow as tf augmentation tf.keras.Sequential([ tf.keras.layers.RandomRotation(0.1, fill_modenearest), tf.keras.layers.RandomTranslation(0.1, 0.1, fill_modenearest), tf.keras.layers.RandomZoom(0.1), tf.keras.layers.RandomFlip(horizontal), ]) def make_dataset(X, y, batch_size64, augmentFalse): ds tf.data.Dataset.from_tensor_slices((X, y)) ds ds.batch(batch_size) if augment: ds ds.map(lambda x, y: (augmentation(x, trainingTrue), y)) ds ds.prefetch(tf.data.AUTOTUNE) return dsrotation 0.1 表示在 ±0.1 弧度约 ±5.7 度内旋转。表情识别对五官相对位置敏感超过 15 度会把眼睛和嘴弄歪制造出训练集中不存在的畸形脸。shift 0.1 模拟检测框左右抖动实时管线里 Haar 框每帧都会有几像素偏移让人脸在样本里偏移一点比用更复杂的对齐算法更省事。zoom 0.1 模拟摄像头远近变化范围在 0.9 到 1.1 倍之间。horizontal_flip 对七类基本表情可以放心用因为左右脸基本对称如果以后加入了带文字的情绪标签这一项要去掉。提示验证集不要加增强。数据增强只解决训练集的泛化问题验证集必须用原始图像否则你看到的指标是被“虚增”过的不能反映真实表现。3.3 类别不平衡与标签噪声class_weight 和过采样怎么取舍打印各类的样本数会发现 happy 接近 9000 张而 disgust 只有 500 出头连 angry 都只有 4000 左右。CNN 在这种分布下会把少数类直接忽略因为多数类损失主导了梯度更新。常见的补救是给 loss 加权重让少数类错一次产生更大的损失。from sklearn.utils.class_weight import compute_class_weight class_weights compute_class_weight( class_weightbalanced, classesnp.arange(7), yy_train ) class_weight_dict {i: float(w) for i, w in enumerate(class_weights)} print(class_weight_dict)compute_class_weight 按「样本数越多权重越低」的思路算出每个类的权重训练时传进 model.fit 的 class_weight 参数。这样 disgust 错一次产生的 loss 变大梯度会逼模型去学习区分这个类。如果加权重后某个类还是几乎不出现再考虑对这类样本做过采样常见做法是用 numpy 手动复制这个类别的样本加进训练集而不是引入重量级的采样库。FER2013 的众包标注天然含噪声有些图人眼看是 happy 但标签给的是 neutral有些是侧脸却被归为 disgust。所以验证集 accuracy 从 65% 往 70% 爬的过程会很慢这不一定是代码有问题。我一般会在训练到 70% 附近时取出验证集预测结果把每个类 top 置信度的样本打印成图片矩阵肉眼扫一遍发现标注错的直接跳过因为模型被迫拟合噪声才是灾难。4. 用 Keras 搭建轻量 CNN训练参数与模型导出的完整记录4.1 一个能跑通的轻量 CNN 结构输入是 48x48 灰度图我用四个「Conv BatchNorm ReLU MaxPool」块卷积核统一 3x3通道数从 64 涨到 128、256、512。特征图被池化到 3x3 后接全局平均池化再 Dropout 和 7 类 softmax。不用 Flatten是因为 GlobalAveragePooling 的参数量少得多对过拟合更友好。import tensorflow as tf from tensorflow import keras def build_emotion_cnn(input_shape(48, 48, 1), num_classes7): inputs keras.Input(shapeinput_shape) x inputs for filters in (64, 128, 256, 512): x keras.layers.Conv2D(filters, 3, paddingsame)(x) x keras.layers.BatchNormalization()(x) x keras.layers.Activation(relu)(x) x keras.layers.MaxPooling2D(2)(x) x keras.layers.GlobalAveragePooling2D()(x) x keras.layers.Dropout(0.3)(x) outputs keras.layers.Dense(num_classes, activationsoftmax)(x) model keras.Model(inputs, outputs) return model model build_emotion_cnn() model.compile( optimizerkeras.optimizers.Adam(learning_rate1e-3), losskeras.losses.SparseCategoricalCrossentropy(), metrics[accuracy], ) model.summary()BatchNorm 在表情这种小图任务里几乎是必须的它把每层特征拉回均值为 0、方差为 1 的分布训练速度更快也能抑制梯度消失。Dropout 放在全连接之前随机丢弃 30% 的连接是防过拟合的低成本手段。学习率 1e-3 是 Adam 在 48x48 小图上的常用起点如果 loss 不降可以试 3e-3如果震荡就回 3e-4。注意 SparseCategoricalCrossentropy 对应整数标签如果你把 y 做了 one-hot就换 CategoricalCrossentropy这两者弄反是新手最常见的编译器报错来源。4.2 训练参数怎么设batch_size、学习率与早停训练最重要的不是把 epochs 拉长而是把早停和学习率衰减配好。FER2013 这种数据量模型通常在 15 到 25 个 epoch 内就能达到验证集高点继续硬训只会让训练集正确率逼近 100%验证集反而下降。用 EarlyStopping 盯 val_losspatience8 代表连续 8 轮没改善就停ReduceLROnPlateau 在连续 3 轮没改善时把学习率减半给优化器一次重新收敛的机会。callbacks [ keras.callbacks.EarlyStopping( monitorval_loss, patience8, restore_best_weightsTrue ), keras.callbacks.ReduceLROnPlateau( monitorval_loss, factor0.5, patience3, min_lr1e-6 ), keras.callbacks.ModelCheckpoint( best_emotion.keras, monitorval_accuracy, save_best_onlyTrue ), ] history model.fit( make_dataset(X_train, y_train, batch_size64, augmentTrue), validation_datamake_dataset(X_val, y_val, batch_size64, augmentFalse), epochs50, callbackscallbacks, class_weightclass_weight_dict, )batch_size 64 在 3.6 万张样本下每个 epoch 约 450 个 batchCPU 上也不慢显存小就换 32。class_weight 传入 class_weight_dict让少数类被抬权。make_dataset 的 augment 参数决定训练集是否做增强验证集不要增强否则指标失真。ModelCheckpoint 的 save_best_only 配合 val_accuracy保证 saved 模型是历史最高验证精度。训练完成后建议同时看 train_loss 和 val_loss 两条曲线如果两者差距超过 30%明显过拟合下一轮应加大 Dropout 或减小模型通道数。在类别不平衡的数据上accuracy 是骗人的如果模型全输出 happy整体准确率也能有 25% 上下但这是不可用的。所以在训练回调里我会同时盯 val_loss并且每个 epoch 结束后查看分类报告看每个类的 recall 而不是只看总准确率。很多人为了冲验证集数字反复改 epoch 数量翻车真正问题出在评估指标一开始就选错了。4.3 模型导出与边缘部署保存、TFLite 与行空板训练结束后除了保存 best_emotion.keras我还会顺手导出 TFLite。对于接树莓派或行空板这类设备的摄像头程序TFLite 比直接加载 Keras 模型更稳定内存占用也更低。如果你只是在本机跑 demo.keras 格式就够了。model.save(emotion_model.keras) converter tf.lite.TFLiteConverter.from_keras_model(model) tflite_model converter.convert() with open(emotion_model.tflite, wb) as f: f.write(tflite_model) # float16 量化版本适合边缘设备 converter.optimizations [tf.lite.Optimize.DEFAULT] converter.target_spec.supported_types [tf.float16] tflite_model_q converter.convert() with open(emotion_model_fp16.tflite, wb) as f: f.write(tflite_model_q)TFLiteConverter 把 Keras 模型转成 FlatBuffer 格式Python 侧可以用 tensorflow.lite.Interpreter 加载推理。float16 量化在大多数边缘 CPU 上提速 1.5 到 2 倍精度损失一般小于 0.5%对表情分类这种输出本身就不需要精确到小数点后三位的任务可以接受。如果部署平台只支持整型量化还需要准备一个校准数据集这里不展开。导出成哪种格式不重要真正坑的是推理时的输入处理。无论哪种格式推理时都必须和训练完全一致48x48 灰度、float32、除以 255。最常见的翻车是把 OpenCV 默认的 BGR 彩色图直接 resize 喂给模型通道数对不上输出概率几乎均匀根本没法用。5. 串起人脸检测与表情分类摄像头实时推理管线与避坑指南5.1 最小可用的摄像头实时推理管线到这一步前面训练好的模型要回到现实画面里见人。实时推理管线分四步读摄像头帧 → 灰度化并检测人脸 → 对每个检测框裁剪缩放 → 模型预测并画框标注。以下代码是单人演示的最小版本。import cv2 import numpy as np from tensorflow import keras EMOTIONS [angry, disgust, fear, happy, sad, surprise, neutral] model keras.models.load_model(emotion_model.keras) face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) def predict_expression(face_gray): face cv2.resize(face_gray, (48, 48)) face face.astype(np.float32) / 255.0 face face.reshape(1, 48, 48, 1) prob model.predict(face, verbose0)[0] idx int(np.argmax(prob)) return EMOTIONS[idx], float(prob[idx]) cap cv2.VideoCapture(0) while True: ok, frame cap.read() if not ok: break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(64, 64) ) for (x, y, w, h) in faces: face_gray gray[y:y h, x:x w] label, conf predict_expression(face_gray) cv2.rectangle(frame, (x, y), (x w, y h), (0, 255, 0), 2) cv2.putText(frame, f{label} {conf:.2f}, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imshow(expression_demo, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()灰度图只做一次 cvtColor检测和分类都在这张图上进行。detectMultiScale 返回 (x, y, w, h) 列表裁剪时注意用 gray[y:yh, x:xw]w 和 h 写反后不会报错但模型永远在错的位置上分类这种 bug 特别隐蔽。predict 默认 verbose1 会在终端刷进度条实时循环里必须关掉。detectMultiScale 的 scaleFactor1.1 表示每层把搜索窗口缩小到上一层的 90%1.05 更精确但更慢minNeighbors5 防止把背景纹理框成人脸值调大误检少、漏检多。minSize(64,64) 过滤太小的脸距离远的小目标既看不清表情也没有实际价值。5.2 实时性优化检测降频、batch 推理与线程化直接把上面代码跑起来笔记本上刚开始还挺流畅几十秒后开始卡顿。原因是 model.predict 在 Python 里要做数据校验和回调单帧可能占 10ms 以上如果同时框到两张脸耗时翻倍。模型本身不慢是调用方式不经济。常见做法是把人脸检测的帧率降到每 3 帧做一次中间两帧直接复用上一轮的检测框。这样分类仍然逐帧做但检测耗时被摊薄。另外把同帧里的多张人脸拼成一个 batch一次前向输出全部结果比逐个 predict 快将近一倍。def predict_batch(face_list): if not face_list: return [] faces [] for g in face_list: face cv2.resize(g, (48, 48)).astype(np.float32) / 255.0 faces.append(face.reshape(48, 48, 1)) batch np.stack(faces, axis0) probs model.predict(batch, verbose0) return [(EMOTIONS[int(np.argmax(p))], float(np.max(p))) for p in probs]np.stack 把多张 (48,48,1) 图形成 (N,48,48,1)模型一次前向输出 (N,7)。即使只处理一张脸这个函数也兼容。如果检测和分类都想保持高帧率就把推理放到后台线程用 queue.Queue 缓冲检测到的人脸主线程每次从队列里拿最新结果。队列长度限制在 1满了直接覆盖这样即使推理偶尔变慢画面延迟也不会越积越多。注意 cap.read() 不宜放后台线程不同平台的摄像头驱动在后台读帧容易出问题。5.3 表情识别常见问题避坑现象、原因与解决现象一所有人都是 neutral偶尔冒一个 happy。原因是 FER2013 类别严重倾斜训练时 loss 被多数类主导模型学会输出先验分布而不是看脸。解决方法是训练时加 class_weight并在验证时打印每类 recall不要只看 accuracy。neutral 把 sad 吸走是最常见的混淆推理时可加 reject 阈值置信度低于 0.6 显示 unknown。现象二检测框在人脸附近抖动表情标签来回跳。原因是 Haar 检测框每帧位置不完全一致分类模型对脸部对齐极其敏感。解决方法是把最近 3 帧预测结果做多数投票或对框坐标做指数滑动平均。投票窗口不要超过 5 帧否则人脸从开心到生气时标签切换会明显迟钝。现象三侧脸、低头直接丢框表情输出消失。原因是 haarcascade_frontalface_default 的训练数据基本是正脸对角度很敏感。解决方法是先换 haarcascade_frontalface_alt2 试试还不行就换 MTCNN。做实时项目时多角度人脸检测比换更强分类模型的收益更大。现象四戴口罩或用手遮嘴时模型频繁误判为 sad 或 neutral。原因是模型把嘴部区域当成了重要特征下半脸被遮后语义缺失。解决方法是训练时用 RandomCutout 随机遮挡下半脸做增强如果项目面向门禁这类遮挡常见场景可以把分类输入改成只裁眼睛和额头区域重新微调。这里要提醒一句表情识别本身只能判断情绪状态不能也不该用于安全类判断。现象五训练集 accuracy 接近 100%验证集到 70% 后不再涨。原因是模型在拟合训练集的标注噪声和背景纹理真实表情特征并没有学全。解决方法是把 PrivateTest 单独留出做最终验证用 Grad-CAM 看模型注意力如果高亮区域不在眼睛和嘴上而在背景里说明伪特征学习严重需要加正则化并减小模型容量。6. 用真实场景验证模型准确率之外的三个检查项6.1 混淆矩阵比 top1 accuracy 更有说服力模型的七分类 top1 accuracy 在 FER2013 上到 68% 到 72% 就算正常但这个数字掩盖了大部分问题。把测试集预测结果打成 classification_report你会立刻看到 sad 的 recall 可能只有 40%neutral 却很高。这在表情识别落地里意味着负面情绪基本抓不到系统形同虚设。import numpy as np from sklearn.metrics import classification_report y_pred np.argmax(model.predict(X_test, verbose0), axis1) print(classification_report(y_test, y_pred, target_namesEMOTIONS))report 里每一类的 recall 比总 accuracy 重要得多。disgust 通常样本最少recall 低不要急着调参先确认不是数据量问题。6.2 在三个真实环境里做鲁棒性检验我的习惯是录三段 30 秒视频分别测正对窗户的逆光场景、轻微侧脸和低头再抬头的动作、戴上口罩或用手遮嘴的遮挡场景。逆光看模型会不会被阴影带偏侧脸看检测框是否跟手遮挡看输出是变成 unknown 还是硬猜一个标签。统计相邻帧标签跳变次数超过 3 次说明平滑窗口太短或阈值太低。6.3 给输出一个「不回答」的权利模型在所有表情上的概率都很平均时强行取 argmax 是最差做法。给输出加一个最低置信度门槛低于它显示 unknown比硬猜更实用if conf 0.6: label unknown我第一次把这个项目接到真实摄像头时只看准确率到 70% 就停了结果演示现场十个人里九个被判定成 neutral。后来把混淆矩阵打出来才发现 sad 和 neutral 几乎混在一起加了 0.6 的 reject 阈值并对 sad 类做轻微过采样演示效果才真正能看。这套方案的价值不在模型多先进而在每一步都留了可验证的抓手检测框可视化、混淆矩阵、置信度门槛缺一不可。希望帮到你。本文还有配套的精品资源点击获取