简介EmotionVGGnet 情绪识别 Python 源码包以经典 VGGNet 卷积神经网络为核心面向希望入门或深入研究图像、语音等数据情感分析的开发者提供一套从数据预处理、模型构建、训练优化到评估验证的完整案例。压缩包共 11 个文件包含 6 个 Python 脚本覆盖数据集构建、模型定义与训练、测试识别等环节2 个 hdf5 文件为不同训练轮次保存的模型权重可直接用于推理或继续调优json 文件记录训练与评估日志png 文件展示模型结构与识别可视化md 文档则说明项目组织与使用方式。包体仅 12.38MB结构紧凑适合快速上手。资源提供 train_recognizer.py、test_recognizer.py、emotion_detector.py 等可执行脚本读者可按 README 指引从建库、训练到测试完整跑通流程并借助 epoch 权重文件对比模型效果。目前已有 307 人学习适合具备基础 Python 与深度学习概念、希望在真实项目中理解 CNN 情感识别流程的开发者参考。1. 从一张图片里读出七种情绪这份 EmotionVGGnet Python 源码为什么值得跑一遍情绪识别这个方向直觉上应该用轻量网络因为表情特征看起来是局部的。但我实际跑项目时发现用 VGGNet 这种“深而窄”的卷积网络做底座的 Python 源码反而在很多中小规模数据集上更稳。EmotionVGGnet 就是一个能直接跑通的完整案例build_dataset.py 负责数据预处理train_recognizer.py 负责训练并自动保存 epoch_10、epoch_15 这样的断点权重emotion_detector.py 负责加载权重做新图片推理整条链路都给你串好了。适合刚装好 TensorFlow 的学生也适合要快速搭情绪识别原型的工程师——省掉从零搭模型和调数据流的时间剩下的精力可以花在改参数、看曲线和避坑上。2. 先读懂模型和工程骨架emotionvggnet.py 与 emotion_config.py 拆解2.1 为什么偏偏是 VGGNet3x3 卷积堆叠对表情特征更友好VGGNet 是 ImageNet 时代的经典结构核心设计是连续堆叠 3x3 卷积每隔一段接一个 2x2 的 MaxPooling。很多人觉得它“老”但对情绪识别这种中等规模任务它有两点优势。一是 3x3 卷积堆叠出来的感受野和 5x5、7x7 大卷积核等价但参数量更少、非线性更强二是特征图尺寸按 2 的倍数收缩梯度传导路径干净在小数据集上不容易出现深层梯度消失。人脸表情本身是“局部纹理 整体构型”的组合嘴角、眼角、眉毛这些区域靠浅层卷积抓纹理头姿、嘴型、面部整体轮廓靠深层卷积抓构型。VGGNet 这种逐层加深的结构正好符合这个分工逻辑。对比 ResNet、EfficientNet 这类现代网络它们的训练技巧更多对数据量和超参数更敏感在小数据集上容易因为 BatchNorm 统计量不稳或学习率策略复杂而翻车。VGGNet 结构朴素只要把卷积核数量、学习率和 batch size 控制在合理范围训练过程就会比较老实。2.2 emotion_config.py 里那些能改的活参数emotion_config.py 是整个工程的参数总闸。按这类项目的常见写法它包含图像尺寸、类别数、学习率、epochs、batch size、路径配置。我按这个项目的文件结构反推了一下每个参数的调法整理成一张参数表方便你打开源码后逐项核对配置项常见取值含义与调整建议IMAGE_SIZE / INPUT_SHAPE48x48x1 或 64x64x3越小训练越快但会丢纹理细节公开表情数据集常用 48x48 灰度NUM_CLASSES7对应生气、厌恶、恐惧、开心、难过、惊讶、中性七类BATCH_SIZE32 / 64显存有限就调小训练波动大就调大INIT_LR1e-3 或 1e-4从头训练用 1e-3 起然后衰减微调用 1e-4EPOCHS15 以上从 checkpoints 目录里的 epoch_10、epoch_15 两个文件可以看出默认轮数至少设到了 15 轮以上DATASET_PATHdataset/数据根目录build_dataset.py 会从这里按子目录读取图片路径配置也要顺手看一眼。输出文件一般分两路checkpoints 目录存断点权重output 目录存训练曲线和 json 日志。权重文件和日志不要指到同一个目录否则断点会被后续输出覆盖。2.3 文件清单与数据流从 build_dataset 到 test_recognizer 一环不缺这个压缩包里的文件不算多但每个都有明确分工。我列一个文件清单标出它们在整条流程里的位置文件角色emotion_config.py全局配置所有脚本共用build_dataset.py数据集构建与预处理、划分emotionvggnet.pyVGGNet 模型结构定义train_recognizer.py训练入口负责回调、日志、断点保存emotion_detector.py推理检测器封装test_recognizer.py测试入口验证模型在新数据上的表现checkpoints/epoch_10.hdf5第 10 轮权重断点checkpoints/epoch_15.hdf5第 15 轮权重断点output/vggnet_emotion.png训练曲线可视化output/vggnet_emotion.json每轮 loss、accuracy、val_loss、val_accuracy 日志数据流向也很清晰原始图片 → build_dataset.py 归一化并划分训练验证集 → train_recognizer.py 构建 VGGNet 并训练 → 权重存入 checkpoints、曲线和 json 存入 output → emotion_detector.py 加载权重对新图片推理 → test_recognizer.py 比较预测结果和真实标签。提示json 日志里每一轮的 val_loss 和 val_accuracy 是判断过拟合的第一手材料后面第 5 章会专门讲怎么用它排查问题。3. build_dataset.py 数据预处理把图片目录切成可训练的数据集3.1 读取图片、像素归一化与标签二值化数据预处理是整个项目最容易跑通、也最容易写错的部分。build_dataset.py 做的事是扫描路径下每个子目录子目录名就是类别名把每张图片读取为固定尺寸的数组做像素归一化再把类别标签转成 one-hot 编码。import os import cv2 import numpy as np from sklearn.preprocessing import LabelBinarizer from emotion_config import IMAGE_SIZE, DATASET_PATH data, labels [], [] for class_name in sorted(os.listdir(DATASET_PATH)): class_dir os.path.join(DATASET_PATH, class_name) if not os.path.isdir(class_dir): continue for img_name in os.listdir(class_dir): img_path os.path.join(class_dir, img_name) img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE)) data.append(img) labels.append(class_name) data np.array(data, dtypefloat32) / 255.0 data data.reshape((data.shape[0], IMAGE_SIZE, IMAGE_SIZE, 1)) lb LabelBinarizer() labels lb.fit_transform(labels)逻辑说明这里用的是 OpenCV 灰度读取表情数据集通常以灰度图为主因为纹理信息比颜色信息更重要颜色还会引入光照干扰。先按灰度读再 resize 到统一尺寸最后做除以 255 的归一化把像素值压到 0-1能明显加快训练收敛速度。用 sorted 固定类别顺序这样训练集和推理时读取的顺序一致避免类别错位——这个细节后面会专门讲。参数说明IMAGE_SIZE 必须和 emotion_config.py 保持一致cv2.IMREAD_GRAYSCALE 会把图片读成单通道对应模型第一层的输入 shape 是 48x48x1。如果原始数据是彩色图想保留颜色信息去掉灰度参数即可但模型第一层的输入通道数也要同步改成 3。3.2 训练/验证划分为什么 stratify 参数不能省划分数据集时很多人图省事直接 random split但情绪数据集普遍类别不均衡比如“开心”样本多、“厌恶”样本少。直接随机划分验证集里很可能某个类别只有几张小图val_accuracy 的波动会非常大看起来像模型不行其实是划分方法的问题。from sklearn.model_selection import train_test_split (trainX, testX, trainY, testY) train_test_split( data, labels, test_size0.20, stratifylabels, random_state42 )逻辑说明stratifylabels 表示按标签的原始分布做分层抽样训练集和验证集里每个类别的比例都尽量接近全量的比例这样验证集才能真实反映模型在每种情绪上的表现。random_state 固定随机种子保证多次运行结果可复现调试时能对比同一个数据划分下的不同改法。参数说明test_size 取 0.2 是常见做法数据量特别大时可以降到 0.1数据量很小时可以升到 0.3。random_state 固定一次就行不用每次修改否则前后两次实验的数据分布不一致没法对比。3.3 存成 npz 还是 hdf5按数据量选预处理完的数据如果只有几百 MB直接保存成 .npz 最简单训练时一次性加载。数据量大或者机器内存紧张就按 batch 写入 .hdf5训练时用生成器逐批读取。build_dataset.py 里大概率走的是 npz 路线因为它是单机训练样本量通常在一两万张的量级。np.savez_compressed(dataset_processed.npz, trainXtrainX, testXtestX, trainYtrainY, testYtestY)逻辑说明np.savez_compressed 会把多个数组打包并压缩训练脚本加载后直接用字典取值。如果选 hdf5 路线常见做法是逐批写入数据集文件和标签文件配合带 yield 的生成器使用更省内存但代码量会多出几十行。参数说明压缩等级用默认即可过高的压缩等级会明显拖慢保存和读取速度换来的是磁盘空间省几个百分点不划算。4. train_recognizer.py 训练与断点续训从 epoch_10.hdf5 反推训练策略4.1 训练回调早停、学习率衰减、模型检查点这个项目的 checkpoints 目录里有 epoch_10.hdf5 和 epoch_15.hdf5 两个权重文件说明训练脚本配置了模型检查点回调按轮次自动保存断点。这也是训练脚本里最值得带走的经验训练时至少挂三个回调——早停、学习率衰减、权重保存。from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint callbacks [ ModelCheckpoint( fcheckpoints/epoch_{{epoch:02d}}.hdf5, monitorval_loss, save_best_onlyFalse, save_weights_onlyTrue ), EarlyStopping( monitorval_loss, patience5, restore_best_weightsTrue ), ReduceLROnPlateau( monitorval_loss, factor0.5, patience3, min_lr1e-6 ) ] history model.fit( trainX, trainY, validation_data(testX, testY), epochsconfig.EPOCHS, batch_sizeconfig.BATCH_SIZE, callbackscallbacks )逻辑说明ModelCheckpoint 负责每轮结束保存权重用 epoch_{epoch:02d}.hdf5 这种命名所以会出现 epoch_10.hdf5、epoch_15.hdf5 两个文件。save_weights_onlyTrue 表示只存权重不存模型结构文件会小很多但加载时需要先构建模型再 load_weights。EarlyStopping 监控验证集 loss连续 5 轮不降就停restore_best_weightsTrue 会把权重回滚到最好那轮避免保存的模型是一个已经过拟合的版本。ReduceLROnPlateau 在验证 loss 连续 3 轮不降时把学习率减半让训练后期走得稳。参数说明patience 不是越大越好过大的 patience 会把训练时间拖得很长。factor0.5 表示每次乘以 0.5如果改成 0.1 会降得太猛模型容易在某个局部震荡。min_lr 是学习率下限防止衰减到零附近后模型完全不动。4.2 读懂 vggnet_emotion.png 与 vggnet_emotion.jsonoutput 目录下那张 vggnet_emotion.png 是训练过程的可视化输出json 文件里存着每轮的 loss 和 accuracy。这两个文件是判断模型“健不健康”的第一手材料。正常训练曲线的特征是训练 loss 稳步下降验证 loss 先降后平如果验证 loss 在某个点之后持续上升而训练 loss 还在降那就是过拟合了应该回头调早停参数或加数据增强。json 日志的读取也很简单训练脚本里通常会把 history.history 直接 dump 到 json 文件方便训练结束后离线分析import json with open(output/vggnet_emotion.json, w) as f: json.dump(history.history, f, indent4)逻辑说明history.history 里包含 train_loss、train_acc、val_loss、val_acc 四个列表列表下标对应轮次。读取时直接用 json.load 拿回来画图或者做数据分析即可。注意保存时可以顺手 write ensure_asciiFalse避免日志里出现中文类别名时转义成一堆 \u 编码。参数说明indent4 是为了让 json 文件可读性好一点对程序读取没有影响。这个日志文件在整个调试过程中很有用第 5 章排查问题时会反复用到。4.3 断点续训与微调加载 checkpoint 继续跑训练跑一半断了或者想改小学习率再调几轮直接从断点文件恢复权重就行。这里 hdf5 是 save_weights_only 保存的所以要用 load_weights 配合同一个模型结构定义来恢复from emotionvggnet import build_emotion_vggnet from tensorflow.keras.optimizers import Adam model build_emotion_vggnet() model.load_weights(checkpoints/epoch_15.hdf5) model.compile( optimizerAdam(learning_rate1e-4), losscategorical_crossentropy, metrics[accuracy] )逻辑说明先重新构建模型再加载权重这样权重文件里只存数字参数不依赖原环境的模型结构。加载后把学习率调小到 1e-4 左右继续训练适合“大轮数已经跑完、想再精调一下”的场景。如果权重文件是用 model.save 保存的完整模型那直接用 keras.models.load_model 就能恢复结构和优化器状态但这个项目里 checkpoint 文件配合 save_weights_only 的命名更像第一种情况。参数说明续训的学习率一般取原始学习率的五分之一到十分之一。原始学习率是 1e-3 的话续训用 1e-4 比较稳妥避免前期权重被大步长破坏。5. 踩坑排查EmotionVGGnet 从训练到推理的 5 个实战教训5.1 训练 loss 不降反升甚至直接 NaN现象刚跑十几轮训练 loss 从 1.8 附近往上走偶尔出 NaN验证集准确率停滞在 10% 左右像是瞎猜。原因学习率过大或者输入数据没有归一化。很多人直接跑源码时不看 emotion_config.py 里的初始化学习率用的是模型默认值权重更新步长太大。如果 build_dataset.py 里忘记除以 255像素值落在 0-255 范围同样会破坏梯度的稳定性。解决先把学习率降到 1e-4 试试再确认数据预处理里有/255.0 归一化这一步。最后检查 loss 计算方式类别较多时用 categorical_crossentropy 前必须确认标签是 one-hot 编码不是整数索引。5.2 加载 epoch_15.hdf5 时报输入形状不匹配现象模型结构定义用的输入是 48x48x1加载权重时 Keras 报 shape 不匹配说权重参数数量对不上。原因训练时 build_dataset.py 里 IMAGE_SIZE 和 emotion_config.py 里的 INPUT_SHAPE 不一致模型第一层 Conv2D 的输入 shape 跟着配置走权重文件里的参数形状对应的其实是另一个尺寸。解决打开 emotion_config.py把 IMAGE_SIZE、INPUT_SHAPE 和 build_dataset.py 里的 resize 尺寸统一成同一个数。检查顺序是先看配置、再看 build_dataset、最后跑训练别等训练完了才发现输入尺寸对不上。5.3 训练时准确率高一换图片就全错现象在测试集上 accuracy 有 90% 以上但拿一张网图或自己拍的照片去识别结果全是“中性”或“惊讶”完全没有参考价值。原因过拟合加泛化能力弱。训练时用了随机划分但没有做数据增强模型把训练集里的背景、光线、人脸位置都记进去了而不是真正的表情特征。这个猫腻藏在 vggnet_emotion.png 里——如果训练 loss 和验证 loss 差距很大基本就是这个问题。解决加数据增强常见做法是随机旋转 10 度、宽度/高度偏移 0.1、水平翻转。另一个快速验证方法是把测试集换成另一批同分布图片看看性能掉多少。5.4 标签顺序错乱导致推理结果张冠李戴现象单独看每个测试样本时预测结果和真实标签经常对不上但整体准确率又不低看起来像随机错误。原因build_dataset.py 用 sorted 固定类别顺序但 emotion_detector.py 推理时如果另用一套顺序构造标签列表类别索引就和训练时的 LabelBinarizer 不一致所有预测结果整体偏移一位。解决训练结束后把 LabelBinarizer 对象保存下来用 pickle 或 np.save 都行推理时加载同一个对象调用 transform 或 inverse_transform。用标签编码器而不是手动维护类别列表是多分类项目最稳的做法。5.5 验证集 loss 很低测试却崩了现象训练脚本的 val_loss 已经降到 0.3 以下看起来很漂亮但 test_recognizer.py 一跑测试集准确率比验证集低 20 个点。原因build_dataset.py 里把全部数据都用来划分训练和验证没有单独留出一份测试集验证集参与过模型选择模型已经“看过”这些样本了。这是新手最常见的翻车点。解决数据划分改成三份训练 70%、验证 15%、测试 15%测试集完全不参与训练和早停判断。我一般会先切一份固定测试集放旁边剩下两份反复调参最后才碰测试集。5.6 一条通用排查路线从日志、配置、数据分布下手遇到玄学问题先从三个文件下手output/vggnet_emotion.json 看 loss 曲线的形态emotion_config.py 看超参数是否合理build_dataset.py 看数据增强和归一化有没有被动过。数据分布上用 np.bincount 统计每个类别的样本数类别严重不平衡时优先考虑 class_weight这是情绪数据集里很常见的问题不解决的话小类别永远学不好。6. 推理阶段的落地技巧用 emotion_detector.py 做批处理验证训练完成只是第一步真正麻烦的是把模型用在新的图片上。emotion_detector.py 做的就是这个加载权重、预处理、预测、返回类别和置信度。一个能直接用的封装大概是这样的结构class EmotionDetector: def __init__(self, weights_path): self.model build_emotion_vggnet() self.model.load_weights(weights_path) self.lb load_label_encoder(output/lb.pickle) def predict(self, image): img cv2.resize(image, (48, 48)) img img.astype(float32) / 255.0 img img.reshape(1, 48, 48, 1) probs self.model.predict(img)[0] idx int(np.argmax(probs)) return self.lb.classes_[idx], float(probs[idx])注意置信度阈值。Softmax 输出的概率分布里即使模型完全不确定也会给一个最大值比如所有类别概率都是 0.2 左右最大也是 0.2。做工程落地时我会设一个 0.5 或 0.6 的阈值低于阈值输出“不确定”不强行给一个情绪标签。这在真实的情绪识别场景里非常关键与其硬猜不如让系统承认自己不知道。另一个值得带走的技巧是简单 TTA就是同一个输入做几次小变换后取平均。测试时把图分别原样、水平翻转、轻微旋转各预测一次把三次概率平均最终结果往往比单次预测稳尤其对表情这种边界模糊的分类。代价是推理时间变成三倍线上实时场景酌情使用。从这个项目我学到的习惯是模型训练完先去 test_recognizer.py 里跑一遍再拿 10 张图上人工核对预测结果和置信度最后才决定要不要继续训练。这套动作看着笨但能挡掉上面列的大部分翻车现场。希望帮到你。本文还有配套的精品资源点击获取