简介基于ResNet的人脸表情识别Python实现源码与配套数据集面向正在准备毕业设计、期末大作业或课程设计的高校学生也适合刚接触深度学习的开发者用于表情分类实战练习。资源共16个文件压缩包约5.2MB内部以Python脚本为核心模型构建、训练测试、混淆矩阵绘制配合按7类表情整理的图像数据集、依赖清单与说明文档以及一段演示视频方便快速跑通并理解流程。目前已有237人学习下载。源码经过本地编译验证评审得分98分内容由助教审定难度适中结构清晰。读者可借助类别索引文件快速对应表情标签借助依赖清单文件还原运行环境结合数据集与模型代码进行训练、评估和结果可视化通过混淆矩阵还能观察各类别识别效果便于进一步调优。也可在此基础上替换骨干网络或扩充数据用于论文实验或课设展示。1. 人脸表情识别为什么值得用ResNet从七分类任务到工程落地拿到“基于ResNet的人脸表情识别python实现源码数据集高分项目.zip”这个压缩包的人大多是要交一个能跑、能讲、能答辩的完整项目而不是研究人脸识别前沿。人脸表情识别本质是一个七分类任务——把angry、disgust、fear、happy、sad、surprise、neutral这七类从一张人脸图片里分出来难点在于表情差异是局部纹理变化光照、姿态、遮挡都会让分类器翻车。ResNet能成为这个任务的主流底座靠的是残差连接。网络加深不再导致退化模型可以从粗粒度的人脸结构一路学到细粒度的肌肉纹理特征这也是ImageNet夺冠之后它迅速被移植到表情识别的原因。这个方向适合课程设计、毕业设计也适合想快速验证一个迁移学习demo的python开发者。2. 表情数据集的清洗与划分FER2013和CK怎么处理才能训练标题里写着“数据集”但压缩包里的数据从来不是能直接喂给模型的形态。常见做法是里面放着FER2013的CSV原始文件、CK的序列帧或者已经按标签分好文件夹的图片目录。三种形态处理方式完全不同第一步做错了后面的训练全白搭。我一般拿到压缩包先做一件事打开目录看一眼是CSV还是文件夹再决定写哪套解析代码。2.1 FER2013的CSV结构与CK的序列帧差异FER2013是一个单文件CSV三列emotion、pixels、Usage。emotion是0到6的整数对应七类表情pixels是48×48的灰度像素值按空格分隔成2304个数字Usage字段把数据分成Training、PublicTest、PrivateTest三部分。这个结构的好处是解析简单坏处是它本身已经是灰度小图放大后纹理细节有限模型上限被数据卡住。用它做训练输入尺寸通常是48×48不需要resize到224也能跑但ResNet的输入习惯是224×224所以要做一次插值放大。CK是另一套逻辑。它不是一张张独立图片而是593个序列每个序列从平静表情开始到峰值表情结束中间有若干帧。直接拿整个序列训练会引入大量中性帧模型学到的不是表情而是“这张脸长什么样”。我一般只取每个序列的最后三帧——峰值帧——作为正样本一个序列最多产出3张可用图片。这个取舍会导致CK的总样本数不到一千张所以CK通常只做测试或微调主力训练还是靠FER2013。2.2 把FER2013的CSV解析成目录结构minimal脚本不管后面用PyTorch还是TensorFlow先把CSV落成“按类别分文件夹”的目录结构最省心。下面这个脚本把FER2013按Usage字段拆成train和test两个集合。import pandas as pd from pathlib import Path from PIL import Image import numpy as np csv_path fer2013.csv root Path(fer2013_split) df pd.read_csv(csv_path) emotion_names { 0: angry, 1: disgust, 2: fear, 3: happy, 4: sad, 5: surprise, 6: neutral } for split in [Training, PublicTest, PrivateTest]: subset df[df[Usage] split] target root / (train if split Training else test) for _, row in subset.iterrows(): label int(row[emotion]) img np.array(row[pixels].split(), dtypenp.uint8).reshape(48, 48) out_dir target / emotion_names[label] out_dir.mkdir(parentsTrue, exist_okTrue) Image.fromarray(img).save(out_dir / f{row.name}.png)这段代码的逻辑是先用pandas把CSV读进来按Usage字段把行筛成训练集和测试集对每一行把pixels字符串按空格分割转成48×48的灰度数组再按emotion标号落进对应类别的文件夹。文件名用row.nameCSV的行号保证不重名。这里没做One-Hot编码也没做归一化因为归一化放到DataLoader里做更合适——模型训练时每次拿到的都是同一个预处理流程避免训练和推理两套标准。参数说明save那一行的format默认按扩展名推断写.png即可reshape一定要在split之后否则2304个数字会排错位置mkdir加了exist_okTrue重复运行脚本不会报错。这个脚本跑完train目录下应该有28709张图test目录下是PublicTest和PrivateTest合并的7178张左右具体数量以压缩包内CSV实际行为准。2.3 类别不均衡happy样本是disgust的几十倍FER2013的七类样本数不是均匀的。happy和neutral通常各占四分之一左右disgust经常只有两千张上下这种不均衡会让模型偏向多数类。训练时如果发现验证集准确率很高但混淆矩阵里disgust和fear几乎全错先别调网络结构回来看数据分布。我用的是一个简单粗暴的办法给DataLoader加WeightedRandomSampler。先统计每个类别的样本数算权重少数类的采样权重放大让每个batch里各类别出现频率接近。from torch.utils.data import WeightedRandomSampler labels [] for emotion_dir in train_dir.iterdir(): class_id list(emotion_names.values()).index(emotion_dir.name) for img_path in emotion_dir.glob(*.png): labels.append(class_id) class_counts np.bincount(labels) weights 1.0 / class_counts[labels] sampler WeightedRandomSampler(weights, num_sampleslen(labels), replacementTrue)这个sampler的逻辑是weights数组的长度等于样本总数每个样本的权重是该类别样本数的倒数少数类权重反而大。replacementTrue表示采样时允许重复取同一张图实际效果等同于对少数类做了在线过采样且不会复制图片占磁盘。多数类样本被采到的概率降低网络更新方向不再被happy这类大头带偏。注意sampler和batch_size同时生效时DataLoader的shuffle参数必须设成False否则会冲突。但也不是所有项目都适合重采样。如果你的最终目标是“在真实场景下测模型”真实场景里happy就是比disgust多强行平衡会让模型在真实分布下误报率上升。这里要分清楚毕业设计看混淆矩阵和各类别的average acc重采样基本必做产品demo要的是总体准确率那就保持原分布只对少数类做简单的旋转和尺度增强。这个分寸感很多人没讲我提一句。3. ResNet18还是ResNet50表情识别模型选型与代码改造数据集整理完之后下一个决策是“用哪个ResNet”。标题里只写了ResNet没有具体层数这个模糊恰恰是压缩包源码里最需要看的地方——有的项目用ResNet50有的用ResNet34还有的用ResNet18加一层自注意力模块。选型不是越深越好要对着数据量算账。3.1 表情数据量撑不起ResNet50参数规模与过拟合的账ResNet18的参数量约1170万ResNet50约2350万ResNet101超过4250万。FER2013的28709张训练图分配到7个类平均每类约4100张这对于ResNet18来说是“刚好够微调”的量对ResNet50来说偏少。深网络在训练集上可以把loss压到很低但验证集准确率反而不如浅一点的模型这是我跑表情识别时反复遇到的情况。原因不玄学最后的全连接层参数爆炸浅层卷积又在ImageNet预训练里学的是物体轮廓和纹理表情数据量不足以把这些参数重新校准。模型参数量在FER2013上的经验准确率区间单epoch训练耗时相对ResNet18约1170万65%-72%基准ResNet34约2180万64%-72%约1.4倍ResNet50约2350万61%-70%更易过拟合约1.8倍这个表是我在单卡GTX 1660上跑的经验值不同设备会有差异。所以我的默认选择是ResNet18输入224×224最后一层改成7分类。只有两种情况会上ResNet34或ResNet50一是拿到的数据集是增强后的大规模私有数据二是做比赛需要刷高分数用集成或大模型加各种trick。常规课设和毕设ResNet18的精度和训练速度最平衡。3.2 用torchvision加载ResNet18并替换分类头最小可跑代码PyTorch里改ResNet的分类头非常直接核心是理解网络的最后一层是fc输入维度由前面的层决定——ResNet18的全局平均池化后是512维ResNet50是2048维改fc层时这个维度必须写对。import torch import torch.nn as nn from torchvision import models def build_resnet18(num_classes7, pretrainedTrue): if pretrained: weights models.ResNet18_Weights.IMAGENET1K_V1 model models.resnet18(weightsweights) else: model models.resnet18(weightsNone) model.fc nn.Sequential( nn.Dropout(p0.5), nn.Linear(model.fc.in_features, num_classes) ) return model model build_resnet18(num_classes7, pretrainedTrue)逻辑说明resnet18(weightsIMAGENET1K_V1)返回的是在ImageNet上预训练好的模型model.fc原本是一个输出1000类的线性层我们把它整体替换成一个带Dropout的Sequential第一层Dropout按0.5概率随机失活神经元第二层Linear把512维映射到7维。这里没有加激活函数因为分类loss用的是CrossEntropyLoss它内部已经包含了softmax的数值计算提前加ReLU反而会把负logit截断。参数说明Dropout的p值在0.3到0.6之间都可以试表情识别我常用0.5num_classes要和数据集标签对齐FER2013是7如果你用的是JAFFE或RAF-DB这类更细的数据集这里要同步改pretrainedTrue是迁移学习的关键直接随机初始化在小数据集上训练准确率会比预训练低10到15个百分点这是可以量到的差距。3.3 再往前走一步给ResNet18加位置编码式的细粒度增强ResNet18能解决的是“整体人脸特征提取”但表情是局部肌肉动作为主眼睛、眉毛、嘴角这些细粒度区域才是决定性线索。纯ResNet18的最后一层输出是7×7的特征图每个格子感受野偏大细粒度信息会被池化抹掉。如果项目要冲高分常见做法是给ResNet加一个分支把layer3的输出和layer4的输出做特征融合类似轻量FPN的思路再让融合后的特征过一层自注意力让模型把注意力放到嘴部和眼部。这个改造带来的准确率提升通常在3到5个百分点之间但训练时间会增加代码复杂度也上来了。如果你是想交一个能稳定运行、答辩能讲清楚的项目我不建议一上来就做这个改造。先在基础ResNet18上把baseline跑出来记录混淆矩阵再去加FPN分支和自注意力模块做对比实验——有对比数据报告才好写这也是“高分项目”里最有含金量的部分。4. 训练参数配置学习率、数据增强与收敛曲线怎么调ResNet18只是骨架真正让模型在表情数据集上出成绩的是训练配置。同样的网络学习率用0.1还是0.001差别能到10个百分点以上做不做数据增强验证集准确率差距也摆在那里。这一章把三个最关键的旋钮讲清楚数据增强怎么写、学习率怎么退火、checkpoint什么时候存。4.1 数据增强表情识别里的transforms组合FER2013是48×48灰度图输入给ResNet18时resize到224这个放大会让像素边缘出现插值锯齿。对抗的办法是把数据增强放在resize前后做组合。以下是我常用的增强组合。from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomResizedCrop(224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.RandomGrayscale(p0.1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) valid_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])这套组合的逻辑是Resize到256再随机裁剪到224等价于给模型看不同尺度的脸部区域水平翻转对表情识别是安全的——人脸左右翻转后表情语义基本不变这比上下翻转安全得多上下翻转会把眼睛变到嘴的位置属于错误增强。ColorJitter的亮度对比度扰动模拟不同光照条件RandomGrayscale按0.1的概率把彩色图转灰度让模型不要过度依赖颜色。最后Normalize用的mean和std是ImageNet的统计值迁移学习场景下沿用这套数值不要自己重新算否则预训练权重的感受野统计会错位。验证集只做Resize和Normalize不做随机增强保证评估指标稳定。测试集如果也做了RandomHorizontalFlip同一张图每次预测结果会不一样这是很多人踩过的一个坑。注意验证集和测试集不要使用RandomHorizontalFlip这类随机增强否则同一张图片多次推理结果不一致评估指标也会波动。4.2 优化器与学习率策略冻结浅层还是全部微调表情识别的标准配置是SGD加momentum不是Adam。SGD在小数据集上更容易收敛到平坦的极小值泛化更好Adam的早期收敛快但后期验证集准确率经常被SGD反超。优化器参数设置如下。optimizer torch.optim.SGD( model.parameters(), lr0.001, momentum0.9, weight_decay5e-4, ) scheduler torch.optim.lr_scheduler.StepLR( optimizer, step_size10, gamma0.1, )lr0.001是ResNet18配合ImageNet预训练权重时的安全起点。如果你用的是没有预训练的随机初始化lr要提到0.01甚至0.1否则收敛太慢反过来如果加载预训练权重还开0.01模型会出现几轮loss不降反升的震荡。momentum0.9是SGD的标准值weight_decay5e-4对所有参数加L2正则这个值和batch_size关系不大直接抄通常没问题。StepLR每10个epoch把学习率乘以0.1适合训练总轮数在30到50轮的项目——前10轮大步探索中间10轮收敛最后10轮精修。一个常被忽略的决策是“冻结哪些层”。迁移学习有两种主流做法一种冻结前几层只用后几层微调适合数据量极小的场景另一种全部参数一起微调适合FER2013这个规模。我一般选第二种因为表情特征是高层语义浅层的边缘检测、颜色纹理特征本来就通用一起微调不会带来明显泛化损失反而省去了反复试验冻结层数的麻烦。epoch数我建议先从40轮开始。表情识别不是越大越好FER2013上跑到20轮左右验证集准确率基本已经进入平台期继续硬训只会看到训练loss继续降、验证acc波动横盘。把epoch从80改成40训练时间减半最终精度几乎不变。如果嫌40轮不保险配合早停看验证loss连续5轮不降就停同样是省时间的好策略。4.3 训练主循环与checkpoint保存每个epoch记什么训练循环要写对三件事模型train/eval模式切换、梯度清零、checkpoint里保存哪些字段。下面是一个可复用的主循环骨架。def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0.0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() logits model(images) loss criterion(logits, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) correct (logits.argmax(dim1) labels).sum().item() total images.size(0) return total_loss / total, correct / total def validate(model, loader, criterion, device): model.eval() total_loss, correct, total 0.0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) logits model(images) loss criterion(logits, labels) total_loss loss.item() * images.size(0) correct (logits.argmax(dim1) labels).sum().item() total images.size(0) return total_loss / total, correct / total这两个函数覆盖了训练和评估的最小闭环train模式会启用Dropout和BN的批次统计eval模式会关闭Dropout并用BN的全局均值方差这两者必须配对出现否则验证指标没有参考价值。loss.backward()之后必须带上optimizer.step()和optimizer.zero_grad()缺少任何一个都会梯度累积或原地不动。validate里用torch.no_grad()包裹推理省显存且不会误改梯度。checkpoint推荐每轮都保存但只保留最优和最后一轮。best_acc 0.0 for epoch in range(1, 41): train_loss, train_acc train_one_epoch(...) val_loss, val_acc validate(...) print(fepoch {epoch:02d} train_acc {train_acc:.4f} val_acc {val_acc:.4f}) checkpoint { epoch: epoch, model_state: model.state_dict(), optimizer_state: optimizer.state_dict(), val_acc: val_acc, } if val_acc best_acc: best_acc val_acc torch.save(checkpoint, best_model.pt) if epoch % 10 0: torch.save(checkpoint, fcheckpoint_epoch{epoch}.pt)保存模型时不要只存model.state_dict()要把epoch、优化器状态、验证集准确率一起存进去。原因是训练被打断时光有模型权重没法恢复学习率位置和momentum状态而best_model.pt里存了val_acc你在写报告时可以直接读出来填表不需要重新跑一遍推理。5. 训练和推理中的常见坑从加载报错到识别率上不去的排查笔记模型代码能在本地跑通和模型真正出成绩中间隔着一条全是坑的路。这一章的每条记录都是实际复现排错时会遇见的现象按“现象→原因→解决”写遇到问题能直接对号入座。5.1 迁移学习加载预训练权重后loss不降反升现象导入torchvision的resnet18预训练模型把fc改成7类用lr0.001开始训练第一个epoch的loss接近2.0之后不降反升到第三个epoch直接变成nan。原因多半是学习率相对于batch_size过大了。迁移学习场景里预训练权重已经很接近最优点过大学习率会让权重一步跨出合理区间另外如果代码里对输入做了错误归一化比如用0到255的原始像素值直接喂给模型BN层会算出一个方差极大的批次统计量loss必然爆炸。解决先确认Normalize和ToTensor顺序正确ToTensor会把像素缩放到0到1Normalize再按ImageNet均值方差做标准化然后把lr降到0.0001试跑两个epoch如果loss还是发散把batch_size减半再看梯度是否正常。这个坑八成不是网络写错了而是输入分布和预训练权重不匹配。5.2 训练loss下降但验证准确率卡在60%附近怎么调都上不去现象训练集loss从1.8降到0.4训练集准确率到95%验证集准确率始终在58%到62%之间抖动换ResNet34也一样。原因这个现象优先怀疑两个方向——类别不均衡和验证集分布错位。FER2013的PublicTest和PrivateTest划分与训练集同源但如果你的解析脚本把PrivateTest也合进了训练集验证集就只剩下难度更高的PublicTest准确率上限会被压低。另一个常见原因是验证集缺了Normalize或者Resize尺寸不一致比如训练用224、验证用256模型看到的特征尺度完全不一样。解决先把验证集和训练集的transforms逐行对比确保只有数据增强不同归一化和resize必须一致再用脚本统计验证集各类别样本数如果差异极大按照2.3节的做法处理训练集最后在验证时打印每个类别的分类准确率而不是只看总体acc你会发现某些类别只有30%那问题就清楚地指向不均衡或标注噪声。5.3 推理阶段同一张图片每次预测的结果都不一样现象训练完加载best_model.pt对同一张测试图片连续跑两次第一次预测happy第二次预测sad概率分布每次都有微小浮动。原因推理时没有切换模型到eval模式。模型里的Dropout层在train模式下是随机失活神经元的每次前向传播都在采样不同子网络输出自然不稳定。加载完checkpoint后必须执行model.eval()并且推理代码包在torch.no_grad()里。解决在predict函数开头加model.eval()再调用model(images)如果此时图片还带着requires_grad输出会累积计算图导致显存上涨用torch.no_grad()包住推理段。顺手检查一下checkpoint加载的键名model_state_dict和model.state_dict()的key顺序不一致时load_state_dict会报missing keys这个报错信息里列出来的key可以帮助定位到底有没有真正把权重载入。5.4 CPU训练一个epoch要十几分钟GPU显存又不够现象笔记本CPU跑ResNet18输入224×224batch_size设64一个epoch要17分钟40轮就是十几个小时换成GPU后batch_size想设128直接OutOfMemory。原因CPU慢是预期内的但很多人的慢来自不必要的开销——DataLoader的num_workers设成0图片解码和预处理全在主进程串行GPU OOM则是batch_size和输入尺寸吃掉了显存ResNet18在224×224分辨率下batch_size 64大约需要6到8GB显存集成显卡根本扛不住。解决CPU训练先限缩到最小配置——输入尺寸改176×176ResNet18可以接受非正方形输入池化层会自动适配batch_size降到16num_workers设成你的CPU逻辑核数的一半pin_memoryTrue。GPU训练则把batch_size从32开始试OOM就减半直到不报错为止如果有混合精度条件torch.cuda.amp的GradScaler能把显存占用砍掉约一半训练速度也更快。表情识别这个数据量没有GPU也能出结果就是把batch_size和epoch数调小多等一个晚上而已。5.5 把PyTorch模型导出成ONNX后预测准确率下降现象用torch.onnx.export导出模型在onnxruntime里跑推理发现和PyTorch原模型预测结果不一致某些图片的类别直接反转。原因最常见是导出时没固定输入尺寸动态shape导致Resize和Normalize的输出布局变化也可能是导出前模型处于train模式Dropout层被带进了ONNX图。解决导出前强制model.eval()export接口里设置input_names、output_names和opset_version如果是自定义的transforms里的操作导出的ONNX只包含网络图不含预处理确保外部推理时预处理和训练时一致尤其是Normalize的mean/std不能漏。导出完后用onnxruntime直接跑一次对比脚本把每个类别的概率列出来核对。6. 进阶验证用混淆矩阵和遮挡测试判断模型是否真的可用模型训练完毕准确率数字能看了但离“能交差”还差一步——要证明模型是真的在识别人脸表情而不是在背训练集。这一步在答辩和工程对接里价值很高。6.1 混淆矩阵定位模型到底在哪些类上打架先在验证集上跑一遍推理收集所有真实标签和预测标签用sklearn画出混淆矩阵。from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt emotion_names [angry, disgust, fear, happy, sad, surprise, neutral] all_preds, all_labels [], [] model.eval() with torch.no_grad(): for images, labels in valid_loader: logits model(images.to(device)) preds logits.argmax(dim1).cpu() all_preds.extend(preds.numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsemotion_names, yticklabelsemotion_names) plt.show()逻辑说明argmax(dim1)取每个样本概率最大的类作为预测结果confusion_matrix的行是真值、列是预测值对角线越亮说明分类越可靠。表情识别里最常见的混淆对是fear和surprise——两者都有睁大眼睛的形态张嘴幅度相近sad和neutral也容易混因为平静表情和轻度悲伤在嘴部、眉部特征上高度重叠。看到这两对混在一起说明模型行为正常属于数据本身的类间相似度高报告里写清这一点反而是加分项。6.2 遮挡敏感性测试哪些区域对预测结果影响最大比混淆矩阵更直观的是遮挡测试。把测试图片的眼睛区域、嘴巴区域分别涂黑再送入模型看预测变化。def occlude_and_predict(model, image_tensor, bbox, device): # image_tensor 是 (C, H, W) 的归一化张量 occluded image_tensor.clone() x1, y1, x2, y2 bbox occluded[:, y1:y2, x1:x2] 0.0 with torch.no_grad(): logits model(occluded.unsqueeze(0).to(device)) return torch.softmax(logits, dim1).squeeze(0) # 眼睛区域、嘴巴区域按 224x224 输入图的坐标估算 eye_bbox (60, 70, 164, 110) mouth_bbox (70, 160, 150, 190)这个测试回答一个关键问题模型是依赖眼睛和嘴部这些语义区域做判断还是靠背景、肤色等无关线索。如果遮住眼睛后预测从surprise变成neutral说明模型确实抓到了眼部特征如果遮住背景区域预测却大幅变化说明模型学偏了需要回去检查数据增强里的RandomResizedCrop是否裁剪过狠或者训练集里是否混入了大量背景干扰。遮挡测试在答辩现场演示效果很好两张图一对比模型的决策依据一目了然。我的习惯是最终把这三个东西放进交付报告best_model.pt、混淆矩阵热力图、遮挡测试效果图。模型文件保证可复现两张图用来证明“模型学的是表情”。表情识别这个方向ResNet18加迁移学习加正确的数据增强已经能做出70%左右的验证准确率比起堆模型深度把数据分布吃透、把验证手段做全才是让它从“能跑”变成“可信”的关键。希望这些踩过的坑能帮你少走几步弯路。本文还有配套的精品资源点击获取