简介这是一套基于Python开发的多模态融合情感分析项目输入涵盖文本、语音、图片与视频适合作为毕业设计、期末大作业或课程设计参考。项目代码编写规范、注释详尽即使新手也能快速上手整体完成度高导师认可。资源包内共20个文件压缩包大小约56.9MB包含5个Python脚本、9个pickle预处理特征、3个zip原始数据集、1份PDF项目文档、1个Markdown说明和1张结果图。其中py文件覆盖数据创建、预处理、模型搭建与运行等完整流程pickle提供MOSI、IEMOCAP等标准数据集的多模态特征zip内为原始音频/文本/图像数据PDF文档则对项目设计、实现与答辩要点进行了总结。目前已有101人学习下载适合需要完整参考毕业设计项目或进行多模态情感分析研究的同学目录结构清晰便于按需查阅与二次开发。1. 多模态融合情感分析把文本、语音、图片和视频放进同一个模型基于python开发的多模态融合情感分析项目输入端同时接收文本、语音、图片和视频帧用一套模型完成特征提取、时序对齐和情感判断。它不只是把文本分类器换成大模型而是把三种异构模态拼成一条完整的训练流水线这也是目前情感计算方向毕业设计里性价比很高的一种选题。项目源码里打包了 MOSI、MOSEI、IEMOCAP 三个公开数据集的预处理结果区分 2 分类、4 分类、6 分类任务配套 model.py、run.py 和项目文档踩坑点都集中在数据处理阶段适合做毕设、课程设计或者想快速跑通多模态流程的人。下面从数据集和预处理开始拆。2. 数据准备先把三种模态变成能对齐的特征向量多模态模型跑不起来八成是数据没准备好。模型输入的从来不是原始视频文件和音频波形而是从这些文件里抽出来的特征序列。本节先说数据集的选型依据再看项目里的文件结构最后拆 create_data.py 和 data_prep.py 具体做了什么。2.1 数据集选型MOSI、MOSEI 和 IEMOCAP 到底有什么差别情感分析公开数据集很多但能同时提供文本、音频、视频三种模态的并不多。项目里选了 CMU-MOSI、CMU-MOSEI 和 IEMOCAP这三个是公认的基准数据集论文里写对比实验也站得住脚。数据集模态样本规模标签形式常见任务CMU-MOSI文本音频视频约 2000 个短视频片段情感分数 -3 到 3二分类消极/积极CMU-MOSEI文本音频视频超过 2 万个片段情感分数 -3 到 3二分类、多分类IEMOCAP文本音频视频约 10000 个话语离散情感标签4 分类或 6 分类MOSI 里的样本是单人对着摄像头说一段影评语气、表情和文字内容都带有明显的情感倾向。MOSEI 是 MOSI 的放大版说话人更杂标签分布更不均衡更考验模型的泛化能力。IEMOCAP 是双人对话场景标签包括 angry、happy、neutral、sad、frustrated、excited 等所以既能做 4 分类也能做 6 分类。项目里能看到 unimodal_mosi_2way.pickle、unimodal_iemocap_4way.pickle、unimodal_iemocap_6way.pickle 这一组文件命名已经把任务说清楚了MOSI 做 2 分类IEMOCAP 分别做 4 分类和 6 分类。unimodal 表示这些特征是单模态编码器预先抽好的训练时可以直接从 pickle 加载不用自己装 OpenFace、OpenSMILE 那套工具链。对新手来说这能避开环境配置里最大的一类坑。2.2 项目文件结构源码、文档、数据各在什么位置收到压缩包之后先别急着跑花五分钟过一遍文件清单能少踩很多坑。按项目里的文件整理如下create_data.py # 把原始数据整理成统一 pickle 格式 data_prep.py # 加载 pickle、归一化、划分训练/验证/测试集 model.py # 单模态编码器 多模态融合模型 run.py # 训练、验证、保存模型的主入口 unimodal_mosi_2way.pickle # MOSI 单模态特征二分类 unimodal_iemocap_4way.pickle # IEMOCAP 单模态特征四分类 unimodal_iemocap_6way.pickle # IEMOCAP 单模态特征六分类 iemocap-data.zip # IEMOCAP 原始或初步处理数据 Canonical code.pdf # 项目文档/代码说明 README.md # 快速开始说明 result.png # 训练结果可视化pickle 是 Python 的序列化格式里面存的通常是特征矩阵、标签和样本 id。我一般会先用脚本看一眼每个 pickle 的 key 结构确认字段名再往下写训练代码。别直接拿起来就训练后面维度对不上时回头查数据要花更多时间。2.3 data_prep.py 核心逻辑归一化、划分数据集data_prep.py 做的事可以拆成三步读 pickle、做 z-score 归一化、按比例划分训练集验证集测试集。很多人忽略归一化但在多模态场景里文本特征、音频能量特征、人脸动作单元特征的数值范围差别非常大不归一化会让梯度更新被数值大的模态带偏。常见做法是每个模态各自独立归一化代码逻辑类似# data_prep.py 核心逻辑按常见做法整理 import pickle import numpy as np def load_features(path): 加载 pickle返回特征字典和标签数组 with open(path, rb) as f: data pickle.load(f) return data[features], data[labels] def normalize_per_modality(features): 按模态维度做 z-score 归一化 normalized [] for modal_feat in features: # features [文本, 音频, 视频] mean modal_feat.mean(axis0, keepdimsTrue) std modal_feat.std(axis0, keepdimsTrue) std[std 1e-8] 1e-8 # 防止常量维度除零 normalized.append((modal_feat - mean) / std) return normalized def split_by_video(ids, labels, ratio(0.7, 0.15, 0.15)): 按视频 id 划分防止同一视频的片段同时进训练集和验证集 unique_ids np.unique(ids) np.random.shuffle(unique_ids) n len(unique_ids) train_end int(n * ratio[0]) val_end train_end int(n * ratio[1]) train_mask np.isin(ids, unique_ids[:train_end]) val_mask np.isin(ids, unique_ids[train_end:val_end]) test_mask ~(train_mask | val_mask) return train_mask, val_mask, test_mask代码里有几个关键点。normalize_per_modality 里对每个模态单独求均值和方差不是把所有模态拉平后一起算因为不同模态的数值分布没有可比性。std 小于 1e-8 时置成一个最小值是为了避免某个特征在所有样本里都是同一个值导致计算中出现除零或者 NaN。split_by_video 按 video_id 划分而不是直接对样本做随机划分原因后面避坑章节会细说这里先记住一句话视频片段之间高度相关随机划分会让验证分数虚高。2.4 create_data.py 做什么从原始文件到特征序列create_data.py 的存在是为了让你不用从零安装 OpenFace、OpenSMILE 和 BERT 工具链。这类脚本的常见流程是对视频每秒抽帧送入人脸特征提取器得到动作单元和头部姿态对音频按帧提取 MFCC 或情感相关特征对文本用预训练模型得到句子向量或词向量最后把三种特征按时间轴对齐以视频片段为单位存成 pickle。时间轴对齐是多模态预处理里最麻烦的一步。视频特征的帧率一般是 30fps音频可能是 100fps文本是词级别三者天然不同步。如果你只做毕业设计不建议在这层花太多时间直接用项目里已经生成好的 pickle 是最省事的路线。真要自己生成特征也建议先从单特征文件跑通再合并。3. 模型设计先分开编码再融合判断多模态情感分析的模型部分可以拆成两个阶段每个模态先用一个编码器抽成固定维度向量再用融合模块把向量合并最后接一个分类头。项目里的 model.py 就是按这个思路组织的本节把单模态编码、融合策略、分类头三个部分逐个说清楚。3.1 为什么先做单模态编码而不是上来就拼接假设一个 batch 有 32 个样本每个样本的文本是 10 个词音频特征是 200 帧视频特征是 300 帧。如果直接把原始特征拼在一起得到的矩阵形状是不对的因为文本、音频、视频三路的序列长度根本不一样。就算想办法把长度都压成相同还有一个更实际的问题文本特征、音频特征、视频特征的分布差异太大直接拼接会让模型把“数值大”当成“情感强”。合理的做法是先让每个模态用自己的编码器把序列压缩成一个向量这个向量才参与后续融合。项目里的 unimodal 前缀其实就暗示了这个思路单模态特征编码器已经提前处理过每路数据。你在训练阶段拿到的是编码后的特征不需要再跑 BERT、OpenFace。但如果自己复现单模态编码器一般用双向 LSTM 或 Transformer。双向 LSTM 是这类项目里最常见的选择一段代码如下# model.py 中的单模态序列编码器 import torch import torch.nn as nn class UnimodalEncoder(nn.Module): def __init__(self, input_dim, hidden_dim, num_layers2, dropout0.3): super().__init__() self.lstm nn.LSTM( input_sizeinput_dim, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, bidirectionalTrue ) self.dropout nn.Dropout(dropout) def forward(self, x, lengths): # x 形状: (batch, time, input_dim) packed nn.utils.rnn.pack_padded_sequence( x, lengths.cpu(), batch_firstTrue, enforce_sortedFalse ) _, (h_n, _) self.lstm(packed) # h_n 形状: (num_layers * 2, batch, hidden_dim) # 取最后一层的正向和反向状态拼接 last torch.cat((h_n[-2], h_n[-1]), dim1) return self.dropout(last)这段代码有三个值得注意的参数。bidirectionalTrue 表示双向 LSTM能同时看到序列前后的信息对句子情感判断很关键因为“我不讨厌你”和“我不讨厌你”的重点完全相反。pack_padded_sequence 用来处理变长序列必须传入每个样本的真实长度 lengths而且这个长度要在构建 batch 的时候就算好。h_n[-2] 和 h_n[-1] 分别代表最后两层中前向和反向的隐状态拼起来得到 2 * hidden_dim 维向量。注意这里的 hidden_dim 是单向隐层维度双向之后输出维度翻倍。后面融合层的输入维度要按 2 * hidden_dim 来算这是一个非常容易算错的地方。3.2 融合策略拼接、注意力还是门控单模态编码做完每条数据就变成了三个向量文本向量、音频向量、视频向量。接下来面临的问题是怎么把这三个向量合并让模型做出判断。最简单的是直接拼接concat把三维拼成一维后面接全连接层。优点是实现零成本缺点是模型不会区分哪个模态更可信。比如一个人说“我很好”但语气低落、表情强颜欢笑这时视频和音频的权重应该更高而拼接做不到这种动态加权。进阶一点的做法是注意力融合。给三种模态各学一个权重权重由输入动态决定。项目里如果有类似 mmt 模块或者 attention 字样就是这种思路。如果想让权重更可控可以用门控融合思路类似 LSTM 里的门# 门控融合示例根据文本特征生成音频和视频的权重 class GatedFusion(nn.Module): def __init__(self, text_dim, av_dim): super().__init__() self.gate nn.Linear(text_dim av_dim, av_dim) self.sigmoid nn.Sigmoid() def forward(self, text_feat, audio_feat, video_feat): av torch.cat([audio_feat, video_feat], dim1) gate self.sigmoid(self.gate(torch.cat([text_feat, av], dim1))) fused_av gate * av return torch.cat([text_feat, fused_av], dim1)门控融合的核心是让网络自己决定“这条样本里音频和视频的联合特征应该保留多少”。gate 输出在 0 到 1 之间小于 1 时相当于主动丢弃一部分不可靠信息。对 IEMOCAP 这种带明显语气和面部表情的数据集门控通常比直接拼接稳定一些。3.3 分类头与损失函数从 2 分类到 6 分类项目里有 mosi_2way、iemocap_4way、iemocap_6way 三份 pickle区别只在最后一层分类头的输出维度。MOSI 二分类输出 2IEMOCAP 四分类输出 4六分类输出 6。模型主体可以完全共用这也是这份代码设计得比较干净的地方。分类头就是一层线性映射损失函数用交叉熵代码逻辑如下# 分类头与损失计算 import torch.nn.functional as F class MultiModalClassifier(nn.Module): def __init__(self, text_dim, audio_dim, video_dim, num_classes): super().__init__() self.encoder_t UnimodalEncoder(text_dim, 64) self.encoder_a UnimodalEncoder(audio_dim, 32) self.encoder_v UnimodalEncoder(video_dim, 32) fusion_in 64 * 2 32 * 2 32 * 2 # 三个双向编码器输出维度之和 self.classifier nn.Linear(fusion_in, num_classes) def forward(self, text, audio, video, len_t, len_a, len_v): t_feat self.encoder_t(text, len_t) a_feat self.encoder_a(audio, len_a) v_feat self.encoder_v(video, len_v) fused torch.cat([t_feat, a_feat, v_feat], dim1) logits self.classifier(fused) return logits # 训练时 logits model(...) loss F.cross_entropy(logits, labels)交叉熵会自动对 logits 做 softmax不需要在网络里单独加一层 softmax。如果你的标签是 [-3, 3] 这样的回归分数需要先做阈值映射把分数大于 0 记为积极小于等于 0 记为消极转成二分类标签再训练。项目里 unimodal_mosi_2way.pickle 应该已经是转换好的标签不用自己再处理但如果是自己造数据记得在预处理阶段完成这一步。如果某个 batch 里某个类别的样本特别少可以给 cross_entropy 传一个 weight 参数按样本数反比设置。IEMOCAP 数据里 neutral 和 frustrated 数量偏多excited 这类数量偏少不加权重时模型倾向于把所有样本预测成高频类别。4. 训练与复现run.py 的启动命令和参数调整数据准备好了模型结构也清楚了接下来就是让训练跑起来。对大多数人来说直接改几个参数就能跑通比从头造轮子更重要。这章把运行环境、run.py 启动方式和结果判断三件事一次说清。4.1 环境配置先把 Python 环境装干净多模态项目最怕装依赖装到一半提示版本冲突。建议新建一个独立的 conda 环境不要直接装在 base 里。项目核心依赖包括 PyTorch、NumPy、scikit-learn、tqdm、matplotlib如果你用的是项目自带的 pickle 特征不需要安装 OpenFace 和 OpenSMILE这一点非常省事。常见安装命令如下conda create -n multimodal python3.9 conda activate multimodal pip install torch numpy scikit-learn tqdm matplotlibPython 版本建议 3.8 或 3.9PyTorch 安装 CPU 版也能跑因为 pickle 特征已经提前提取完了训练时的主要开销是 LSTM 和全连接层数据量不大时 CPU 完全能接受。如果要用 GPU 跑安装对应 CUDA 版本的 PyTorch 即可项目代码不需要额外改动。4.2 启动训练run.py 的参数怎么看训练入口是 run.py正常启动方式如下# 训练 MOSI 二分类 python run.py \ --dataset mosi \ --num_classes 2 \ --epochs 30 \ --batch_size 32 \ --lr 1e-3 \ --seed 42 # 训练 IEMOCAP 六分类 python run.py \ --dataset iemocap6 \ --num_classes 6 \ --epochs 50 \ --batch_size 16 \ --lr 5e-4 \ --seed 42先说 dataset 参数。这个参数决定 run.py 加载哪个 pickle 文件常见取值有 mosi、iemocap4、iemocap6分别对应项目里的三份 unimodal pickle。num_classes 必须跟数据集标签类别数一致填错不会立刻报错但训练出来的模型精度会很低因为标签索引越界或者分类头输出个数对不上。batch_size 在显存允许范围内尽量取大一点多模态特征向量维度高batch 太小会造成 loss 震荡。如果 GPU 显存只有 4G先把 batch_size 降到 8再用梯度累积补效果。lr 初始值建议 1e-3但 IEMOCAP 这种类别较多的任务我一般用 5e-4 起步。训练到一半 loss 不降时可以把学习率调到原来的 0.1 倍再训 10 个 epoch。run.py 里如果已经写了学习率调度器直接设置 --lr 就行不用手动改代码。4.3 run.py 内部流程训练循环、验证和模型保存跑 run.py 的时候它内部做的事可以概括为四个循环加载数据、前向计算、反向传播、验证评估。核心训练框架大部分是这种写法# run.py 中的训练循环核心逻辑节选 best_val_acc 0.0 for epoch in range(args.epochs): model.train() total_loss 0.0 for batch in train_loader: text, audio, video, len_t, len_a, len_v, labels batch logits model(text, audio, video, len_t, len_a, len_v) loss F.cross_entropy(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() # 每个 epoch 结束后在验证集上评估 val_acc evaluate(model, val_loader) print(fEpoch {epoch}: loss{total_loss:.4f}, val_acc{val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pth)这里有一个容易被忽略的关键点验证集评估发生在 epoch 结束之后不是训练过程中。如果训练集 loss 持续下降而验证集 acc 不升反降说明模型开始过拟合应该停止训练而不是继续跑完剩余 epoch。run.py 不一定内置早停逻辑你可以自己在验证 acc 连续 5 个 epoch 不涨时中断训练。model.state_dict() 保存的是模型参数不含优化器状态。如果你打算从断点继续训练最好把 optimizer.state_dict() 也一起保存。对于毕设项目只保存模型参数就够用了因为论文里需要的只是测试集上的最终指标。4.4 result.png 与评估指标不能只看准确率result.png 是训练结束后生成的曲线图一般包含训练 loss 曲线和验证集准确率曲线。看这张图有两个重点一是训练 loss 是不是在稳定下降二是验证集准确率和训练集差距大不大。如果训练 acc 达到 95% 而验证只有 60%基本可以断定过拟合。对于情感分类还有一个更重要的指标F1 值。MOSI 和 IEMOCAP 的类别分布都不均衡准确率会被高频类别拉高。举个例子如果一个数据集里 80% 是消极样本模型全预测消极也能拿到 80% 准确率但这显然不能说明模型学会了情感判断。我一般会在评估时同时输出每个类别的 precision、recall 和 F1这样论文里能写的东西也多。5. 避坑手册多模态训练最容易翻车的五个现场多模态项目里训练代码本身通常不算复杂复杂的是数据方方面面埋的那些坑。我花在排障上的时间比写模型多得多很多问题在第一次跑时必现。把最常遇到的五个问题记下来每条按现象、原因、解决三步说明。5.1 RuntimeError: size mismatch——序列长度对不齐现象训练第一个 batch 就报维度不匹配错误提示 text 和 audio 的第二个维度不一致。原因一个 batch 里的样本长度不同有的视频 30 帧有的视频 300 帧。代码把不同长度的特征直接拼进同一个 tensorPyTorch 不允许二维矩阵里出现不规则的列数。如果用了 pack_padded_sequence却没有正确传入 lengths也会出现类似错误。解决在构造 batch 时用 padding 把同一批样本补到相同长度同时记录每个样本的真实长度。正确做法是在 Dataset 的getitem里返回 features 和 lengths 两个值然后在 collate_fn 里做动态 padding而不是在数据预处理阶段把整个数据集都 padding 成最大长度。后者会浪费大量内存而且训练变慢很多。5.2 pickle 加载报错No module named xxx 或 EOFError现象运行 data_prep.py 或 run.py 时pickle.load 直接抛异常提示找不到某个模块或者直接 EOFError。原因有些 pickle 文件是在特定类定义存在的情况下序列化的类名可能被修改过另一种情况是文件没有下载完整zip 解压时中断pickle 文件损坏。解决如果是类名不匹配优先用项目提供的 load 脚本不要自己写 pickle.load。如果是文件损坏检查 iemocap-data.zip 解压后的大小是否与压缩包内显示一致。pickle 本来就是一种脆弱的存储格式换 Python 大版本后兼容性问题很常见。我一般会先用一个独立的小脚本只加载 pickle key确认结构没问题再跑完整流程。5.3 显存爆炸OOM 发生在第二个 epoch现象第一个 epoch 正常第二个 epoch 跑到一半 GPU memory 不足进程被杀。原因数据加载器每次返回的都是 padding 后的最大长度序列如果你把 batch_size 设得太大而且三路特征同时进 LSTM显存占用会叠加。还有一种情况是每个 epoch 都新建了计算图没有用 zero_grad 释放上一步的梯度。解决先调小 batch_size 到 8 或 16观察显存占用。如果还想保持大 batch用梯度累积每 4 个小 batch 执行一次 optimizer.step。另外在 backward 之前必须调用 optimizer.zero_grad()否则计算图叠加显存很快耗尽。也可以用 torch.cuda.empty_cache() 在验证阶段清理缓存但这不是根本解法。5.4 验证集分数虚高同一视频的片段同时出现在训练集和验证集现象验证集准确率在训练初期就能到 85% 以上看起来过于顺利测试集却掉到 60% 以下。原因这是多模态数据划分最经典的坑。一个视频片段被切成了几十个样本如果随机划分数据集同一个视频的帧可能同时出现在训练集和验证集。模型在训练时见过这个人的面部表情和声音特征验证时再见到同一个人的不同句子相当于开卷考试。解决在 data_prep 阶段必须按视频 ID 划分。也就是说一个视频的全部片段只能属于训练集、验证集或测试集中的一个。项目里的 split_by_video 函数做的就是这件事。你可以检查自己的划分代码确认 train_mask 和 val_mask 的交集为空并且每个视频 ID 只出现在一个集合里。5.5 换台机器结果对不上随机种子和 PyTorch 版本差异现象同一份代码同一份数据在不同电脑上跑出来的准确率差 2 到 3 个百分点偶尔更多。原因PyTorch 的某些算子在不同 CUDA 版本下计算结果有细微差异更常见的是没有设置随机种子导致参数初始化、数据打乱顺序每次都不一样。解决在 run.py 开头固定所有随机源。常见的组合import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False注意 torch.backends.cudnn.deterministic 设为 True 会牺牲一点训练速度但对可复现性有利。毕设实验记录里最好写明 Python 版本、PyTorch 版本、CUDA 版本和随机种子否则答辩时结果复现不出来解释成本会很高。6. 进阶用训练好的模型跑一段自己录的视频模型训练完最后要拿自己录的视频验证一次。把这段推理流程固定下来用来判断项目是不是真的“端到端可用”。要跑通单条样本推理需要把新视频切成片段抽取文本、音频、视频特征再喂给模型。项目里 pickle 存的是已经抽取好的特征所以最简单的方式是先跑通示例特征再替换成你自己的向量。推理脚本可以这样写# 推理脚本加载训练好的模型对一条样本做预测 import torch from model import MultiModalClassifier checkpoint torch.load(best_model.pth) model MultiModalClassifier( text_dim768, audio_dim33, video_dim20, num_classes2 ) model.load_state_dict(checkpoint) model.eval() with torch.no_grad(): # 假设 text_feat, audio_feat, video_feat 已按预处理脚本对齐 logits model(text_feat, audio_feat, video_feat, lens) pred torch.argmax(logits, dim1).item() print(情感预测结果:, pred)模型一定要切到 eval 模式并包在 torch.no_grad() 里否则 dropout 仍然生效同一份输入每次预测出来的结果都可能不一样。text_dim、audio_dim、video_dim 这三个参数必须和训练时保持一致否则 load_state_dict 会直接报 key 不匹配。如果你想让项目更有完整度可以在这一步加上一个简单的阈值判断当模型对积极和消极两类的置信度都非常接近时输出“中性”这比硬挤出二分类结果更符合人的直觉。我当时做实验时就是在这里吃了一次亏没按视频 id 切数据验证准确率虚高到 90%换到测试集直接打回原形。从那以后我每次换数据集都强制走一遍数据划分检查先把训练集里出现的 video id 和验证集做交集比对再跑任何实验。这个习惯帮我挡住了好几个本可以避免的翻车现场。如果你要用在毕业设计上建议直接拿项目自带的 pickle 特征做实验把精力留给模型设计和结果分析。完整源码、项目文档和三份数据集都打包在下载资源里按照第 2 章的文件清单解压后就能开始跑。希望帮到你。本文还有配套的精品资源点击获取