简介基于Python开发的多模态融合情感分析系统支持文本、语音、图片与视频四种输入模态通过特征级融合实现情感分类可直接用于毕业设计、期末大作业及课程设计等项目场景。代码编写规范注释详细清晰划分了数据预处理、模型构建、训练评估等功能模块新手也能依据注释快速理解并运行。资源共20个文件涵盖5个Python源码、9个pickle特征数据、3个数据集压缩包含IEMOCAP、MOSI、MOSEI等常用多模态数据集、1份PDF项目文档、1份MD说明及1张结果示意图压缩包总大小56.9MB其中pickle可一键加载、文档与代码配套、PNG图直观展示效果。该项目源自个人手打的98分高分作品获得导师高度认可系统界面友好、功能完善、操作简单下载后即可部署运行适合作为毕业设计、期末大作业的高质量模板。目前已有101人学习对于需要完整多模态情感分析方案的开发者具有很高的参考价值。1. 多模态融合情感分析源码包里有什么一次说清它解决什么问题第一次碰多模态融合情感分析的人大概率不是被模型难倒而是被数据对齐劝退的。文本特征、语音特征、视频帧特征三种模态的时间窗口完全不一样直接拼到一起维度都对不上。这份基于 Python 开发的多模态融合情感分析源码包把 CMU-MOSI、MOSEI、IEMOCAP 这类经典数据集整理成了可以直接训练的 pickle 特征文件附带数据预处理脚本、模型定义、训练入口和项目文档属于拿到手就能复现的完整工程。适合三类人做毕业设计需要快速落地多模态方向的学生期末大作业想展示完整技术链路的人以及第一次接触多模态特征、想搞明白文本/语音/视频怎么融合的 Python 新手。它不追求模型多花哨核心是把数据、训练、评估这条链路给你铺平让你把精力放在理解和调参上。2. 从 pickle 特征到可训练样本create_data.py 与 data_prep.py 的预处理链路2.1 数据集怎么选MOSI、MOSEI、IEMOCAP 的差异项目里出现的三个数据集分别对应不同来源的多模态情感语料。CMU-MOSI 是最常用的多模态情感分析基准样本来自 YouTube 单人视频片段每个片段都有文本、音频和视频帧三类特征标签是情感倾向的打分范围通常在 -3 到 3。MOSEI 是 MOSI 的扩大版样本规模更大、说话场景更杂适合验证模型在更大数据量上的表现。IEMOCAP 则是会话式的多模态情感数据库由多名演员按剧本对话录制而成标签是情感类别比如生气、开心、悲伤、中性等语音和转录文本质量都比较干净常被当作情感分类任务的标准基准。这三大数据集的划分方式也不一样。MOSI/MOSEI 一般按视频片段切样本每个片段独立评分IEMOCAP 是对话式录音同一个说话人可能出现在多个样本里如果切分不谨慎训练集和验证集之间会出现说话人重叠导致指标虚高。如果你的毕设方向是「从视频片段判断说话人情绪」选 MOSI/MOSEI 更合适如果课程要求做对话中的情感分类IEMOCAP 更贴近真实场景。这也是为什么项目里每个 pickle 单独命名训练时按对应数据集加载不能混着用。2.2 2way、4way、6way 是什么意思标签划分先搞清楚unimodal_mosi_2way.pickle、unimodal_iemocap_4way.pickle、unimodal_iemocap_6way.pickle光看名字就够绕的。很多人会误以为 2way、4way、6way 是模态数量其实这里指的是标签任务的类别数。MOSI 的 2way 对应二分类任务最常见的是把情感分按正负划分成积极、消极两类IEMOCAP 的 4way 通常指四类情感6way 指六类情感具体是哪几个类别取决于标注时对情绪标签的合并方式。pickle 里的特征其实已经是按单模态分别预提取好的文本用词向量表示语音用音频特征视频用视觉帧特征。这里的unimodal不是说只用了一个模态而是说每种模态先单独编码成向量等进入模型时再做拼接融合。搞清楚这一点后面加载数据时才不会把 label 的 shape 理解错。我见过有人拿 6way 的 pickle 去配 4 分类的输出头训练出来 loss 直接报错就是因为没看 pickle 里的标签范围。2.3 data_prep.py 常规流程与 create_data.py 的分工create_data.py和data_prep.py的分工可以理解成「从原始标注生成样本」和「把样本整理成可训练批次」两步。create_data.py负责处理原始数据集的标注文件把每个样本的文本、音频、视频路径整理成统一结构并做基础过滤比如去掉时长过短的片段data_prep.py负责加载已经生成好的 pickle 特征做 train/valid/test 划分并在必要的时候对音频和视觉特征做标准化。两个脚本之间有明确的输入输出约定create_data.py 产出的中间文件data_prep.py 拿去消费。# data_prep.py 中加载 pickle 并检查结构的典型写法示意 import pickle def load_pickle(pickle_path): with open(pickle_path, rb) as f: data pickle.load(f) # 常见结构{train: {...}, valid: {...}, test: {...}} return data def inspect(data): for split in [train, valid, test]: print(split, data[split][text].shape, data[split][audio].shape, data[split][vision].shape, data[split][label].shape)拿到一个新 pickle我一般先打印每个 split 下的四个 shape确认 text、audio、vision 三个特征数组的第一维是同一个样本数且和 label 的样本数一致再开始写训练逻辑。如果维度对不上优先怀疑切分时没有做对齐而不是模型的问题。参数方面shape 里第一维一般是样本数后面是特征维度文本特征常见形状是 (N, seq_len, word_dim)语音和视觉特征在预提取后通常已经聚合到 (N, feat_dim)。如果你发现语音和视觉还是三维的就要在 data_prep 里先做降维比如按时间维平均再进模型。create_data.py 面对的是原始数据。以 IEMOCAP 为例常见做法是遍历每个会话目录把转录文本、wav 语音文件和视频帧文件按文件 ID 对齐生成一个 manifest 列表方便后续特征提取一次跑完。# create_data.py 中生成 manifest 的示意代码 import os import csv def build_manifest(data_root, output_csv): rows [] for session in sorted(os.listdir(data_root)): session_dir os.path.join(data_root, session) # 假设目录下有 text/ 和 audio/ 两个子目录 text_dir os.path.join(session_dir, text) audio_dir os.path.join(session_dir, audio) for txt_name in sorted(os.listdir(text_dir)): base_id txt_name.split(.)[0] rows.append([ base_id, os.path.join(text_dir, txt_name), os.path.join(audio_dir, base_id .wav), ]) with open(output_csv, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerows([id, text_path, audio_path]) writer.writerows(rows) return len(rows)这段示意代码说明 create_data 阶段的核心工作把不同模态的原始文件通过 ID 对齐成一条样本记录。build_manifest 返回的样本数值得做个 sanity check和官方标注数量对得上说明 ID 对齐没有漏。实际项目中如果数据集自带对齐特征这个步骤可以简化成直接引用官方提供的特征数组。提示机器内存紧张时不要指望一次性把整个 pickle 读完再切分。常见做法是确认 pickle 内部已经是 train/valid/test 划分完成的按 split 逐块读取避免 16G 内存被大数组占满导致进程被杀。3. 融合模型怎么写unimodal 特征拼接、分类头与损失函数3.1 为什么叫 unimodal预提取特征与特征级融合这个项目的模型入口不是原始文本、原始音频、原始视频帧而是预提取好的特征向量。文本过 GloVe 或 BERT 得到词向量语音过 openSMILE 等工具得到音频特征视频帧过视觉特征提取器得到画面特征。三个模态独立编码最后在模型里拼接这种路线叫特征级融合也常被称作 early fusion 的一种变体。项目名里的 unimodal 指的是输入侧的每个模态都是单模态特征而不是说模型只用一个模态。特征级融合的好处是训练成本低、复现稳定。预提取特征和标签已经对齐好模型只需要学习怎么把三类特征整合起来。和端到端的区别在于端到端会把原始波形和视频帧直接塞进大网络效果可能更好但显存和调试成本都高出一大截对毕设来说不划算。你可以把这份资源当成一个「教学级但可信」的基线实现后续想改进再往注意力机制、跨模态交互的方向走。融合方式对结果的影响很直接。简单拼接是开销最小、最容易调通的方式决策级融合是每个模态先出分类结果再投票能容忍模态缺失但模型学不到模态间交互注意力加权则能让模型自动决定当前样本更该信文本还是语音。项目默认走的是拼接路线我在复现时一般也建议先跑通拼接再换更复杂的融合模块对比效果。3.2 model.py 中的融合网络三分支加拼接的分类器核心模型结构可以理解为三个单模态分支各自把输入向量过一层全连接加激活然后拼接再接一个分类头。下面是一个简化但同构的示意# model.py 中的融合网络骨架PyTorch 示意 import torch import torch.nn as nn class SimpleFusionNet(nn.Module): def __init__(self, text_dim100, audio_dim74, visual_dim35, num_classes6, hidden_dim128, dropout0.3): super().__init__() self.text_net nn.Sequential( nn.Linear(text_dim, hidden_dim), nn.ReLU(), nn.Dropout(dropout) ) self.audio_net nn.Sequential( nn.Linear(audio_dim, hidden_dim), nn.ReLU(), nn.Dropout(dropout) ) self.visual_net nn.Sequential( nn.Linear(visual_dim, hidden_dim), nn.ReLU(), nn.Dropout(dropout) ) self.classifier nn.Linear(hidden_dim * 3, num_classes) def forward(self, text_feat, audio_feat, visual_feat): t self.text_net(text_feat) a self.audio_net(audio_feat) v self.visual_net(visual_feat) fused torch.cat([t, a, v], dim-1) return self.classifier(fused)这里每个分支的 Linear 做的都是同一件事把预提取特征映射到一个公共的语义空间。hidden_dim 控制这个空间的宽度一般取 64 到 256太大容易过拟合太小学不出区分度。dropout 放在每个分支后防止拼接后的维度膨胀带来过拟合我习惯设 0.3 起步数据量大时可以降到 0.2。注意 text、audio、visual 三个分支必须有相同的输出维度否则 torch.cat 会在最后一个维度上直接报错。forward 里的顺序也很讲究三个分支各自算然后按最后一维拼接再接 classifier。如果某个模态的特征维度偏高比如文本是三维序列特征记得在网络入口处先做 flatten 或用平均池化压成二维否则 Linear 接收到的维度会对不上预提取特征的形状。3.3 loss 与指标分类和回归要分开选模型输出维度必须和标签任务匹配。IEMOCAP 的 4way、6way 是分类任务用 CrossEntropyLossMOSI 的 2way 如果按正负二分类处理同样用 CrossEntropyLoss如果直接用原始情感分做预测那就是回归任务用 MESLoss 或 CCC 这类一致性指标。项目提供了 2way 的 pickle说明默认把 MOSI 当二分类处理这样和 4way/6way 能共用一套训练循环报告指标也更直观。# 训练循环中 loss 与反向传播的核心片段 criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) for text_feat, audio_feat, visual_feat, label in train_loader: logits model(text_feat, audio_feat, visual_feat) loss criterion(logits, label.long()) optimizer.zero_grad() loss.backward() optimizer.step()这段逻辑里值得注意的地方有两个。一是 label.long()CrossEntropyLoss 要求标签是整数型如果你的 pickle 里 label 是 float读进来之后一定要先转 long否则会报类型错误。二是 zero_grad 必须在 backward 之前每轮 batch 都要清空上一次的梯度不然梯度会累加模型更新方向就乱了。评估指标方面分类任务看 accuracy 和 weighted-F1遇到 IEMOCAP 这种类别不完全均衡的数据集F1 比 accuracy 更能说明问题。4. 训练与复现run.py 的参数含义和结果文件说明4.1 环境准备Python 版本与依赖安装这份资源基于 Python 开发代码注释相对友好新手也能对照着看。推荐环境是 Python 3.8 到 3.10PyTorch 1.8 以上numpy、scikit-learn、matplotlib 按常规装就行。如果你是从零开始配环境建议先建一个干净的虚拟环境再装依赖避免和系统里已有的包冲突。# 创建虚拟环境并安装依赖的常用命令 python -m venv mmsa_env source mmsa_env/bin/activate # Windows 下执行 mmsa_env\Scripts\activate python -m pip install torch1.8 --index-url https://download.pytorch.org/whl/cpu python -m pip install numpy scikit-learn matplotlib tqdmpip 参数按需调整。CPU 版 torch 足够跑通 MOSI 和 IEMOCAP 的预提取特征因为你的数据本身已经是向量不需要像视频识别那样吃 GPU。如果后续要加大型预训练模型再换成对应 CUDA 版本。装完依赖后跑一句python -c import torch; print(torch.__version__)能正常输出版本号就说明环境通了一半。4.2 run.py 是怎么跑起来的参数说明run.py 是训练的总入口设计思路是「命令行传参 读取 pickle 特征 调用 model.py 训练」。不同数据集通过命令行切换不需要改代码这也是这类工程比较标准的做法。下面是一组实际可参考的启动命令# 训练 IEMOCAP 六分类模型 python run.py --dataset iemocap \ --pickle unimodal_iemocap_6way.pickle \ --num_classes 6 \ --epochs 30 \ --batch_size 32 \ --lr 1e-3 \ --seed 42 # 训练 MOSI 二分类模型 python run.py --dataset mosi \ --pickle unimodal_mosi_2way.pickle \ --num_classes 2 \ --epochs 20 \ --batch_size 64 \ --lr 5e-4 \ --seed 2024参数含义逐个说--pickle指定用哪个特征文件这是最容易出错的地方6way 的 pickle 配--num_classes 62way 配 2谁也别迁就谁--epochs影响收敛程度预提取特征任务一般 20 到 30 个 epoch 足够再多容易过拟合--batch_size在显存和内存允许时尽量大点32 到 64 都没问题--lr是关键1e-3 是大多数 Adam 方案的默认起点但如果发现 loss 震荡先把 lr 降到 5e-4 甚至 1e-4--seed固定随机种子让结果可复现。我一般会在固定 seed 的前提下先跑一次基线记录 acc 和 F1再动任何超参。4.3 训练日志与 result.png 怎么看run.py 跑完后项目里会留下 result.png 这张图通常是每个 epoch 的 loss 或 accuracy 曲线。看这张图不是看它长得好不好看而是三个信息模型有没有收敛、有没有过拟合、验证集指标是否在合理区间。loss 持续下降说明学习率合适训练 loss 降但验证 loss 回升是过拟合信号优先调 dropout 或减小 hidden_dim验证 acc 一开始就很高但又波动剧烈大概率是切分数据时出了问题或者类别分布严重失衡。我复现这类项目时有个习惯每次训练结束都记录三个数——验证集 accuracy、weighted-F1、最后一个 epoch 的 loss。同一份 pickle 固定 seed 后这两三个数应该能稳定复现。如果两次跑出来的相差超过两三个点先检查是否设置了随机种子再检查数据加载顺序是否被 shuffle 干扰。README 和项目文档 PDF命名就是 Canonical code.pdf里一般会有作者建议的复现步骤和结果区间以它为准。5. 避坑指南跑 MOSI 和 IEMOCAP 时最容易翻车的五个地方5.1 pickle 加载后 key 不存在现象执行data[split][vision]直接 KeyError或者打印 keys 后发现只有 text 和 audio没有 vision。原因并非所有 pickle 都包含完整三模态。2way 的 MOSI pickle 可能只抽取了文本和语音特征或者把视觉特征合并到了其他 key 里。项目名里的 2way 指标签数不代表模态数。解决先print(data.keys())再print(data[train].keys())列出实际存在的模态字段。没有 vision 字段就跑两模态分支model.py 里把 visual_net 去掉classifier 输入维度改成hidden_dim * 2强行凑三模态反而训练失败。5.2 特征维度对不上模型 forward 报错现象模型在拼接处报维度不匹配错误比如 text 输出维度是 128audio 输出维度是 74cat 拼接时一个 (N, 128) 一个 (N, 74) 直接冲突。原因三个模态的预提取特征维度本来就不同。文本常常是词级序列语音和视觉是帧级聚合特征直接喂给同一个 Linear 层会得到不同输出宽度。解决在进入融合网络前统一每个模态的特征表示。文本做完序列维度处理再压缩成向量语音和视觉按时间维做平均池化然后再进各自分支。改完维度后先在 data_prep 里打印四个 shape 做 sanity check再启动训练。5.3 内存爆掉进程被杀现象加载 pickle 后内存直接占满训练跑到一半进程被系统 kill 掉。原因预提取特征虽然维度不大但文件里可能一次性装了全文词向量和所有视频帧特征尤其 IEMOCAP 会话多数组容易被撑大。解决不要一次性load整个文件后立刻复制多份。data_prep 里按 split 切片读取、只保留训练需要的字段必要时把音频和视觉特征转成 float32 而不是 float64。特征转 float32 几乎不影响精度内存直接减半。如果你的数据处理脚本里出现np.array(data)这种复制操作尽量改成原地索引。5.4 训练 loss 不降或震荡现象loss 前几个 epoch 掉一点后面一直横盘或者上下乱跳不收敛。原因最常见的是学习率偏大其次是特征数值范围差异过大。音频特征可能是音量级的数值视觉特征又是 0 到 1 归一化两者不统一时梯度方向会被主导模态带偏。解决先把 lr 降到 1e-4 重跑一轮。同时对所有输入特征做标准化常见做法是(x - mean) / std用训练集的统计量去归一化验证集和测试集不能拿全部数据一起算均值和方差否则会泄漏测试集信息。做了这两步还在震荡再回头看是不是标签类别数配错了。5.5 类别数配错loss 直接报错现象程序运行后报IndexError: Target is out of bounds或者 loss 值异常大。原因pickle 里 label 最大值是 5但--num_classes只给了 4或者把 IEMOCAP 6way 的 pickle 用在了 4 分类模型上。解决加载 pickle 后打印np.unique(data[train][label])确认最小值和最大值再决定 num_classes。如果 label 是 float 但取值只有 0 到 5 的整数说明是分类任务直接转 long如果取值是连续的 -3 到 3 之间的实数那是回归任务不该用分类损失。动手训练前花十秒看一眼 label 分布能省下一下午的调试时间。6. 拿到 pickle 后的第一件事用小脚本验证数据与推理通路很多人的习惯是拿到代码立刻python run.py跑崩了再回头查数据这顺序其实反了。我现在的固定动作是先做一轮「数据体检」打印 pickle 的 key、shape、label 分布再用一行代码跑一次前向推理确认模型和特征维度能配合。这一步能过滤掉我上面列的一半问题。# 体检脚本验证 pickle 结构并跑一次前向 import pickle import torch import numpy as np data pickle.load(open(unimodal_iemocap_6way.pickle, rb)) train data[train] print(keys:, train.keys()) print(text:, train[text].shape, audio:, train[audio].shape, vision:, train[vision].shape, label:, train[label].shape) print(label range:, np.unique(train[label])) # 构造一个最小可运行模型做前向验证 from model import SimpleFusionNet # 假设 project model.py 暴露该模型 model SimpleFusionNet(text_dimtrain[text].shape[-1], audio_dimtrain[audio].shape[-1], visual_dimtrain[vision].shape[-1], num_classes6, hidden_dim64, dropout0.3) model.eval() with torch.no_grad(): sample_text torch.from_numpy(train[text][:1]).float() sample_audio torch.from_numpy(train[audio][:1]).float() sample_vision torch.from_numpy(train[vision][:1]).float() logits model(sample_text, sample_audio, sample_vision) print(logits shape:, logits.shape) print(predicted class:, torch.argmax(logits, dim-1).item())这段脚本的作用很明显前四行把数据结构和 label 范围一次看清楚后面的前向验证能让 model 构造时的维度参数一次性对上。如果 text_dim 取的是shape[-1]那你一定要清楚这个维度是词向量维度还是序列长度文本特征如果是 (N, seq_len, word_dim)这里取到的实际上是 word_dim需要先在 data_prep 里做压缩不能直接喂 Linear。我建议在 data_prep 里就把文本向量压到 (N, feat_dim)让模型层只看到二维输入省得前后端对着维度猜。从那以后我每次拿到新数据集都强制自己先走这一遍「结构打印 前向验证」再动训练脚本。这个习惯看起来多花五分钟实际省掉的是反复改参重跑的三四小时。希望帮到你也祝这份资源能成为你第一次完整跑通多模态情感分析的起点。本文还有配套的精品资源点击获取