简介面向需要完成毕业设计、课程设计或项目开发的计算机专业学生与开发者提供一套基于Python/TensorFlow的多模态融合情感分析完整方案。项目输入覆盖文本含emoji、语音、图片和视频采用分层策略从单模态特征逐步扩展为双模态与三模态特征最终由softmax层将结果划分为喜、怒、哀、其他四类情感比常规正负中性分类更能支撑用户情绪分层与目标人群分析。资源包含21个文件以pickle数据文件、Python脚本、数据集压缩包及PDF/Markdown说明文档为主整体约58.48MB并附带环境说明Python 3.6、TensorFlow 1.7支持CPU/GPU。项目结构围绕数据准备、模型构建、训练运行等模块展开便于按步骤理解多模态融合流程。源码已经过严格测试已有680人学习使用下载后既可作为课程设计或毕业设计的完整参考也可在其基础上替换数据集、增加新模态或调整情感分类策略方便二次开发。1. 基于 python 开发的多模态融合情感分析不是把三个模型拼一起就叫融合做情感分析的同学大概都有个直觉文本情感分类已经卷到没边了换个方向做多模态似乎更有搞头。但你如果把文本、语音、图像各跑一个模型最后把分数加一加那不叫多模态融合那叫投票。这个基于 python 开发的多模态融合情感分析项目真正值得拆的地方在于它把单模态向量按层级拼成双模态、三模态向量再统一过 softmax 分类成喜、怒、哀、其他四类而不是常见的正负中性三分类。这个设计思路比代码本身更有参考价值适合正在做毕业设计、课程设计或者想往用户画像方向延伸的项目开发场景。项目自带源码、项目文档和预处理后的数据集环境要求是 Python 3.6 和 TensorFlow 1.7CPU 或 GPU 都能跑下面从数据准备到模型训练一条线拆开讲。2. 项目骨架与数据流先读懂 pickle 缓存再谈改模型2.1 从文件清单看项目设计四个 pickle 文件决定了你训练时读什么把压缩包解压之后核心文件我按用途分了三组先看第一组unimodal_mosi_2way.pickle、unimodal_iemocap_6way.pickle、unimodal_iemocap_4way.pickle。这三个是已经抽取好的单模态特征缓存。mosi是 CMU-MOSI 数据集iemocap是 IEMOCAP 数据集后面的2way、4way、6way指的是情绪类别数量。换句话说作者把原始视频、音频、文本已经跑过一遍特征提取结果存在 pickle 里训练时直接加载不用你重新去处理原始视频帧这对没有 GPU 的同学非常友好。第二组是处理脚本data_prep.py、create_data.py、datasets.py。注意压缩包里还有一个名字很怪的“新建 文本文档.txt”这个通常是作者整理数据目录时留下的说明残留实际跑流程用不到别被它干扰。第三组是模型与训练入口model.py、run.py。model.py定义了分层融合结构run.py负责加载数据、构建图、启动训练。Canonical code.pdf是项目文档result.png是训练曲线截图README.md里有环境安装说明iemocap-data.zip是原始数据集的打包。2.2 数据准备链路raw 数据如何变成模型能吃的 pickle 特征原始iemocap-data.zip解压后里面是音频、视频转写的文本标注、以及每一段对话的情绪标签。data_prep.py干的事是把这些原始录音按句切分然后提取特征。常见做法是文本走词向量语音走 openSMILE 这类工具抽帧级特征图像或视频帧走预训练的 CNN 抽向量最后统一保存成 numpy 数组再序列化进 pickle。create_data.py的作用更像是组装器。它读入data_prep.py产生的中间结果把文本向量、语音向量、视觉向量对齐到同一个时间窗口然后按训练集、验证集、测试集切分最终生成unimodal_*_*.pickle文件。这里有个关键点对齐是按句子粒度做的不是按帧粒度。IEMOCAP 的原始数据里有说话人停顿、重叠语音这些在预处理阶段都会被清洗掉。datasets.py是加载器里面的类会把 pickle 读进来同时处理样本随机打乱和 batch 划分。你可以把这三个文件理解成一条流水线data_prep负责原料粗加工create_data负责精切与打包datasets负责在训练时按需读取。2.3 两个数据集的差异为什么 mosi 是 2way 而 iemocap 是 6way很多第一次看这个项目的人会卡在这里unimodal_mosi_2way.pickle是两类unimodal_iemocap_6way.pickle是六类unimodal_iemocap_4way.pickle又变成四类那我的模型输出维度到底设多少答案取决于你加载哪个 pickle。CMU-MOSI 的原始标注是 [-3, 3] 的连续情感分数作者把它二值化成积极/消极两类所以是 2way。IEMOCAP 原始标注有 anger、happy、sad、neutral 等多种6way 是保留六个完整类别4way 是把近似情绪合并成喜、怒、哀、其他四类对应项目简介里说的分类标准。数据集pickle 文件类别数分类含义CMU-MOSIunimodal_mosi_2way.pickle2积极、消极IEMOCAPunimodal_iemocap_6way.pickle6六个原始情绪IEMOCAPunimodal_iemocap_4way.pickle4喜、怒、哀、其他如果你想复现项目文档里那个“四分类情感分析”的效果就直接用 4way 的 pickle。如果只是想先跑通代码用 2way 的 mosi 数据更快因为类别少、收敛快、对 CPU 训练更友好。2.4 跑通流程的最小步骤与预期输出第一次跑建议顺序是解压iemocap-data.zip→ 打开run.py确认 pickle 路径变量 → 设置数据集为unimodal_iemocap_4way.pickle→ 直接运行。如果run.py里写死了某一个 pickle 的名字你只需要改一处字符串。pickle_path ./unimodal_iemocap_4way.pickle # 换成你想用的数据 with open(pickle_path, rb) as f: data pickle.load(f, encodinglatin1) # py3 加载 py2 pickle 必备参数这里有个非常重要的细节encodinglatin1。这些 pickle 文件如果是在 Python 2 环境下序列化的Python 3 直接pickle.load(f)会报UnicodeDecodeError加encodinglatin1是最省事的解法。加载成功后data里通常是 dict 结构包含训练、验证、测试三个 split每个 split 下有 text、audio、video 三个模态的特征数组和 label 数组。3. 训练管线与模型结构model.py 的层级融合到底怎么设计3.1 单模态向量到三模态向量的拼接逻辑项目简介里提到的“分层方法”是核心创新点也是答辩时最容易被追问的地方。传统的 early fusion 是把三个模态的特征直接 concatlate fusion 是三个模态各出一个分数再平均这个项目走的是中间路线先两两融合再三模态融合。def hierarchical_fusion(text_vec, audio_vec, video_vec): # 单模态投影到同一维度 text_h tf.layers.dense(text_vec, 128, activationtf.nn.relu) audio_h tf.layers.dense(audio_vec, 128, activationtf.nn.relu) video_h tf.layers.dense(video_vec, 128, activationtf.nn.relu) # 双模态融合 text_audio tf.concat([text_h, audio_h], axis1) text_video tf.concat([text_h, video_h], axis1) audio_video tf.concat([audio_h, video_h], axis1) # 三模态融合 tri tf.concat([text_audio, text_video, audio_video], axis1) tri tf.layers.dense(tri, 256, activationtf.nn.relu) # 分类层 logits tf.layers.dense(tri, num_classes) return logits这段代码的思路是先将三个模态分别过一层全连接映射到 128 维的公共空间目的是消除三个模态特征维度不一致的问题。比如文本向量是 300 维 GloVe语音特征是 256 维视觉特征是 512 维不投影直接 concat 会让高维模态主导梯度更新。投影之后再两两拼接等于显式建模每两个模态之间的交互关系最后把三组双模态特征再拼起来过一层全连接得到三模态高层表示。这种设计的直观解释是情感判断往往不依赖所有模态同时生效。比如语气平淡但画面愤怒语音和视觉的矛盾信号需要模型先学到“视频主导”的权重双模态层就是给这种权重留了学习空间。实际代码里model.py会复杂一些可能加了 dropout 和 batch normalization但骨干结构就是上面这个三段式。3.2 run.py 的核心参数与实测调整run.py是整个项目的入口。里面的超参数直接决定训练效果最重要的四个learning_rate、batch_size、num_epochs、num_classes。flags tf.app.flags flags.DEFINE_float(learning_rate, 0.001, 初始学习率) flags.DEFINE_integer(batch_size, 32, 每个batch的样本数) flags.DEFINE_integer(num_epochs, 100, 最大训练轮数) flags.DEFINE_integer(num_classes, 4, 分类类别数与pickle匹配) FLAGS flags.FLAGS学习率 0.001 用的是 Adam 优化器的常见默认值适合小规模多模态数据。如果训练 loss 震荡不降我一般会降到 0.0003如果收敛太慢先确认是不是类别数设错了。batch_size建议保持 32因为 pickle 里缓存的特征其实是内存中的 numpy 数组数据量不大batch 太大会让梯度方向单一太小会放大噪声。训练启动命令在 TensorFlow 1.7 下是python run.py --learning_rate0.001 --batch_size32 --num_epochs100 --num_classes4如果run.py里已经写死了参数你也可以直接python run.py开跑。TF 1.7 没有 Keras 那种model.fit的友好输出你会在终端看到每个 step 的 loss 和 accuracy 逐行打印result.png里画的就是这个日志的曲线。3.3 训练日志里该盯什么loss 曲线比准确率数字更诚实多模态模型一个典型毛病是过拟合得悄无声息。因为特征维度高、样本量小训练 accuracy 可能很快冲到 95%但验证 accuracy 卡在 70% 甚至往下掉。这时候盯住训练日志里的验证集 loss如果它在第 30 轮开始反升而训练 loss 还在降就是典型的过拟合信号应该提前停掉然后调大 dropout 或者减小模型容量。项目里如果提供了验证集 accuracy 打印判断标准很简单训练 accuracy 与验证 accuracy 差距超过 15 个百分点基本可以断定过拟合。这时优先动模型代码里的 dropout 层而不是加数据因为多模态数据集的标注成本非常高你很难快速扩充样本。另外TensorFlow 1.7 的日志里经常会出现WARNING:tensorflow:开头的一堆提示大部分是参数初始化或设备分配相关的警告不影响训练结果。真正的错误特征是进程直接退出或者 loss 变成 NaN。loss 变 NaN 的常见原因是学习率过大或输入数据里有 NaN 值——预处理阶段漏掉的空音频帧会导致特征数组里出现 NaN这种问题在后面避坑章节专门展开。4. 避坑与排查TensorFlow 1.7 环境下最常见的 5 个翻车现场4.1 pickle 加载报 UnicodeDecodeError现象pickle.load(f)执行时抛出UnicodeDecodeError: ascii codec cant decode byte 0x8b in position 0。原因pickle 是 Python 2 序列化生成的字符串默认是 byte 类型Python 3 默认按 Unicode 处理两者不兼容。解决加载时强制指定编码。with open(unimodal_iemocap_4way.pickle, rb) as f: data pickle.load(f, encodinglatin1)latin1是 Python 2 和 3 都能无损互转的编码比bytes更省事。如果你加载后取特征时发现数组维度不对八成是同一个文件里混了不同编码逐个层查看data.keys()去定位。4.2 TensorFlow 1.7 装不上Python 3.8 以上直接报错现象pip install tensorflow1.7在 Python 3.8 环境下提示找不到匹配版本或者装上了但 import 时崩溃。原因TensorFlow 1.7 是 2018 年的版本官方只支持到 Python 3.6。Python 3.8 的 ABI 不兼容。解决用 conda 建一个 Python 3.6 环境再装。conda create -n tf1 python3.6 conda activate tf1 pip install tensorflow1.7别在这上面浪费时间硬刚。用 Python 3.6 虚拟环境是这个项目最省心的做法装好后python -c import tensorflow as tf; print(tf.__version__)输出1.7.0才算通过。4.3 训练时 OOM 显存不足但项目明明支持 GPU现象ResourceExhaustedError: OOM when allocating tensor with shape [...]进程直接退出。原因TensorFlow 1.7 默认申请全部 GPU 显存训练和验证集一次性全部加载到显存也会放大占用。解决在run.py开头限制 GPU 显存按需分配。config tf.ConfigProto() config.gpu_options.allow_growth True sess tf.Session(configconfig)加上之后训练过程会边用边申请显存不再一次性吃满。如果还是 OOM把batch_size从 32 降到 16多模态特征 concat 之后占用确实比单模态高不少。4.4 iemocap 解压后路径对不上run.py 找不到数据现象报FileNotFoundError: ./iemocap-data/xxx.wav但文件明明存在。原因iemocap-data.zip解压后内层文件夹层级和data_prep.py里写死的路径不一致最常见的是多套了一层目录。解决解压后先看一眼目录结构把data_prep.py里路径变量改成实际路径。懒得改脚本的话也可以直接把解压出来的文件挪到脚本预期位置。unzip iemocap-data.zip -d ./ # 如果生成 ./iemocap-data/iemocap-data/xxx就手动把内层提到外层 mv ./iemocap-data/iemocap-data/* ./iemocap-data/4.5 中文文本带 emoji 预处理后全部变成乱码现象训练 accuracy 极低检查数据发现文本向量都是同一个值。原因项目原始数据处理是面向英文的emoji 和中文在分词、编码阶段的处理逻辑不一致如果你替换成自己的中文数据集没做字形归一化就直接过词向量绝大多数 token 会映射成 OOV。解决预处理阶段先统一编码再决定是否保留 emoji。# 常见做法emoji 转成占位 token中文按字切分 import re text re.sub(r[\U00010000-\U0010ffff], emoji, text) text .join(list(text)) # 按字切分中文情感分析里按字切分比按词切分更稳因为分词错误会直接污染后续情感极性判断。这个项目本身是英文数据集如果你要套自己的中文数据必须走这一步否则后面全是白训。5. 把预计算特征接到自己的数据上最小改动替换 pickle 的完整方法到这一步你已经能跑通项目自带的 iemocap 四分类。但毕业设计答辩时老师大概率会问“你能不能处理自己的数据” 这里给一个经过验证的替换方案不重写模型结构只把create_data.py的输出格式对齐到项目期望的 pickle 结构上。首先明确模型需要什么一个字典包含train、valid、test三个键每个键下又有text、audio、video、label四个数组其中三个模态的特征数组第一维必须长度一致label 是独热编码或整数索引。你的自制数据只要做成这个结构模型代码一行不用改。import numpy as np import pickle def build_pickle_from_custom(text_feats, audio_feats, video_feats, labels): assert text_feats.shape[0] audio_feats.shape[0] video_feats.shape[0] len(labels) data { train: {text: text_feats[:400], audio: audio_feats[:400], video: video_feats[:400], label: labels[:400]}, valid: {text: text_feats[400:500], audio: audio_feats[400:500], video: video_feats[400:500], label: labels[400:500]}, test: {text: text_feats[500:], audio: audio_feats[500:], video: video_feats[500:], label: labels[500:]} } with open(./custom_data.pickle, wb) as f: pickle.dump(data, f, protocol2)几个参数要点protocol2是为了兼容 Python 2 加载器如果你确定只在 Python 3 环境用protocol4也可以但建议保守一点。训练集、验证集、测试集的划分比例常见做法是 8:1:1上面代码里 400/500 是个硬编码示例实际应该按你的样本总量算索引我给一个通用写法train_end int(len(labels) * 0.8)valid_end int(len(labels) * 0.9)。换好数据之后训练命令跟第 3 章完全一致唯一改动是把run.py里的 pickle 路径指向custom_data.pickle同时确认num_classes和你的 label 数量对应。如果你手里的数据还没有模态特征也就是只有原始音频文件和文本那需要先做特征提取文本可以用 GloVe 或 BERT embedding语音建议用 openSMILE 抽 IS13 协议的标准特征集视频帧用预训练 ResNet 抽最后一层池化特征。这一步大家基本都是各用各的工具链没有统一标准但保证输出是形状为(样本数, 特征维度)的 numpy 数组就行。这里有个我一直强调的习惯替换完数据集后第一件事不是看 accuracy而是把 pickle 加载出来打印特征数组的 shape 和 label 的取值分布。with open(./custom_data.pickle, rb) as f: check pickle.load(f, encodinglatin1) print(check[train][text].shape) print(np.unique(check[train][label]))如果 shape 里四个模态长度不一致或者 label 的取值数量超过num_classes训练再有耐心也是白费。从那以后我每次换数据都强制走一遍这个检查五分钟能省一晚上的排查时间希望帮到你。本文还有配套的精品资源点击获取