简介一套面向Python课程设计与期末大作业的微博评论情感分析项目基于朴素贝叶斯和支持向量机两种经典机器学习算法并配套可视化交互界面。项目源自大三学生的高分期末作业经导师指导并获得99分评价代码完整、依赖清晰可直接运行调试适合计算机相关专业本科生作为课程设计或毕业设计参考。资源包共51个文件大小17.79MB核心内容涵盖Python脚本含数据爬取、情感分析、模型训练与预测、微博评论CSV数据集、哈工大/四川大学等多份中文停用词表、BosonNLP情感词典以及基于Pyecharts生成的HTML可视化页面和已训练好的SVM、朴素贝叶斯模型文件同时附有项目流程图、运行截图和README说明文档目录结构一目了然。目前已有304人学习下载。通过该资源可完整掌握从数据清洗、分词、TF-IDF特征构建到两种模型对比评估的情感分析流程并能直接复用其可视化模块快速迁移到其他文本分类场景中。1. 期末大作业做微博情感分析朴素贝叶斯和SVM为什么总被一起用把Python期末大作业做成微博评论情感分析很多同学会同时选朴素贝叶斯和支持向量机两种机器学习算法再配上一套可视化图最后交一份源码加文档说明。这个题目之所以常见是因为它既覆盖了文本分类的完整流程又能把“数据处理—特征提取—模型训练—评估展示”串联起来课程答辩时很容易讲成一条主线。朴素贝叶斯训练快、逻辑透明适合作为基线支持向量机在短文本稀疏特征上的分类表现通常更好两者一对比实验部分就有了内容。这篇笔记会按你实际交作业的顺序走一遍数据从哪来、怎么清洗、两个模型怎么调、可视化怎么画、哪些坑必须绕开。适合正在做期末大作业、急需一个可靠落地路径的Python初学者也适合想快速复用这套思路做其他文本分类项目的同学。2. 数据和特征微博评论清洗、分词与标签构造2.1 获取评论数据的三个来源爬虫、公开数据集、自己造常见做法是先找一个能用的评论数据集。微博评论本身没有官方开放接口爬虫需要处理登录、反爬和微博网页结构变化对期末大作业来说时间成本偏高。我一般会优先用Github上的公开中文情感语料比如酒店、电商评论这类已经打好标签的数据虽然它不是真正的微博评论但只要内容是短文本训练出来的模型迁移到微博场景也能工作。第二个来源是自己手动标注找几百条真实微博评论把“正面”“负面”两个标签打上去。第三个来源才是爬虫而且建议把爬虫当作“数据补全”手段不要指望靠它爬到几千条干净评论。无论选哪个来源都需要拆成训练集和测试集比例按7:3或者8:2都行。注意不要用全部数据训练再拿同一批数据评估那样准确率虚高答辩一问就会穿帮。2.2 清洗 emoji、URL、用户和重复评论的代码模板微博评论的噪音集中在四类URL链接、用户名、emoji表情、重复粘贴的刷屏评论。清洗的目标是保留中文信息同时去掉对分类没有贡献的符号。下面这段是我常用的预处理函数可以直接抄进项目import re import pandas as pd def clean_comment(text): # 去掉网页链接 text re.sub(rhttp\S|www\.\S, , text) # 去掉用户名 text re.sub(r[\w\u4e00-\u9fa5], , text) # 去掉#话题#里的#号但保留话题词 text re.sub(r#, , text) # 去掉emoji和特殊符号只保留中文、英文、数字和常用标点 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、,.!?], , text) # 合并多个空格和换行 text re.sub(r\s, , text).strip() return text df[clean_text] df[comment].apply(clean_comment) df df.drop_duplicates(subset[clean_text], keepfirst)这段代码的逻辑很直接先用正则删除链接和用户再把#去掉最后把非中英文、数字、常用标点的字符全部过滤掉。这里有个容易踩坑的细节就是不要把标点全部删掉因为感叹号和问号在微博情感表达里是有意义的。比如“太好看了吧”和“好看”的文本表达强度完全不同保留标点可以让朴素贝叶斯学到这些特征。drop_duplicates去掉完全相同的评论避免刷屏数据把模型带偏。如果你的数据集里有很多“哈哈哈哈”之类的短评论可以再设一个阈值把长度小于2的字符串丢掉。2.3 用 jieba 分词并构造训练集/测试集注意标签平衡清洗之后下一步是把每一条评论切成词。这里统一用 jieba 库注意要先 pip install jieba。分词时有两个细分选择要不要去停用词要不要用自定义词典。微博场景下像“的、了、吗”这类停用词去掉比较好但“不”“很”这种程度词建议保留因为它们对情感判断影响很大。下面这段代码可以同时完成分词和数据集切分import jieba from sklearn.model_selection import train_test_split stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def tokenize(text): words jieba.lcut(text) words [w for w in words if w not in stopwords and w.strip() and not w.isspace()] return .join(words) df[cut_text] df[clean_text].apply(tokenize) X_train, X_test, y_train, y_test train_test_split( df[cut_text], df[label], test_size0.2, random_state42, stratifydf[label] ) print(X_train.shape, X_test.shape)这里有一个容易忽略的地方train_test_split 里的 stratify 参数它会让训练集和测试集里的正负样本比例保持一致。微博评论情感分布往往不平衡比如负面评论占六成正面占四成如果不做分层抽样模型可能偏向多数类。random_state 固定为42保证每次运行得到同一份切分答辩时结果可复现。还有个细节是 jieba 默认词典可能把“绝绝子”“YYDS”切成散字这些网络新词识别不好会直接影响准确率后面第5章会说怎么处理。3. 朴素贝叶斯实现从词频向量到概率判断3.1 CountVectorizer 和 TfidfVectorizer 选哪个朴素贝叶斯的输入不能是原始字符串必须是数值向量。最常见的是把分词后的文本转成词频矩阵sklearn 提供两个转换器CountVectorizer 只统计词出现次数TfidfVectorizer 在词频基础上乘了逆文档频率让“了、吗”这类到处出现的词权重降低让某个类别特有的词权重上升。对微博短文本来说我一般会优先用 TfidfVectorizer因为评论只有几十个字文档频率差异不明显但加了 IDF 后能突出“坑”“垃圾”“超赞”这类强情感词。另一个原因是一个词如果在很多评论里都出现它的区分能力本来就弱IDF 正好压住它。不过要注意TF-IDF 处理的是稀疏向量后面的朴素贝叶斯模型要配合支持稀疏矩阵的实现不能先转成密集数组。3.2 训练 MultinomialNB 的最小可用代码与调参核心模型用朴素贝叶斯里的多项式分布版本 MultinomialNB它适合离散的单词计数。下面是最小可用的训练代码from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, accuracy_score vectorizer TfidfVectorizer(max_features10000, ngram_range(1, 2)) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) model_nb MultinomialNB(alpha1.0) model_nb.fit(X_train_vec, y_train) y_pred_nb model_nb.predict(X_test_vec) print(NB accuracy:, accuracy_score(y_test, y_pred_nb)) print(classification_report(y_test, y_pred_nb))先解释两个关键参数max_features10000 表示只保留语料里出现频率最高的前一万个词这能防止向量维度爆炸也能滤掉低频噪音词ngram_range(1, 2) 表示同时用单个词和相邻两个词作为特征比如“真的丑”会被切出“真的”“丑”“真的丑”三个特征这样模型能捕捉否定短语。alpha 是平滑参数默认1.0它解决了某个词在训练集中没出现导致概率为0的问题。如果调参发现准确率有细微波动把 alpha 改小到0.5或者改大到3.0试试但不要指望它带来质变。3.3 用混淆矩阵发现“乐观偏置”只看准确率不够一定要打印混淆矩阵。因为微博评论里负面样本通常更多朴素贝叶斯对先验概率很敏感当训练集中“负面”占多数时模型会倾向于把不确定的评论判成负面。下面代码用来生成混淆矩阵from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt cm confusion_matrix(y_test, y_pred_nb, labels[正面, 负面]) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[正面, 负面], yticklabels[正面, 负面]) plt.xlabel(预测) plt.ylabel(真实) plt.show()你会经常看到第一行真实正面的对角线数字小于第二行这意味着模型把很多正面评论误判成负面。原因不只是数据不平衡还因为负面评论里常有“生气”“无语”这种强特征朴素贝叶斯给出的概率极值很突出正面评论反而表达更含蓄。遇到这种情况可以在训练前把两类样本数量凑成比较接近的比例比如随机抽掉部分负面样本或者给正面样本乘一个权重。sklearn 的 MultinomialNB 没有直接的 class_weight 参数所以你只能通过改变训练集分布来调整这也是它和 SVM 的一个明显区别。4. 支持向量机模型线性核与RBF核的取舍4.1 为什么短文本场景用线性核更常见支持向量机SVM在文本分类里的表现一直很好但很多初学者一上来就 rbf 核反倒跑出很差的分数。短文本经过 TF-IDF 转换后特征维度可能到几千甚至一万样本数量通常只有几千条这种高维稀疏数据在大多数情况下是近似线性可分的使用线性核不仅训练快泛化也稳定。RBF 核理论上能拟合更复杂的边界但需要调 gammagamma 设太大会过拟合到训练集里的个别词设太小又近似线性对期末大作业来说收益不稳定。所以我的习惯是第一次跑用 LinearSVC 或 SVC(kernellinear)拿到一个可靠基线之后再拿 RBF 试一次作为对比。答辩时可以说“线性核在稀疏高维特征上效果足够RBF 没有带来显著提升”这句话就能体现出你不是盲目调库。4.2 用 Pipeline 串 TF-IDF 和 SVC并调整 C 和 gammaSVM 的输入特征缩放对结果影响很大好在 TF-IDF 生成的稀疏矩阵已经做了标准化不需要额外做 StandardScaler。为了让代码更整洁我建议把 TF-IDF 和模型包进一个 Pipeline这样后面做网格搜索时只需传一个对象。下面是训练代码from sklearn.pipeline import Pipeline from sklearn.svm import SVC model_svm_linear Pipeline([ (tfidf, TfidfVectorizer(max_features10000, ngram_range(1, 2))), (clf, SVC(kernellinear, C1.0, probabilityTrue)) ]) model_svm_linear.fit(X_train, y_train) y_pred_svm model_svm_linear.predict(X_test) print(SVM accuracy:, accuracy_score(y_test, y_pred_svm))注意这里 SVC 的 probabilityTrue 是为了后续画 ROC 曲线它会用 Platt 缩放给每个样本一个预测概率代价是训练时间稍微变长。如果只做准确率对比可以改成 False。C 是误分类惩罚参数C 越大模型越努力把每一条训练数据都分对可能过拟合C 越小边界越平滑。文本分类里 C1.0 是常见起点如果发现测试集比训练集准确率低很多把 C 调小到0.1或0.01。如果还想试 RBF把 SVC 这一行换掉clf_svm_rbf SVC(kernelrbf, C10.0, gamma0.01, probabilityTrue)gamma 控制单个训练样本的影响半径越小决策边界越平缓越大越复杂。从0.01、0.1、1.0向上试配合网格搜索 GridSearchCV 选择不要手动一个个跑浪费时间。4.3 朴素贝叶斯和SVM的结果对比看准确率也看训练时间期末大作业的文档说明里必须有对比表格最简单的是记录准确率、F1-score、训练时间。下面这段代码可以帮你一次性输出这些指标import time from sklearn.metrics import f1_score for name, model, Xtr, Xte in [ (NB, model_nb, X_train_vec, X_test_vec), (SVM, model_svm_linear, X_train, X_test) ]: start time.time() model.fit(Xtr, y_train) cost time.time() - start y_pred model.predict(Xte) print(f{name}: acc{accuracy_score(y_test, y_pred):.4f}, ff1{f1_score(y_test, y_pred, pos_label负面):.4f}, ftime{cost:.2f}s)注意这个对比里 NB 用的是已经转换的向量SVM 用的是原始文本因为 Pipeline 内部会转换所以计时方式不同。如果要更公平应该把 NB 也放进 Pipeline 里计时。实际运行结果通常是这样朴素贝叶斯训练在一秒内SVM 可能要几秒到几十秒准确率 SVM 比 NB 高 2~5 个百分点。文档说明里要解释这一点SVM 的强分类能力来自最大间隔而朴素贝叶斯的独立性假设在情感分析里是近似成立的所以两者差距并不会特别大。写实验结论时别只说“SVM比NB好”要说明是因为情感词和情感标签的相关性较强线性可分性较好所以间隔最大化有效。5. 避坑指南微博评论情感分析项目里的五个常见问题5.1 现象代码能跑但准确率一直在50%上下我在不少期末作业里看过这个问题模型正确率甚至比随机猜还差。原因通常是“正负标签定义反了”或者“清洗时把情感词删掉了”。比如你用正则把“不”字当噪声过滤掉那“不好”就变成“好”数据全是噪音。另外检查标签列确认1是不是代表正面0是不是代表负面。解决方法是先抽十行数据手动预测一遍再和模型输出对一遍。如果模型预测和人工标注有部分一致说明流程没问题如果完全相反把标签翻转再训练。5.2 现象分词后“不开心”变成“不开心”“不”和“开心”断开了这是 jieba 的常见切分问题。“不”作为否定副词经常和后面的形容词分开模型看到的“开心”会误导分类。解决办法有两个一是把“不”“很”这类程度否定词加入自定义词典让 jieba 优先保留组合二是在分词后单独合并否定词形容词的组合。最简单的做法是加一行字典比如 jieba.add_word(不开心)但人工枚举不现实。我用过一个更省事的方法在预处理时用正则把“不单个形容词”绑定起来比如“不开心”“不好吃”“不推荐”。注意这会给模型增加一类特征准确率会有些提升。5.3 现象可视化图里中文全部变成方框matplotlib 默认字体不支持中文这是每个项目都会遇到的。解决方式是在画图前强制指定字体。Windows 上可以这样写import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [Microsoft YaHei] # 微软雅黑 plt.rcParams[axes.unicode_minus] False # 正常显示负号Mac 上通常用 Arial Unicode MS。注意这个设置必须在画任何图之前执行否则已经生成的图还是乱的。如果是在 Jupyter Notebook 里可能还要额外执行一次。另外词云图里的中文乱码不仅要设置字体路径还要注意词云font_path参数指向一个.ttf文件Windows 下可以是 C:/Windows/Fonts/simhei.ttf。5.4 现象安装 sklearn 时报错缺少依赖或版本冲突很多同学的机器上已经装了 Python但 sklearn 安装失败往往是因为 pip 源太慢或者 Python 版本太旧。建议直接用 anaconda 环境然后使用国内镜像安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-learn如果 pycharm 里安装失败检查解释器是不是在当前项目虚拟环境看右下角解释器路径。有些同学电脑上同时存在 Python 3.11 和 3.7pip 装的库却装到另一个版本里去了。还有一个血泪经验不要直接用 sklearn 0.24 的旧文档配合最新版库很多函数参数废弃了按新版本写法来。如果只是交大作业不需要追求最新版安装稳定的 1.2.x 即可。5.5 现象SVM 训练特别慢甚至内存溢出这几乎 100% 是 TF-IDF 特征维度太大造成的。如果你去掉 max_features 限制10000条评论可能产生二十万个特征SVC 在核函数计算时非常耗时。解决方法是把 max_features 降到8000~15000之间并且使用线性核。线性核的训练复杂度跟特征维度关系较小但还是要注意稀疏矩阵不要转成 dense。另一个原因是 SVC 默认使用 rbf 核rbf 核需要计算每对样本间的相似度样本数量超过5000时会明显变慢超过一万条可能需要几分钟。建议训练集控制在五千条以内如果数据更多用 SGDClassifier(losshinge) 代替 SVC它也是线性SVM的一种实现训练速度快很多。5.6 现象发给老师的代码别人电脑上跑不起来这是期末大作业最现实的问题。你自己电脑能跑不代表任何环境都能跑我见过太多因为没有 jieba、sklearn 未安装、相对路径错乱而翻车的案例。解决方法是写一个 requirements.txt一行一个依赖包让老师在终端执行 pip install -r requirements.txt。所有数据文件、字体、停用词表的路径不要用绝对路径改用相对路径或者做成一个 data 文件夹统一管理。还可以在代码开头加一段检查库的脚本比如 try: import jieba except ImportError: print(缺少jieba请先安装)。这不是给自己找麻烦是给评分老师降低使用成本这条路走通了印象分会高出很多。6. 从“能跑”到“高分”验证技巧和文档说明包装最后一个阶段我建议把精力放在“实验设计完整”上而不是继续调参。拿你最终的训练集做一次交叉验证把平均准确率、最高准确率、最低准确率都写进文档这比单独跑一次随机切分更有说服力。代码上可以直接用 cross_val_score注意它接收的是模型和原始特征而不是已经 fit 过的模型from sklearn.model_selection import cross_val_score import numpy as np scores cross_val_score(model_svm_linear, X_train, y_train, cv5) print(fCV acc: {np.mean(scores):.4f} ± {np.std(scores):.4f})如果交叉验证结果和测试集结果差距在0.03以内说明模型稳定。文档说明里除了写准确率、F1、混淆矩阵我还会画一张两个模型在不同训练规模下的准确率折线图分别拿 500、1000、2000、4000 条数据训练观察曲线走势。这样就能展示两个算法的学习能力差异并把话题引到“数据量增加后模型提升空间”上。我自己的习惯是最后再回头看一眼分词结果把几条被分错的评论摘出来放到文档里分析错误原因比如某条正面评论因为包含反讽词而被判成负面。这种错误分析在期末答辩里非常加分因为它证明你不是只会调库而是真的在理解问题。希望这些踩坑经验能帮你的微博情感分析项目少走弯路祝顺利。本文还有配套的精品资源点击获取