简介这份资源面向文本挖掘与舆情分析方向的学习者和开发者围绕微博评论数据完整演示了从爬虫采集、数据清洗到LDA主题分析与情感分析的整套流程适合具备一定Python基础、希望动手实践社交媒体文本分析的中级学习者。压缩包共39个文件约16.16MB以23个py脚本为核心辅以7个md说明文档、7个txt语料与停用词表、1个w2v模型和1个xlsx数据表覆盖爬虫、分词、主题建模、情感计算与可视化等模块。目前已有2326人学习下载。读者可据此复现微博舆情分析全链路借助LDA挖掘评论中的潜在热点主题结合情感词典与模型判断情绪极性并通过热度计算、主题余弦相似度、情感均值与折线图等脚本输出可视化结果进而洞察哪些话题与正面或负面情绪关联为舆情监控、市场研究与企业决策提供参考。1. 微博评论情感分析从爬到的第一行脏数据到 LDA 主题与情感标签你手上有一批微博评论可能是几千条也可能是几十万条想搞清楚这批人在聊什么、情绪偏正还是偏负。这个标题讲的就是这件事用 LDA 做主题聚类用情感分析给每条评论打正负标签再交叉看「哪个话题下负面情绪最集中」。它适合做舆情监控、产品口碑分析、运营复盘的人也适合想拿一个完整 NLP 小项目练手的人。标题里写了「完整数据代码可直接运行」说明它大概率是一个开箱即用的脚本包但真正跑起来坑不在模型在数据清洗和中文分词那几步。下面按我实际做这类项目的顺序把每一步拆开讲。2. 数据拿到手先别急着跑模型微博评论的清洗与预处理2.1 微博评论到底脏在哪微博评论和标准 NLP 数据集最大的区别是它不是给人做实验用的是真实用户随手敲出来的。常见脏数据有这几类带话题标签的#话题#、某人的昵称、表情符号[微笑]、URL 链接、重复刷屏的复制粘贴、纯数字或纯标点的灌水评论。如果不处理LDA 会把[微笑]当成一个高频词情感分析会把张三当成有效文本结果全是噪声。我一般先做一轮粗看统计评论长度分布、看前 50 条原始数据、统计重复率。这一步不用写复杂代码pandas 几行就够。import pandas as pd df pd.read_csv(weibo_comments.csv, encodingutf-8) print(总条数:, len(df)) print(重复条数:, df[comment].duplicated().sum()) print(平均长度:, df[comment].astype(str).str.len().mean()) print(df[comment].head(50).tolist())逻辑说明先确认数据规模和重复情况。如果重复率超过 20%说明有大量刷屏必须去重否则 LDA 的主题会被刷屏内容带偏。encoding参数根据实际文件调整微博数据常见utf-8或gbk报UnicodeDecodeError就换编码试。2.2 清洗规则与中文分词清洗的核心原则是去掉对语义无贡献的符号保留情绪词和实词。具体规则我通常按这个顺序执行去 URL → 去 提及 → 去话题标签符号但保留话题内文字 → 去表情代码 → 去纯标点 → 去首尾空白。import re def clean_text(text): text str(text) text re.sub(rhttp[s]?://\S, , text) # 去URL text re.sub(r[\w\u4e00-\u9fa5-], , text) # 去提及 text re.sub(r#(.?)#, r\1, text) # 话题标签保留内容 text re.sub(r\[.?\], , text) # 去表情代码 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , text) # 只留中英文数字 text re.sub(r\s, , text).strip() return text df[clean] df[comment].apply(clean_text) df df[df[clean].str.len() 2] # 去掉清洗后过短的 df df.drop_duplicates(subset[clean]) print(清洗后条数:, len(df))参数说明\u4e00-\u9fa5是中文 Unicode 范围保留它才能留住中文词。长度阈值设 2 是经验值设 1 会留下大量「好」「嗯」这类无信息短句设 5 会误杀「不支持」这种有效短评。这一步做完数据量通常会掉 15% 到 30%属于正常。分词用 jieba但一定要加自定义词典和停用词表。微博里「绝绝子」「破防」「栓Q」这类网络词通用词典分不出来需要手动加。import jieba jieba.load_userdict(weibo_dict.txt) # 每行一个网络词 stopwords set(open(stopwords.txt, encodingutf-8).read().split()) def cut_words(text): return [w for w in jieba.lcut(text) if w not in stopwords and len(w) 1] df[words] df[clean].apply(cut_words) df df[df[words].map(len) 0]逻辑说明停用词表建议用「哈工大停用词表 微博专用补充」补充词包括「转发」「微博」「哈哈」「真的」这类高频但无主题区分度的词。len(w) 1过滤单字因为单字在 LDA 里几乎不构成有效主题。3. LDA 主题分析把几千条评论压成几个话题3.1 为什么选 LDA 而不是聚类做微博主题分析常见选择是 LDA、KMeans 文本聚类、BERTopic。KMeans 需要先向量化再聚类对短文本效果一般且主题词不直观。BERTopic 效果好但依赖预训练模型跑起来重。LDA 的优势是输出直接是「主题 每个主题的关键词 每条评论的主题分布」可解释性强计算量小几千到几万条评论在普通笔记本上几分钟跑完。对于「完整数据代码可直接运行」这个定位LDA 是最稳的选择。LDA 的核心假设是每篇文档是多个主题的混合每个主题是多个词的分布。它不需要标签属于无监督。缺点是主题数 K 要自己定定不好主题会很碎或很糊。3.2 构建词典与训练 LDA 模型先把分词结果转成 LDA 需要的词袋格式再训练。from gensim import corpora, models dictionary corpora.Dictionary(df[words]) dictionary.filter_extremes(no_below5, no_above0.5) # 去低频和高频词 corpus [dictionary.doc2bow(words) for words in df[words]] lda models.LdaModel( corpuscorpus, id2worddictionary, num_topics8, # 主题数先试8 passes15, # 训练轮数 random_state42, alphaauto, etaauto ) for i, topic in lda.print_topics(num_words10): print(f主题{i}: {topic})参数说明no_below5表示出现少于 5 次的词丢掉微博短文本噪声大这个值别设太高否则有效词被删光。no_above0.5表示出现在超过 50% 文档里的词丢掉用来干掉「哈哈」这种万能词。num_topics8是起点不是终点后面要调。passes15是遍历语料次数太小主题不稳太大费时间10 到 20 之间够用。alpha和eta设auto让 gensim 自己学新手不用手调。3.3 主题数 K 怎么定困惑度加人工判断K 是 LDA 最关键的参数。常用方法是算困惑度perplexity困惑度越低说明模型对数据的拟合越好但困惑度低不等于主题可解释。我的做法是跑 K 从 4 到 15看困惑度曲线拐点再人工看每个 K 下的主题词是否说得通。import matplotlib.pyplot as plt scores [] for k in range(4, 16): m models.LdaModel(corpuscorpus, id2worddictionary, num_topicsk, passes10, random_state42) scores.append((k, m.log_perplexity(corpus))) ks [s[0] for s in scores] ps [s[1] for s in scores] plt.plot(ks, ps, markero) plt.xlabel(主题数K) plt.ylabel(log perplexity) plt.savefig(perplexity.png)逻辑说明log_perplexity越低越好但曲线通常在某个 K 之后变平那个拐点就是候选值。实际经验是微博评论主题数落在 6 到 12 之间最常见。选完 K 后一定要把每个主题的前 10 个词打印出来人工看一遍如果两个主题词高度重叠说明 K 偏大如果某个主题词很杂说明 K 偏小。提示LDA 每次训练结果会因随机种子不同而略有差异固定random_state才能复现。如果换种子后主题大变说明数据量不够或 K 不合适。4. 情感分析给每条评论打上正负标签4.1 选 SnowNLP 还是自己训模型微博评论情感分析常见做法有三条路SnowNLP 直接调用、基于情感词典打分、用标注数据微调 BERT。标题写「可直接运行」大概率用的是 SnowNLP 或词典法因为不需要训练数据。SnowNLP 对通用中文评论还行但对微博网络用语和反讽识别很差比如「真是谢谢你啊」会被判成正向。词典法可控性强但覆盖度依赖词典质量。我的建议是先用 SnowNLP 跑一版基线看整体正负比例是否合理再用词典法做交叉验证。如果两个方法结论差异超过 20%说明数据里有大量反讽或网络梗需要人工抽检。from snownlp import SnowNLP def get_sentiment(text): try: return SnowNLP(text).sentiments # 返回0到1越接近1越正向 except Exception: return None df[sent_score] df[clean].apply(get_sentiment) df[sent_label] df[sent_score].apply( lambda x: 正向 if x is not None and x 0.6 else (负向 if x is not None and x 0.4 else 中性) ) print(df[sent_label].value_counts())参数说明阈值 0.6 和 0.4 是经验分界中间段归为中性避免把模棱两可的评论硬分到正负。如果业务只关心正负可以把中性按 0.5 再切。try-except是必须的空文本或纯符号会让 SnowNLP 报错。4.2 把情感标签和 LDA 主题交叉起来看单独看情感分布意义不大真正有价值的是「哪个主题下负面最多」。做法是把每条评论的主导主题取出来再按主题分组统计情感。def dominant_topic(bow): topics lda.get_document_topics(bow) return max(topics, keylambda x: x[1])[0] if topics else -1 df[topic] [dominant_topic(bow) for bow in corpus] cross pd.crosstab(df[topic], df[sent_label], normalizeindex) print(cross)逻辑说明get_document_topics返回每条评论在各主题上的概率分布取概率最大的作为主导主题。normalizeindex让每行加起来为 1方便看每个主题内部的正负比例。如果某个主题负向占比超过 60%那就是需要重点关注的舆情点。5. 避坑与排查跑微博情感分析最容易翻车的 5 个地方5.1 分词把网络词切碎了主题全是无意义单字现象LDA 输出的主题词是「绝」「子」「yyds」这种碎片。原因jieba 通用词典没有收录微博新词。解决建自定义词典把「绝绝子」「破防了」「栓Q」「emo了」这类词加进去每行一个词用jieba.load_userdict加载。词典要持续维护新梗出来就补。5.2 情感分析结果一边倒90% 都是正向现象跑完发现正向占 90%明显不符合直觉。原因SnowNLP 对中性陈述句默认给高分且对反讽无识别能力。解决先人工抽 100 条看准确率如果低于 70%改用情感词典法或者引入否定词处理逻辑「不开心」要翻转。别直接信模型输出。5.3 LDA 主题每次跑都不一样没法复现现象换台机器或换个时间跑主题词全变了。原因没固定随机种子且passes太小导致未收敛。解决固定random_state把passes提到 15 以上同时固定词典和语料顺序。如果还不行说明数据量太小LDA 本身不稳定考虑换 BERTopic。5.4 内存爆了几十万条评论跑不动现象doc2bow阶段内存飙升然后崩溃。原因词典太大每条评论转成稀疏向量后总规模超内存。解决先用filter_extremes把词典压到 1 万词以内再分批构建语料或者直接用LdaMulticore多进程但控制workers数量。数据超过 50 万条建议上服务器。5.5 清洗过度把有效信息也删了现象清洗后评论只剩几个词情感分析全是中性。原因正则把中文标点里的「」「」也删了而这两个符号恰恰是情绪信号。解决清洗时保留「」「」「。」或者在删之前先把连续感叹号转成情绪标记。清洗规则要一条条验证别一把梭。6. 让结果更可信主题一致性校验与情感阈值调优跑完一轮不算完得验证结果靠不靠谱。LDA 这边除了困惑度更推荐看主题一致性coherence它和人工判断的相关性更高。gensim 自带CoherenceModel用法如下。from gensim.models import CoherenceModel cm CoherenceModel(modellda, textsdf[words], dictionarydictionary, coherencec_v) print(主题一致性:, cm.get_coherence())c_v是常用的一致性度量值越高说明主题词之间语义越连贯。经验上 0.4 以上算可用0.5 以上算不错。把不同 K 的一致性都算出来和困惑度一起看两个指标都好的 K 才是最终选择。情感阈值这边0.6 和 0.4 不是金标准。如果你的业务对负面漏报很敏感就把负向阈值提到 0.45宁可错杀如果只想看极端负面就降到 0.3。调完之后一定要人工抽检 50 条边界样本看分类是否符合预期。我自己的习惯是每次做完都把「主题-情感交叉表」和 20 条随机样本一起存下来下次换数据时对比着看能快速发现异常。这套流程不复杂但每一步的细节决定了最后结论能不能拿去汇报。希望帮到你。本文还有配套的精品资源点击获取