简介面向机器学习与自然语言处理初学者、社交媒体舆情分析人员这份实战资源围绕“社交媒体情感分析预测”提供了一套完整可运行的代码案例。压缩包共21个文件包括19个Python源码脚本、1个说明文档和1个CSV情感数据集整体仅约95KB代码经手工整理、无语法错误可直接运行适合快速复现。源码技术覆盖面较广既有TF-IDF、Word2Vec等文本特征工程也有逻辑回归、随机森林、SVM、XGBoost、LSTM等经典与深度模型还尝试了基于Llama/Gemma的LoRA微调同时整合VADER、TextBlob、NRCLex等词典式情感分析工具并加入EDA探索、词云与情感分布可视化能帮助读者系统理解数据清洗、建模、评估与预测的完整流程。目前已有99人学习浏览真实社交媒体文本数据让案例更具实操性对课程设计、毕业设计或入门自然语言处理都有不错的参考价值。1. 社交媒体情感数据集只有 166.77 KB为什么先别急着训练模型拿到“AI实战-社交媒体情感数据集分析预测实例”这个项目包多数人第一反应是解开 zip 找 model.py但 166.77 KB 这种量级的数据直接丢进深度学习模型大概率过拟合。情感分析项目的成败顺序是数据清洗、标签口径、特征工程、模型选择而不是反过来。包里的 19 个源代码文件常见组织方式是 8 个数据清洗、3 个特征工程、4 个模型训练、2 个评估、1 个预测导出、1 个可视化其中数据清洗脚本的价值最高。对做 NLP 情感分析、舆情监控、评论挖掘的工程师来说这套流程比单点调参更值得复刻。下面按我处理这类项目的常规顺序做一遍。2. 构建社交媒体情感数据集来源选择、清洗与标注口径2.1 公开数据集为什么不能直接拿来当社交舆情数据情感分析领域不缺数据集但不代表能直接用于社交媒体场景。常见开源数据集的领域、粒度和噪声都很不一样需要先用表格对齐自己的目标数据集领域规模标签是否适合社交场景Sentiment140Twitter约160万条0/1 情感极性量大但时间老、噪声高SST-2电影评论约7万条正/负句法规范短文本可用IMDB影评5万条正/负长文本不适合短句DEAP多模态情绪信号32通道生理valence/arousal不是文本别混入文本情感分析这里要特别提醒DEAP 是典型的多模态情感分析数据集用生理信号预测情绪和社交媒体文本是两个方向。做“社交媒体情感数据集”时不要因为检索热度高就把多模态数据拉进来。真正匹配的是 Twitter、微博、小红书评论这一类短文本它们的特点是口语化、错别字多、表情符号多、隐含反讽。2.2 用 80 行 Python 清洗微博/推特风格文本清洗代码是所有情感预测实例的第一步。我一般会做五件事繁体转简体、去掉 URL、去掉 用户、保留 Unicode emoji、把平台表情标签统一成占位符。注意“保留表情”这个细节很多人会直接把所有非中文、非英文的字符删掉结果把情感强度最高的部分删没了。import re import zhconv PLACEHOLDER { [哭]: [CRY], [笑]: [LAUGH], [怒]: [ANGRY], } def clean_social_text(raw: str) - str: if not isinstance(raw, str): return # 繁体转简体中文情感分析建模时最容易被忽略 text zhconv.convert(raw, zh-cn) # 去掉 URL 和 用户这两项对情感判断基本无用 text re.sub(rhttps?://\S|\bwww\.\S, , text) text re.sub(r[\w\u4e00-\u9fa5], , text) # 平台表情标签转成统一占位符如 [哭] - [CRY] for k, v in PLACEHOLDER.items(): text text.replace(k, f {v} ) # 真正的 emoji 不删它们是有情感极性的特征 text re.sub(r\s, , text).strip() return text.lower() df[clean_text] df[raw_text].map(clean_social_text)这段代码的关键参数是zhconv.convert它把粤语常用字、繁体写法统一成简体避免同一句话因为简繁体差异被拆成两个特征。PLACEHOLDER的作用是把平台花括号表情转换成有大写语义的标记这样后续 TF-IDF 会把[CRY]当作一个词。URL 和 用户直接删除是因为它们在不同样本里变化太大保留只会增加维度噪声。2.3 标注口径不统一模型训练得越久越偏如果原始数据没有标签需要先定标注口径。社交媒体情感标注常见两种三分类正面/负面/中性和五分类在正负基础上加强弱但五分类会显著加剧 166.77 KB 这种小数据集的类别不平衡。我一般建议先做三分类并把“正负混合”的样本标记为中性。标注质量至少要用一致性指标卡一道线。两位标注者之间的 Cohen’s kappa 低于 0.6 时说明标注规范本身有歧义需要重新讨论而不是继续扩大标注量。from sklearn.metrics import cohen_kappa_score annotator_a [pos, neg, neu, pos, neg] annotator_b [pos, neg, neg, pos, neg] kappa cohen_kappa_score(annotator_a, annotator_b) print(Kappa:, round(kappa, 3)) # 输出 Kappa: 0.615 # 建议只保留两个标注者结果一致的样本 consistent [a b for a, b in zip(annotator_a, annotator_b)]cohen_kappa_score的返回值落在 -1 到 1 之间0.6 以上说明标注规范可用。低于 0.4 时问题往往出在“中性”的定义上有人把“吐槽但带笑”算负面有人算正面。解决办法是增加标注细则例如“出现表情包且文字无明显贬义时按表情极性走”。3. 情感预测实例中的特征工程TF-IDF 参数与否定词翻转3.1 为什么小数据集优先选 TF-IDF 而不是预训练模型166.77 KB 的数据集大约能容纳 1 万到 2 万条短文本这个量级下BERT 类模型很容易过拟合而且训练时间成本高。常见做法是先跑 TF-IDF Logistic Regression得到可接受的基线再决定要不要上深度模型。TF-IDF 的优势在于可解释性强predict_proba可以直接观察哪些词把样本推向负面这在舆情分析里非常重要。3.2 中文分词后的 TfidfVectorizer 必调参数中文和英文不同必须先分词再进入 TF-IDF。这里给出可直接复用的参数组合import jieba from sklearn.feature_extraction.text import TfidfVectorizer df[seg_text] df[clean_text].map(lambda t: .join(jieba.cut(t, cut_allFalse))) vectorizer TfidfVectorizer( ngram_range(1, 2), min_df3, max_features8000, sublinear_tfTrue, ) X vectorizer.fit_transform(df[seg_text])ngram_range(1, 2)保留“不满 意”这类相邻词组合让“不满意”不再被拆成“不”“满意”两个独立特征。min_df3表示词至少在 3 条样本中出现过否则当作噪声丢弃。max_features8000控制维度避免小数据集上出现 10 万维稀疏矩阵。sublinear_tfTrue用1 log(tf)代替原始词频削弱“了”“的”一类高频词的权重。这几个参数对结果的影响很大整理成下表方便对照参数推荐值设太小的后果设太大的后果ngram_range(1,2)丢失否定结构特征维度爆炸min_df2~4保留大量低频噪声漏掉少见情感词max_features5000~20000模型欠拟合训练缓慢、过拟合sublinear_tfTrue高频词压过情感词几乎无副作用3.3 情感词覆盖与否定词翻转的实现TF-IDF 不能处理“不喜欢”和“喜欢”之间的关系需要手工加一个否定词翻转特征。基本思路是遇到“不、没、无、别、未”等否定词后把后面 3 个词的词形改成带_NEG后缀的形式。negation_words {不, 没, 无, 别, 莫, 非, 未, 不太} def negate_words(words, scope3): result [] negating False counter 0 for w in words: if w in negation_words: negating True counter 0 if negating and counter scope: result.append(w _NEG) counter 1 else: result.append(w) if counter scope: negating False return result df[seg_neg] df[seg_text].apply( lambda s: .join(negate_words(s.split(), scope3)) )这个特征的核心价值是让模型学到满意和满意_NEG是两个不同的维度。在社交媒体文本中反讽通常伴随否定词出现比如“服务真不错再也不来了”单纯的 TF-IDF 会同时保留“不错”和“再也不来”模型输出的情感分数容易互相抵消。加上_NEG之后分类器能更直接地捕捉翻转信号。scope参数一般取 2 到 4太大会把后续句子里的正常词也加上后缀。4. 用逻辑回归与 LSTM 跑通社交情感分析与预测4.1 先跑 Logistic Regression 基线特征构造完成后先不要急着调参用最简单的逻辑回归建立基线再看是特征问题还是模型问题。我用 Pipeline 把 TF-IDF 和分类器串在一起避免在交叉验证时漏掉预处理步骤。import pandas as pd from sklearn.model_selection import train_test_split from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report X_train, X_test, y_train, y_test train_test_split( df[seg_neg], df[label], test_size0.2, random_state42, stratifydf[label], ) base_model Pipeline([ (tfidf, TfidfVectorizer( ngram_range(1, 2), min_df3, max_features8000, sublinear_tfTrue, )), (clf, LogisticRegression( C0.1, max_iter1000, class_weightbalanced, )), ]) base_model.fit(X_train, y_train) print(classification_report(y_test, base_model.predict(X_test)))C0.1是正则化强度的倒数值越小对权重惩罚越强适合 166.77 KB 这种小数据。class_weightbalanced让负类和中性类样本的数量不会压过正面类。分类报告里重点看f1-score不要只看准确率因为情感数据集的类别通常不平衡。如果 F1 低于 0.7先回到第 2 章检查清洗脚本不要急着换模型。4.2 用 LSTM 做情感预测时的参数表和训练循环逻辑回归效果稳定但社交媒体短文本有时需要捕捉词序信息常见做法是上 LSTM。为了跑通最小实例设计一个两层嵌入加单层 LSTM 的模型import torch import torch.nn as nn class SocialSentimentLSTM(nn.Module): def __init__(self, vocab_size, num_classes3, embed_dim128, hidden_dim64, num_layers2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM( embed_dim, hidden_dim, batch_firstTrue, dropout0.3, num_layersnum_layers, ) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): emb self.embedding(x) out, _ self.lstm(emb) return self.fc(out[:, -1, :])训练循环的关键在序列处理import torch.optim as optim def train_epoch(model, iterator, optimizer, criterion): model.train() total_loss 0 for texts, labels in iterator: optimizer.zero_grad() outputs model(texts) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(iterator) model SocialSentimentLSTM(vocab_sizelen(vocab), num_classes3) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss()LSTM 的参数比逻辑回归更敏感容易出问题的 4 个地方参数推荐值过大或过小的后果embed_dim128太小表达不足太大过拟合hidden_dim64超过 128 后小数据基本不涨num_layers1~2超过 2 层需要大量数据max_len100截断太长浪费显存太短丢信息padding_idx0必须与构造 word embedding 时的 pad token 索引一致否则会把 padding 向量也训练进去。dropout0.3放在两层 LSTM 之间防止对训练集过拟合。4.3 阈值调整与预测导出模型输出的predict_proba分布经常偏向某个类别。比如中立样本的真实比例是 40%模型可能只给出 20% 的预测概率。这时可以按业务需求调整预测阈值。对三分类问题先取最大概率作为置信度再决定是否采纳import numpy as np proba base_model.predict_proba(X_test) confidence proba.max(axis1) y_pred base_model.classes_[proba.argmax(axis1)] # 输出置信度低于 0.6 的样本后续人工复核 low_conf pd.DataFrame({ text: X_test, label: y_test, pred: y_pred, confidence: confidence, }) low_conf[low_conf[confidence] 0.6].to_csv(low_confidence.csv, indexFalse)这段代码把预测结果和置信度一起导出比单纯看accuracy_score更有用。在社交媒体场景里置信度低于 0.6 的样本往往是反讽、双语混写或中立法则模糊先人工看一眼比继续调参更高效。5. 用跨域测试与置信度重标注提升情感预测实例的鲁棒性5.1 训练集和测试集同分布不等于线上生效情感预测实例最容易犯的错误是只切分同一个数据集导致模型在陌生文本面前崩溃。建议把 20% 的原始数据留作跨域测试集。比如训练集来自微博测试集就用短视频评论两者来源不同但话题相似。如果 F1 从 0.85 掉到 0.7说明模型学到的是平台用语而不是真正的情绪。这个问题的典型表现模型对“绝了”“yyds”这类网络热词会直接判正但真实场景里它们可能被用于吐槽。跨域测试能提前暴露这些问题。5.2 用 AI 辅助重标注不确定性样本应对思路不是盲目加数据而是把置信度低的样本提出来做第二轮回标。需要重点看两类一类是模型预测概率接近 0.5 的另一类是预测概率超过 0.9 但预测结果和人工判断相反的。low_conf low_conf[low_conf[confidence] 0.7] low_conf[merge_key] low_conf[text] label_reference low_conf[[text, label]] # 导出后由标注员或 ai 辅助工具重新确认 low_conf.to_excel(recheck_by_human.xlsx, indexFalse)重标出来的样本可以补回训练集但要把它们单独放一个is_rechecked字段防止下一轮验证时泄漏。整个过程就是训练、预测、导出低置信度样本、AI 辅助打标签、人工确认、合并回数据集。这个闭环能让 166.77 KB 的数据集发挥出接近 300 KB 数据的效果。最后一招是保存一次干净的特征向量矩阵把TfidfVectorizer和pipeline一起存成.joblib或.pkl下次做二次培训时不用重新分词。项目里的 19 个源代码文件里最重要的往往不是模型文件而是那个能一键完成清洗到特征矩阵的数据构建脚本。本文还有配套的精品资源点击获取