简介这是一套面向计算机科学、电子信息工程及应用数学等专业学生的Python舆情监控系统完整源码适用于课程设计、期末大作业或毕业设计等学习场景。项目在导师指导下完成并获98分评价整合了网络舆情抓取、多维度情感分析、时序趋势预测与交互式可视化看板等核心模块采用结构化程序设计兼顾代码可读性与扩展性。压缩包共142个文件约45.19MB以27个py源码、36个txt语料与说明、23个zbak备份、12个jar及10个class等为主另含java、xml、ipynb、json等配置与实验文件并附带xlsx数据表与png、jpeg图表素材。数据集覆盖社会热点事件的多平台文本样本提供Matplotlib与ECharts双重可视化方案展示如何用机器学习对非结构化舆情数据做深度挖掘与趋势推演。目前已有78人学习适合需要完整项目参考、排错思路与模块拆解的学习者。1. 舆情监控系统到底在监控什么从一条负评到一张预警大屏电商运营凌晨收到一条差评内容只有八个字但两小时后同款商品的差评量翻了四倍。人工盯评论根本来不及这就是舆情监控系统要解决的问题。它做的事可以拆成四步把散落在评论、论坛、社媒的文本抓回来做清洗和情感判断按时间窗口聚合成指标最后用预测模型判断下一小时会不会爆。整套链路用 Python 就能跑通不需要大数据集群一台 4 核 8G 的机器足够撑住日均十万条的量级。这套方案适合三类人做数据分析想找一个完整项目练手的做运营想自己搭一套预警看板的做后端想理解文本处理链路的。它不追求全网覆盖追求的是「从采集到预警」这条链路你能自己改、自己调、自己部署。下面按数据采集、情感分析、时序预测、可视化大屏、避坑、进阶调优的顺序把每个环节的参数和代码讲清楚。2. 数据采集与清洗把评论、帖子变成结构化字段2.1 采集层选型为什么用 requests 定时任务而不是上 Scrapy 集群舆情数据源分两类一类是开放接口返回 JSON一类是 HTML 页面需要解析。前者用requests直接拿后者用BeautifulSoup或lxml抽字段。很多人一上来就上 Scrapy 分布式结果发现数据源只有三五个调度复杂度反而拖慢开发。常见做法是数据源少于 20 个、日增量低于 50 万条用requestsAPScheduler定时任务就够了超过这个量级再考虑 Scrapy-Redis 或消息队列。采集频率是个关键参数。评论类数据建议 5 到 10 分钟一轮论坛帖子 30 分钟一轮新闻类 1 小时一轮。频率太高会被限流太低会漏掉爆发初期的信号。我一般会在配置里给每个源单独设interval而不是全局统一。import requests import time from datetime import datetime # 每个数据源独立配置URL、间隔、字段映射 SOURCES [ { name: product_comments, url: https://example.com/api/comments, interval: 300, # 5分钟一轮 params: {page: 1, size: 100}, field_map: {content: text, created_at: ts, user_id: uid} }, { name: forum_posts, url: https://example.com/api/posts, interval: 1800, # 30分钟一轮 params: {board: feedback}, field_map: {body: text, post_time: ts, author: uid} } ] def fetch_source(src): headers {User-Agent: Mozilla/5.0 (compatible; SentimentBot/1.0)} try: resp requests.get(src[url], paramssrc[params], headersheaders, timeout10) resp.raise_for_status() raw resp.json().get(data, []) except Exception as e: print(f[{src[name]}] fetch failed: {e}) return [] records [] for item in raw: rec {} for src_key, std_key in src[field_map].items(): rec[std_key] item.get(src_key, ) rec[source] src[name] rec[fetched_at] datetime.now().isoformat() records.append(rec) return records这段代码的核心是field_map不同数据源返回的字段名不一样统一映射成text、ts、uid三个标准字段后面所有处理都只认这三个名字。interval控制采集节奏timeout10防止某个源卡死拖垮整个调度。失败时返回空列表而不是抛异常保证单个源挂掉不影响其他源。2.2 清洗规则去重、去噪、时间对齐三件事采集回来的文本不能直接喂给模型。第一件事是去重同一篇文章可能被多个源抓到用text的 MD5 做指纹存 Redis 做判重TTL 设 7 天。第二件事是去噪HTML 标签、表情符号、连续空格、URL 链接都要清掉但要注意别把否定词和程度副词误删。第三件事是时间对齐不同源的时间格式可能是时间戳、ISO 字符串、甚至「3 分钟前」这种相对时间统一转成 UTC 时间戳。import re import hashlib import redis r redis.Redis(hostlocalhost, port6379, db0) def clean_text(text): # 去 HTML 标签 text re.sub(r[^], , text) # 去 URL text re.sub(rhttps?://\S, , text) # 去多余空白 text re.sub(r\s, , text).strip() # 保留中文、英文、数字、常见标点 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) return text def dedup(text): fp hashlib.md5(text.encode(utf-8)).hexdigest() if r.setnx(fdedup:{fp}, 1): r.expire(fdedup:{fp}, 7 * 86400) return True return False def normalize_time(ts_str): # 实际项目里这里要处理多种格式示例只演示 ISO 和相对时间 if 分钟前 in ts_str: minutes int(re.search(r(\d), ts_str).group(1)) return time.time() - minutes * 60 try: return datetime.fromisoformat(ts_str).timestamp() except ValueError: return time.time()清洗顺序很重要先去 HTML 再去 URL否则标签里的链接会被误删。正则[^\u4e00-\u9fa5a-zA-Z0-9。、]只保留中文、英文、数字和常用标点表情和特殊符号会被过滤掉。去重用的 Redissetnx是原子操作并发场景下不会出现重复写入。时间归一化里「分钟前」这类相对时间必须转成绝对时间戳否则后续按时间窗口聚合会出错。注意清洗规则要根据数据源调整。比如技术论坛的帖子需要保留代码片段里的符号就不能用上面这条严格正则。建议把清洗规则做成可配置的每个源挂不同的规则集。3. 情感分析与特征工程从文本到可建模的数值3.1 情感打分词典法、机器学习、大模型三条路怎么选情感分析是舆情系统的核心判断环节。三条路各有适用场景词典法快但准确率有限适合冷启动和兜底机器学习如朴素贝叶斯、SVM需要标注数据准确率能到 80% 左右大模型 API 效果最好但成本和延迟高适合对准确率要求高的场景。我的建议是分层先用词典法做全量初筛把明显正面和明显负面的标出来中间模糊的样本再走机器学习模型或大模型。这样能把大模型调用量压到 20% 以下成本可控。词典可以用知网 HowNet 情感词典或 BosonNLP 词典也可以自己维护一份行业词典——比如电商场景里「退货」「假货」「客服不理人」这些词要单独加权。# 简化版词典打分实际项目用完整词典文件 POS_WORDS {好: 1, 满意: 2, 推荐: 2, 喜欢: 1, 不错: 1} NEG_WORDS {差: -1, 垃圾: -2, 退货: -2, 假货: -3, 失望: -2} NEGATION {不, 没, 无, 别} def dict_sentiment(text): score 0 words list(text) # 简化按字匹配实际用 jieba 分词 for i, w in enumerate(words): val POS_WORDS.get(w, 0) NEG_WORDS.get(w, 0) if val 0: continue # 检查前两个字是否有否定词 if i 0 and words[i-1] in NEGATION: val -val score val # 归一化到 [-1, 1] return max(-1.0, min(1.0, score / 5.0))否定词处理是词典法的关键。上面代码只检查前一个字实际项目要检查前两个词因为「不是很满意」里「不是」是否定「很」是程度副词。程度副词也要加权「非常差」比「差」严重「有点差」比「差」轻。这些规则叠加起来词典法在电商评论上能到 70% 左右的准确率作为初筛够用了。3.2 特征工程时间窗口聚合与滑动统计单条文本的情感分不够舆情预警看的是趋势。需要按时间窗口聚合算出每个窗口的指标平均情感分、负面占比、总量、增速。窗口大小一般选 1 小时滑动步长 10 分钟这样既能捕捉突变又不会太抖。import pandas as pd def build_features(records, window1h, step10min): df pd.DataFrame(records) df[ts] pd.to_datetime(df[ts], units) df df.set_index(ts).sort_index() # 按滑动窗口聚合 feats df[sentiment].resample(window).agg([mean, count]) feats.columns [avg_sentiment, volume] feats[neg_ratio] df[sentiment].resample(window).apply( lambda x: (x -0.3).mean() ) # 增速当前窗口 vs 上一窗口 feats[volume_growth] feats[volume].pct_change().fillna(0) feats[sentiment_delta] feats[avg_sentiment].diff().fillna(0) return feats.dropna()resample(1h)按小时聚合neg_ratio算的是情感分低于 -0.3 的占比这个阈值可以根据业务调。volume_growth和sentiment_delta是两个关键预警特征量涨了但情感没跌可能是正常热度量涨了情感也跌了才是真正的舆情危机。实际项目里还会加「负面词频次」「涉及品牌词频次」等特征思路一样都是按窗口聚合。4. 预测模型用 Prophet 和 XGBoost 判断下一小时会不会爆4.1 为什么时序预测选 Prophet 而不是 ARIMA舆情数据有明显的日周期和周周期早上和晚上的评论量能差三倍。ARIMA 对周期性处理需要手动差分参数调起来很痛苦。Prophet 内置了趋势、周期、节假日三项分解把daily_seasonality和weekly_seasonality打开就能用对缺失值和异常值也鲁棒。代价是 Prophet 对突发突降的响应慢半拍所以我的做法是 Prophet 预测基线XGBoost 用残差做修正。from prophet import Prophet import pandas as pd def fit_prophet(feats, target_colvolume): df feats.reset_index()[[ts, target_col]] df.columns [ds, y] m Prophet( daily_seasonalityTrue, weekly_seasonalityTrue, yearly_seasonalityFalse, changepoint_prior_scale0.05, # 越小越平滑越大越敏感 interval_width0.8 # 80% 置信区间 ) m.fit(df) future m.make_future_dataframe(periods6, freq10min) forecast m.predict(future) return m, forecast[[ds, yhat, yhat_lower, yhat_upper]]changepoint_prior_scale是最关键的参数默认 0.05调大到 0.5 会让模型对突变更敏感但容易过拟合调小到 0.01 会更平滑但可能漏掉拐点。舆情场景建议先用 0.05 跑一周数据看预测和实际的偏差再调。interval_width0.8给出 80% 置信区间预警时用yhat_upper做上限判断比单点预测更稳。4.2 XGBoost 残差修正把 Prophet 漏掉的突变补回来Prophet 的残差里藏着突发信号。把残差作为目标用 XGBoost 训练特征用前几个窗口的volume_growth、neg_ratio、sentiment_delta。这样 Prophet 管周期XGBoost 管突变两者叠加后的预测误差能降 15% 到 25%。import xgboost as xgb import numpy as np def fit_residual_model(feats, forecast): merged feats.reset_index().merge( forecast, left_onts, right_onds, howinner ) merged[residual] merged[volume] - merged[yhat] # 构造滞后特征 for lag in [1, 2, 3, 6]: merged[fgrowth_lag{lag}] merged[volume_growth].shift(lag) merged[fneg_lag{lag}] merged[neg_ratio].shift(lag) merged merged.dropna() feature_cols [c for c in merged.columns if lag in c] X merged[feature_cols] y merged[residual] model xgb.XGBRegressor( n_estimators200, max_depth4, learning_rate0.05, subsample0.8, colsample_bytree0.8, objectivereg:squarederror ) model.fit(X, y) return model, feature_colsmax_depth4是防止过拟合的关键舆情特征维度不高树太深会记住噪声。learning_rate0.05配合n_estimators200是常见的慢学习组合比0.1 100更稳。滞后特征选了 1、2、3、6 四个窗口对应 10 分钟到 1 小时的滞后覆盖了舆情传播的主要时间尺度。预测时把 Prophet 的yhat加上 XGBoost 的残差预测值就是最终预测量。注意残差模型需要至少两周的历史数据才能训出稳定效果。数据不足两周时直接用 Prophet 的yhat_upper做预警阈值别硬上 XGBoost。5. 可视化大屏与预警ECharts 看板 阈值告警5.1 用 ECharts 搭一块能看的舆情看板可视化不是把图画出来就完事舆情看板要回答三个问题现在什么情况、趋势往哪走、哪里需要处理。我一般用 ECharts 做四块图顶部是总量和负面占比的指标卡左边是情感趋势折线右边是负面词云底部是预测曲线和实际曲线的对比。// ECharts 情感趋势 预测对比 const chart echarts.init(document.getElementById(trend)); const option { tooltip: { trigger: axis }, legend: { data: [实际情感, 预测情感, 预警线] }, xAxis: { type: category, data: timestamps }, yAxis: { type: value, min: -1, max: 1 }, series: [ { name: 实际情感, type: line, data: actualSentiment, smooth: true, lineStyle: { width: 2 } }, { name: 预测情感, type: line, data: predictedSentiment, smooth: true, lineStyle: { type: dashed } }, { name: 预警线, type: line, data: new Array(timestamps.length).fill(-0.3), lineStyle: { color: red, type: dotted }, symbol: none } ] }; chart.setOption(option);min: -1, max: 1固定 Y 轴范围避免自动缩放导致视觉误判。预测线用虚线区分实际线预警线用红色点线一眼能看出什么时候跌破阈值。数据刷新用setInterval每 60 秒拉一次后端接口增量更新用chart.setOption(option, { notMerge: false })不要每次重建实例。5.2 预警规则阈值、持续时长、抑制重复预警不是简单的一条线。我一般设三级黄色预警是负面占比超过 30% 持续 2 个窗口橙色是超过 50% 持续 2 个窗口红色是超过 70% 或预测量超过历史均值 3 倍。每条预警要带抑制期同一事件 30 分钟内不重复推送否则运维会被轰炸到麻木。def check_alert(feats, alert_state): latest feats.iloc[-1] level None if latest[neg_ratio] 0.7 or latest[volume] feats[volume].mean() * 3: level red elif latest[neg_ratio] 0.5: level orange elif latest[neg_ratio] 0.3: level yellow if level is None: return None # 抑制期检查 key falert:{level} if alert_state.get(key, 0) time.time() - 1800: return None alert_state[key] time.time() return {level: level, ts: latest.name, neg_ratio: latest[neg_ratio]}alert_state用字典或 Redis 存记录每个级别上次触发的时间。1800 秒抑制期是经验值太短会重复告警太长会漏掉二次爆发。红色预警建议同时触发邮件和短信黄色只发站内通知分级处理能减少无效打扰。6. 避坑与排查这套系统最容易翻车的五个地方6.1 采集被封现象是请求返回 403 或空数据原因通常是请求头太假、频率太高、或者 IP 被标记。解决分三步第一User-Agent用真实浏览器字符串别用python-requests第二给每个源加随机延迟time.sleep(random.uniform(1, 3))第三准备多个出口 IP 轮换但要注意合规只采集公开数据。如果返回空数据但状态码 200检查接口参数是不是变了很多平台会静默改字段名。6.2 情感判断反了现象是明显负面被判成正面最常见的原因是分词把否定词和情感词拆开了比如「不 好」被拆成两个词否定规则没生效。解决方法是自定义词典把「不好」「不满意」「不推荐」作为整体词加进jieba用户词典并给强负面权重。另一个原因是反讽「这质量真是绝了」字面正面实际负面词典法处理不了只能靠大模型或人工规则兜底。6.3 预测滞后现象是实际已经爆了预测曲线还没起来Prophet 的changepoint_prior_scale太小模型太保守。把它从 0.05 调到 0.2 到 0.3让模型对拐点更敏感。同时检查interval_width如果设成 0.95置信区间太宽yhat_upper会高得没意义。舆情场景建议 0.8。如果调完还是滞后说明残差模型没训好检查滞后特征是不是有数据泄漏——用了未来窗口的数据。6.4 时间窗口对不齐现象是聚合结果和实际对不上不同源的时间戳时区不一样有的用 UTC 有的用本地时间。统一转 UTC 时间戳再聚合别在字符串层面比较。另一个坑是resample的closed和label参数默认左闭右闭跨窗口的数据可能被算两次或漏掉。建议显式设closedleft, labelleft每个数据点只属于一个窗口。6.5 大屏卡顿现象是数据量上来后页面响应超过 5 秒ECharts 渲染上万点会卡。解决方法是后端做降采样超过 2000 个点时按分钟聚合再返回。前端用large: true开启大数据模式sampling: lttb做视觉降采样。另外别在setInterval里重建图表实例用setOption增量更新内存泄漏是卡顿的隐形杀手。7. 进阶调优把预警准确率从 70% 拉到 85% 的两个技巧第一个技巧是动态阈值。固定阈值在不同时段效果差很多凌晨的负面占比天然比白天高。我一般用过去 7 天同时段的均值加两倍标准差作为动态基线超过基线才告警。这样能消掉周期性误报实测能把误报率降一半。def dynamic_threshold(feats, colneg_ratio, days7): # 按小时取历史同时段统计 feats feats.copy() feats[hour] feats.index.hour baseline feats.groupby(hour)[col].agg([mean, std]) latest_hour feats.index[-1].hour mu baseline.loc[latest_hour, mean] sigma baseline.loc[latest_hour, std] return mu 2 * sigma第二个技巧是模型融合。Prophet 和 XGBoost 的预测值做加权平均权重用最近 7 天的验证误差反比来定。误差小的模型权重大误差大的权重小。这个做法比单模型稳定尤其在数据分布变化时不会一边倒。def ensemble_predict(prophet_pred, xgb_residual, w_prophet0.6): # w_prophet 根据验证集误差动态调整 return w_prophet * prophet_pred (1 - w_prophet) * (prophet_pred xgb_residual)权重不是固定的每周用最近数据重新算一次。我踩过的坑是权重设死之后数据源换了Prophet 误差变大但权重没变预测直接偏了三天才发现。后来改成每周自动重算再没出过这个问题。这套系统从采集到预警核心不是模型多复杂而是每个环节的参数有没有根据你的数据调过。希望帮到你。本文还有配套的精品资源点击获取