简介本资源为基于Python的电商买家评论数据情感分析完整课程设计包面向计算机、人工智能、软件工程等专业学生及教师适合课程大作业、毕业设计或项目初期立项参考。包内共1379个文件以478个py源码、237个csv评论数据集、178个txt说明、125个html页面及若干模型与配置文件为主压缩包约53.95MB涵盖数据爬取、情感倾向分析、主题建模与可视化等模块。项目围绕美的热水器等真实商品评论展开包含训练集与测试集划分、评论分数与内容不吻合问题处理、关键词提取、情感分数计算及Streamlit图形化界面并配有详细代码注释与开发文档。已有1119人学习下载读者可据此掌握从数据采集到情感分类的完整流程并在此基础上扩展BERT、词云或LDA可视化等功能。1. 从一份课设包说起电商评论情感分析到底能跑出什么结果电商评论数据的情感分析很多人第一反应是“调个 SnowNLP 或者 TextBlob 跑一下不就行了”。但真拿一份几万条的美的热水器评论丢进去你会发现光是把 CSV 读进来、把评分和文本对齐、把中性评论挑出来就已经翻车好几次了。这份基于 Python 的电商买家评论数据情感分析资源包包含源码、模型、数据集和代码注释数据集里有spider_comments_34000.csv这种三万四千条量级的原始评论也有spider_meidi_comments2019.csv、spider_meidi_comments2020.csv这种按年份切分的品牌数据还有美的Midea_正面.csv这种已经标注好情感倾向的子集。它解决的不是“情感分析是什么”的问题而是“给你一堆真实电商评论怎么从清洗、分词、情感打分一路做到 Streamlit 可视化界面”的完整链路。适合正在做课程设计、毕业设计或者想拿真实评论数据练手情感分类的在校学生和初级工程师。运行入口就一行streamlit run ./Comment_analysis/Streamlit/streamlitEXP.py但这一行背后藏着环境配置、路径处理、模型加载好几个关卡。2. 环境搭建与数据摸底先让 CSV 能读进来再谈模型2.1 虚拟环境与依赖安装的实操路径资源包里带了activate、activate.bat、deactivate.bat、pyvenv.cfg、sysconfig.cfg这一套虚拟环境文件说明作者是在本地 venv 里开发调试的。你拿到包之后第一件事不是急着streamlit run而是先确认 Python 版本和依赖是否对得上。常见做法是重建一个干净的虚拟环境避免直接激活别人机器上生成的 venv 导致路径错乱。# 查看当前 Python 版本建议 3.8 到 3.10 之间 python --version # 在项目根目录重建虚拟环境 python -m venv venv # Windows 下激活 venv\Scripts\activate # macOS / Linux 下激活 source venv/bin/activate # 安装核心依赖版本号按你实际环境微调 pip install pandas numpy jieba snownlp scikit-learn streamlit wordcloud matplotlib seaborn这里有几个参数值得注意。python -m venv venv第二个venv是目录名你可以改成.venv或者env但改完之后激活命令里的路径也要跟着改。jieba用于中文分词snownlp是这套课设里做情感打分的主力库streamlit负责前端展示。如果你打算跑 BERT 情感分类的扩展部分还需要额外装transformers和torch但那不是跑通基础流程的必需项。装完之后用pip list确认一下别出现装到一半断了的情况。2.2 数据集结构与字段含义的快速摸底资源包里的 CSV 文件命名有规律spider_comments.csv和spider_comments_34000.csv是通用评论数据spider_meidi_comments2019.csv和spider_meidi_comments2020.csv是按年份抓取的美的品牌评论美的Midea_正面.csv是已经筛选过的正面情感子集。在写任何分析代码之前先用 pandas 把每个文件的列名、行数、缺失情况摸一遍这一步能帮你省掉后面大量调试时间。import pandas as pd import os # 列出目录下所有 CSV 文件 data_dir ./data # 按你实际存放路径调整 for fname in os.listdir(data_dir): if fname.endswith(.csv): fpath os.path.join(data_dir, fname) df pd.read_csv(fpath, encodingutf-8) print(f文件: {fname}) print(f 行数: {len(df)}, 列名: {list(df.columns)}) print(f 缺失值统计:\n{df.isnull().sum()}) print(- * 40)这段代码的逻辑很直接遍历目录、逐个读取、打印行列信息和缺失值。参数上唯一需要留意的是encoding电商评论数据常见编码有utf-8、gbk、gb18030如果报UnicodeDecodeError换成gb18030基本能解决。跑完这一步你大概能知道评论内容在哪一列、评分在哪一列、有没有时间戳字段。很多课设包的数据列名是中文的比如“评论内容”“评分”“时间”pandas 读进来之后列名可能带 BOM 头用df.columns df.columns.str.replace(\ufeff, )清一下更稳妥。2.3 评论分数与文本不吻合的处理策略项目正文里专门提到了“评论分数和评论内容的不吻合问题”这是电商评论分析里非常真实的一个坑。用户打了五星但评论写的是“还行吧”或者打了一星但内容是“物流很快下次还来”这种数据直接拿评分当标签训练模型噪声会很大。常见做法是先把评分映射成粗粒度情感标签比如 4 到 5 星算正面、1 到 2 星算负面、3 星单独归为中性然后用 SnowNLP 对评论文本单独打一个情感分两个分数做交叉比对。from snownlp import SnowNLP def score_to_label(score): 把评分映射为情感标签 if score 4: return 正面 elif score 2: return 负面 else: return 中性 def text_sentiment(text): 用 SnowNLP 对文本打情感分返回 0 到 1 之间的值 if not isinstance(text, str) or len(text.strip()) 0: return None return SnowNLP(text).sentiments # 假设 df 里有 评分 和 评论内容 两列 df[评分标签] df[评分].apply(score_to_label) df[文本情感分] df[评论内容].apply(text_sentiment) # 找出评分标签与文本情感分明显矛盾的记录 mask ( ((df[评分标签] 正面) (df[文本情感分] 0.3)) | ((df[评分标签] 负面) (df[文本情感分] 0.7)) ) conflict_df df[mask] print(f矛盾记录数: {len(conflict_df)})SnowNLP(text).sentiments返回的是 0 到 1 之间的浮点数越接近 1 越正面。阈值 0.3 和 0.7 是我一般会用的经验值你可以根据实际数据分布调整。矛盾记录不建议直接删掉可以单独存一份人工抽查或者在训练模型时给这些样本降权。这一步做完你对数据质量心里就有底了后面不管是做词云还是训分类器都不会被脏数据带偏。3. 从分词到情感打分SnowNLP 与词云可视化的落地细节3.1 中文分词与停用词过滤的代码实现中文评论做情感分析分词是绕不过去的一步。jieba 是这套课设里默认的分词工具但直接jieba.lcut出来的结果里会有大量“的”“了”“还”“就”这类对情感判断没帮助的词。停用词表可以自己整理一份也可以在网上找现成的中文停用词表放到项目目录里用代码加载。import jieba # 加载停用词表每行一个词 def load_stopwords(path): with open(path, r, encodingutf-8) as f: return set(line.strip() for line in f if line.strip()) stopwords load_stopwords(./stopwords.txt) def cut_words(text): 分词并过滤停用词和单字 if not isinstance(text, str): return [] words jieba.lcut(text) return [w for w in words if w not in stopwords and len(w) 1] df[分词结果] df[评论内容].apply(cut_words) print(df[分词结果].head(5))len(w) 1这个条件是为了过滤掉单个字因为单字在情感分析里歧义太大。停用词表文件如果没有现成的可以先跑一遍分词用collections.Counter统计词频把高频但无意义的词手动加进去。这个步骤做一遍之后后面词云和 LDA 主题模型的效果会明显干净很多。3.2 情感分数计算与结果分布查看SnowNLP 的情感打分是逐条进行的三万四千条数据跑起来需要一点时间但不会太久。跑完之后建议先看分布而不是急着下结论。import matplotlib.pyplot as plt # 计算情感分数 df[情感分] df[评论内容].apply(text_sentiment) # 画情感分分布直方图 plt.figure(figsize(10, 5)) df[情感分].dropna().hist(bins50, color#4C72B0, edgecolorwhite) plt.title(评论情感分分布) plt.xlabel(情感分) plt.ylabel(评论数) plt.tight_layout() plt.savefig(./sentiment_dist.png, dpi150) plt.show() # 按情感分区间统计 bins [0, 0.2, 0.4, 0.6, 0.8, 1.0] labels [很负面, 偏负面, 中性, 偏正面, 很正面] df[情感区间] pd.cut(df[情感分], binsbins, labelslabels, include_lowestTrue) print(df[情感区间].value_counts())pd.cut的分箱边界可以根据你的数据分布调整如果大部分评论集中在 0.6 以上说明整体偏正面这时候再看负面评论的具体内容更有价值。直方图保存到本地而不是只show()是因为 Streamlit 界面里也需要复用这些图提前存好可以避免重复计算。3.3 词云生成与关键词提取词云是课设答辩里很讨巧的一个可视化但词云本身不说明太多问题关键是看高频词和情感倾向的交叉。正面评论的词云和负面评论的词云分开做对比才明显。from wordcloud import WordCloud def generate_wordcloud(texts, save_path, title): 根据分词结果生成词云 all_words [] for words in texts: all_words.extend(words) text_join .join(all_words) wc WordCloud( font_path./SimHei.ttf, # 中文字体路径Windows 下可用 C:/Windows/Fonts/simhei.ttf width800, height400, background_colorwhite, max_words150, colormapviridis ) wc.generate(text_join) wc.to_file(save_path) print(f{title} 词云已保存到 {save_path}) # 正面评论词云 positive_texts df[df[情感区间].isin([偏正面, 很正面])][分词结果].tolist() generate_wordcloud(positive_texts, ./wordcloud_positive.png, 正面评论) # 负面评论词云 negative_texts df[df[情感区间].isin([偏负面, 很负面])][分词结果].tolist() generate_wordcloud(negative_texts, ./wordcloud_negative.png, 负面评论)font_path是词云翻车的高发点不指定中文字体的话出来的全是方块。Windows 下用C:/Windows/Fonts/simhei.ttfmacOS 下用/System/Library/Fonts/PingFang.ttcLinux 下需要自己拷一个字体文件到项目目录。max_words控制显示词数150 到 200 之间比较合适太多会挤在一起看不清。正面和负面词云对比着看能快速定位到用户真正在意的卖点和槽点。4. Streamlit 界面搭建与模型调用让分析结果能演示4.1 Streamlit 入口文件的结构拆解资源给的运行命令是streamlit run ./Comment_analysis/Streamlit/streamlitEXP.py说明入口文件在Comment_analysis/Streamlit/目录下。Streamlit 的特点是脚本式编程从上到下执行每次交互都会重新跑一遍。所以数据加载和模型加载这种耗时操作一定要用st.cache_data或st.cache_resource缓存起来否则每次点按钮都重新读 CSV、重新训模型体验会很差。import streamlit as st import pandas as pd from snownlp import SnowNLP st.cache_data def load_data(path): 缓存数据加载避免重复读 CSV df pd.read_csv(path, encodingutf-8) df[情感分] df[评论内容].apply(lambda x: SnowNLP(x).sentiments if isinstance(x, str) else None) return df st.title(电商评论情感分析看板) # 侧边栏选择数据集 data_option st.sidebar.selectbox( 选择数据集, [spider_comments_34000.csv, spider_meidi_comments2019.csv, spider_meidi_comments2020.csv] ) df load_data(f./data/{data_option}) # 展示情感分布 st.subheader(情感分分布) st.bar_chart(df[情感分].dropna().value_counts(bins10).sort_index()) # 展示原始数据 st.subheader(评论明细) st.dataframe(df[[评论内容, 评分, 情感分]].head(100))st.cache_data装饰器的作用是把函数返回值缓存起来参数不变时直接拿缓存结果。st.sidebar.selectbox让用户切换数据集st.bar_chart和st.dataframe是 Streamlit 自带的展示组件不需要额外写前端代码。这个结构跑通之后你可以往里面加词云图、加关键词筛选、加单条评论情感打分输入框都是在这个骨架上扩展。4.2 模型加载与预测接口的对接方式如果课设里包含了训练好的机器学习模型比如 sklearn 的朴素贝叶斯或 SVM加载方式和 SnowNLP 不同需要用pickle或joblib反序列化。模型文件一般放在model/或models/目录下加载一次之后缓存住。import joblib import streamlit as st st.cache_resource def load_model(model_path): 缓存模型加载 return joblib.load(model_path) model load_model(./model/sentiment_model.pkl) vectorizer load_model(./model/tfidf_vectorizer.pkl) def predict_sentiment(text): 用训练好的模型预测单条评论情感 vec vectorizer.transform([text]) pred model.predict(vec)[0] proba model.predict_proba(vec)[0] return pred, max(proba) # 在 Streamlit 里加一个输入框 user_input st.text_input(输入一条评论试试) if user_input: pred, confidence predict_sentiment(user_input) st.write(f预测情感: {pred}, 置信度: {confidence:.2f})st.cache_resource和st.cache_data的区别在于前者适合缓存模型、数据库连接这类不可序列化的对象后者适合缓存 DataFrame、列表这类数据。joblib.load比pickle.load在处理 numpy 数组时更快模型文件大的话优先用 joblib。predict_proba返回的是各类别的概率取最大值作为置信度低于 0.6 的时候可以在界面上提示“结果仅供参考”避免误导。4.3 装饰器在计时与日志中的实际用法项目正文里提到了“装饰器计时、log注解”这是课设里体现代码规范的一个加分项。计时装饰器可以帮你定位哪个环节最耗时日志装饰器可以把关键操作记录到文件里方便排查。import time import logging from functools import wraps logging.basicConfig( filename./app.log, levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s ) def timer(func): 计时装饰器 wraps(func) def wrapper(*args, **kwargs): start time.time() result func(*args, **kwargs) elapsed time.time() - start logging.info(f{func.__name__} 耗时 {elapsed:.2f} 秒) return result return wrapper def log_call(func): 日志装饰器 wraps(func) def wrapper(*args, **kwargs): logging.info(f调用 {func.__name__}, 参数: {args}, {kwargs}) return func(*args, **kwargs) return wrapper timer log_call def process_comments(df): 处理评论数据计算情感分 df[情感分] df[评论内容].apply(text_sentiment) return dfwraps(func)的作用是保留原函数的元信息不加的话被装饰函数的__name__会变成wrapper调试时容易懵。多个装饰器叠加时执行顺序是从下往上timer在最外层意味着它统计的是包含log_call在内的总耗时。日志文件建议按日期切分不然跑久了会很大可以用logging.handlers.TimedRotatingFileHandler替代基础的basicConfig。5. 避坑与常见问题排查那些答辩前才发现的坑5.1 中文乱码与编码报错现象pd.read_csv报UnicodeDecodeError: utf-8 codec cant decode byte...或者读进来之后中文列名变成乱码。原因电商评论数据来源多样有的 CSV 是 GBK 编码有的是 UTF-8 带 BOM还有的是 GB18030。作者在 Windows 上抓的数据大概率是 GBK 系。解决先试encodingutf-8报错就换encodinggb18030这个编码兼容性最好。如果列名带 BOM读进来之后用df.columns df.columns.str.replace(\ufeff, )清理。写 CSV 的时候统一用encodingutf-8-sig这样 Excel 打开也不会乱码。5.2 Streamlit 重复加载导致卡顿现象每次在界面上点一下按钮页面要转好几秒才响应数据量大的时候更明显。原因Streamlit 的脚本是从上到下重新执行的没有加缓存的函数每次交互都会重新跑一遍。数据加载和模型加载是重灾区。解决数据加载用st.cache_data模型加载用st.cache_resource。注意缓存函数的参数必须是可哈希的传 DataFrame 进去会报错传文件路径字符串就没问题。如果数据会变加一个ttl参数控制缓存过期时间。5.3 SnowNLP 情感分与人工判断偏差大现象明明是很负面的评论SnowNLP 打出来的情感分却有 0.6 以上。原因SnowNLP 的训练语料是电商评论但偏向于通用场景对某些行业特定表达比如“热水器加热太慢了”里的“太慢了”识别不够敏感。另外反讽、双重否定也是弱项。解决不要只依赖 SnowNLP 一个分数。结合评分做交叉验证矛盾数据单独拿出来看。如果课设允许可以自己标注几百条数据用 sklearn 训一个 TF-IDF 朴素贝叶斯的分类器在特定品类上效果通常比 SnowNLP 好。项目正文里提到的 BERT 情感分类就是进一步优化的方向。5.4 词云中文显示为方块现象词云图生成出来了但所有中文都是方块或者空白。原因WordCloud 默认字体不支持中文必须手动指定中文字体文件路径。解决Windows 下用C:/Windows/Fonts/simhei.ttfmacOS 下用/System/Library/Fonts/PingFang.ttcLinux 下把字体文件拷到项目目录里用相对路径。路径里的斜杠用正斜杠/或者双反斜杠\\单反斜杠在 Python 字符串里会被当转义字符。5.5 虚拟环境激活后 pip 装包仍报 ModuleNotFoundError现象明明在激活的虚拟环境里pip install了某个包运行脚本还是说找不到模块。原因最常见的是 pip 和 python 不在同一个环境里。比如系统里装了多个 Python 版本pip指向的是全局 Python 的 pip而python指向的是虚拟环境里的。解决用python -m pip install 包名代替直接pip install这样能保证装到当前python对应的环境里。装完之后用python -c import 包名; print(包名.__file__)确认一下路径是不是在虚拟环境目录下。6. 进阶玩法从 SnowNLP 到 BERT 的平滑过渡基础流程跑通之后如果你想让课设的答辩分再往上走一截可以试试把 SnowNLP 换成 BERT 做情感分类。项目正文里也提到了“bert情感分类”作为可考虑的点。但直接上 BERT 有个现实问题三万四千条数据用 CPU 跑推理会非常慢答辩演示的时候等不起。我一般会这么做——先用 SnowNLP 跑一遍全量数据把情感分作为弱标签然后从中抽出一部分高置信度的样本情感分接近 0 或接近 1 的用这些样本来微调一个小型的 BERT 模型比如bert-base-chinese或者hfl/rbt3。这样既利用了全量数据的信息又控制了训练成本。from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch # 加载预训练模型和分词器 model_name hfl/rbt3 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) def bert_predict(text): 用 BERT 做单条情感预测 inputs tokenizer(text, return_tensorspt, truncationTrue, max_length128) with torch.no_grad(): logits model(**inputs).logits pred torch.argmax(logits, dim1).item() return 正面 if pred 1 else 负面 # 抽样测试 sample_texts df[评论内容].dropna().sample(5, random_state42).tolist() for t in sample_texts: print(f评论: {t[:50]}... - 预测: {bert_predict(t)})max_length128对大多数电商评论够用了超过 128 个 token 的评论会被截断。hfl/rbt3是一个轻量级中文 BERT推理速度比bert-base-chinese快不少适合课设演示场景。如果你有 GPU可以把模型和输入都.to(cuda)速度会再上一个台阶。没有 GPU 的话建议只对抽样数据做 BERT 推理全量数据还是用 SnowNLP 或者 sklearn 模型。另一个值得试的方向是 pyLDAvis 做主题模型可视化。项目正文里提到了“pyLDAvis可视化通过网页来展示”这个和 Streamlit 可以结合起来——在 Streamlit 里嵌入 pyLDAvis 生成的 HTML。做法是先对分词结果做 LDA 主题建模然后用 pyLDAvis 生成交互式图表保存成 HTML 文件再用streamlit.components.v1.html嵌入进去。主题数一般选 5 到 8 个太多会过拟合太少区分度不够。判断主题好坏可以看 coherence 分数也可以直接人工看每个主题下的高频词是否成体系。还有一个容易被忽略的点是评论的时间维度。项目正文里提到“同一个热水器的评论内容随时间变化”这个分析做出来在答辩时很加分。把spider_meidi_comments2019.csv和spider_meidi_comments2020.csv按月份聚合画一条情感分随时间变化的折线图能看出产品口碑的走势。如果某个月情感分突然掉下去再去看那个月的负面评论关键词往往能定位到具体的批次问题或者售后事件。这种分析不需要多复杂的模型但能体现出你对业务的理解比单纯堆模型更有说服力。从那以后我每次拿到一份新的评论数据集都强制先跑一遍编码检测、缺失值统计和评分-文本矛盾率这三项确认数据底子干净了再往下走。很多翻车不是因为模型不行而是因为一开始就没把数据当回事。希望帮到你。本文还有配套的精品资源点击获取