简介这是一套面向高校计算机相关专业学生的Python课程设计资料主题为酒店评论情感分析适合用作期末大作业、课程设计或毕业设计参考。资源包共28个文件约4.42MB包含2个py源码文件、1个docx技术文档、1个pptx结题演示文稿、1个md说明文件以及大量txt情感词典与停用词表、rar语料压缩包和jpg配图覆盖从代码到文档的完整交付物。目前已有32人学习下载。源码结构清晰关键算法配有中文注释集成数据预处理、特征提取、模型训练与情感分类全流程并内置酒店情感词典、否定词与程度副词词典等资源下载后简单配置即可运行。文档与演示文稿可直接用于结题答辩词典与停用词表也能复用到其他中文文本分析任务中对初学者理解文本情感分析的实现原理有较高参考价值。1. 酒店评论情感分析系统从零搭一套能跑通的全栈方案做酒店运营的朋友经常问我一个问题每天几百条评论靠人工一条条看根本不现实能不能让程序自动判断哪些是好评、哪些是差评甚至提前预警差评这就是情感分析系统要解决的事。Python 做这件事有天然优势——生态成熟、上手快、调试方便。整套系统拆开看就四块数据采集、文本预处理、模型推理、结果可视化。我这次用中文酒店评论做样本从爬虫到前端展示全部走一遍代码和文档都整理好了。适合有 Python 基础、想做一个完整 NLP 落地项目的同学也适合酒店运营方想自建舆情监控的技术负责人。读完你能拿到一套可复现的代码框架知道每个环节参数怎么调、坑在哪。2. 数据采集与清洗酒店评论从哪来、怎么洗2.1 评论数据源的选型与采集策略酒店评论的数据源主要有几类OTA 平台公开评论页、自家小程序/APP 的用户评价、第三方点评站点。做情感分析系统第一步不是急着写模型而是想清楚数据从哪来、量级多大、字段有哪些。我一般优先用自家后台导出的评论数据格式干净、字段齐全省去大量清洗工作。如果没有自有数据公开评论页也可以采集但要注意频率控制和页面结构变化。采集环节用requestsBeautifulSoup就够了不需要上重型框架。核心思路是先请求列表页拿到评论 ID 和摘要再逐条请求详情页拿完整评论内容、评分、入住时间。下面是一个最小可用的采集脚本骨架import requests from bs4 import BeautifulSoup import time import csv import random HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } def fetch_list_page(hotel_id, page): 抓取评论列表页返回评论详情链接列表 url fhttps://example-ota.com/hotel/{hotel_id}/reviews?page{page} resp requests.get(url, headersHEADERS, timeout10) soup BeautifulSoup(resp.text, html.parser) links [] for item in soup.select(.review-item a.detail-link): href item.get(href) if href: links.append(href) return links def fetch_review_detail(detail_url): 抓取单条评论详情返回结构化字典 resp requests.get(detail_url, headersHEADERS, timeout10) soup BeautifulSoup(resp.text, html.parser) review { content: soup.select_one(.review-content).get_text(stripTrue), score: soup.select_one(.review-score).get_text(stripTrue), date: soup.select_one(.review-date).get_text(stripTrue), room_type: soup.select_one(.room-type).get_text(stripTrue) if soup.select_one(.room-type) else 未知 } return review def crawl_hotel_reviews(hotel_id, max_pages50): 主采集流程结果写入 CSV all_reviews [] for page in range(1, max_pages 1): links fetch_list_page(hotel_id, page) if not links: break for link in links: try: review fetch_review_detail(link) all_reviews.append(review) except Exception as e: print(f抓取失败: {link}, 原因: {e}) time.sleep(random.uniform(1.5, 3.5)) # 随机间隔降低被封风险 print(f第 {page} 页完成累计 {len(all_reviews)} 条) time.sleep(random.uniform(2, 5)) with open(hotel_reviews.csv, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[content, score, date, room_type]) writer.writeheader() writer.writerows(all_reviews) print(f采集完成共 {len(all_reviews)} 条评论) if __name__ __main__: crawl_hotel_reviews(hotel_id123456, max_pages30)这段代码的逻辑很直白列表页拿链接详情页拿字段中间用随机 sleep 控制节奏。几个关键参数需要根据实际情况调整——max_pages控制采集深度timeout防止请求挂死random.uniform(1.5, 3.5)是请求间隔太短容易被限流太长效率低。encodingutf-8-sig是为了 Excel 打开 CSV 不乱码这个细节很多人第一次做会踩坑。注意采集公开数据要遵守目标站点的 robots.txt 和使用条款控制请求频率不要对目标服务器造成压力。2.2 中文评论清洗的四个关键步骤原始评论数据拿到手直接丢给模型效果一定差。中文酒店评论有几个典型噪声HTML 标签残留、表情符号、重复字符“好好好好好”、无意义的口语填充“啊啊啊”“emm”。清洗流程我一般分四步走第一步去 HTML 标签和特殊字符。用正则re.sub(r[^], , text)去掉残留标签再用re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text)保留中文、英文、数字和常用标点。第二步处理重复字符。连续重复三次以上的字符压缩成一次比如“好好好好”变成“好”。正则写法re.sub(r(.)\1{2,}, r\1, text)。第三步分词和去停用词。中文分词用jieba停用词表可以用哈工大停用词表加上酒店领域自定义词“酒店”“房间”“入住”这类高频但无区分度的词可以视情况保留或去除。分词后过滤掉长度为 1 的词和纯数字。第四步处理否定词和程度副词。这一步很多人忽略但对情感分析影响很大。“不好”和“好”的情感极性完全相反“非常好”和“好”的强度也不同。我一般会在分词阶段把否定词和程度副词与后续词合并比如“不好”合并为“不好”“非常满意”合并为“非常满意”。import re import jieba STOPWORDS set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: STOPWORDS.add(line.strip()) NEGATION_WORDS {不, 没, 没有, 别, 无, 非} DEGREE_WORDS {非常, 很, 特别, 十分, 极其, 太, 超} def clean_text(text): 中文酒店评论清洗主函数 # 去 HTML 标签 text re.sub(r[^], , text) # 保留中文、英文、数字和常用标点 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) # 压缩重复字符 text re.sub(r(.)\1{2,}, r\1, text) # 去除首尾空白 text text.strip() return text def tokenize_with_modifiers(text): 分词并合并否定词/程度副词与后续词 words jieba.lcut(text) result [] i 0 while i len(words): word words[i] if word in NEGATION_WORDS or word in DEGREE_WORDS: if i 1 len(words): result.append(word words[i 1]) i 2 continue if word not in STOPWORDS and len(word) 1: result.append(word) i 1 return result # 使用示例 raw 房间非常干净但是隔音太太太差了晚上根本睡不着font cleaned clean_text(raw) tokens tokenize_with_modifiers(cleaned) print(cleaned) # 房间非常干净但是隔音太差了晚上根本睡不着 print(tokens) # [房间, 非常干净, 但是, 隔音, 太差, 晚上, 睡不着]清洗逻辑的核心在于先做字符级清理再做词级处理。clean_text负责去掉噪声tokenize_with_modifiers负责保留情感信号。停用词表建议至少 1000 词以上覆盖常见虚词、代词、连词。否定词和程度副词的处理规则可以根据业务调整——比如“不太满意”应该合并为“不太满意”还是“不太满意”取决于你的模型对这类组合的敏感度。3. 情感分析模型选型、训练与推理3.1 从 SnowNLP 到 BERT模型选型的三个档位情感分析模型的选择取决于你的数据量、精度要求和部署环境。我一般把方案分三档第一档开箱即用型。SnowNLP是中文情感分析的老牌库安装即用对酒店评论这种短文本效果尚可。优点是零训练成本缺点是精度有限对反讽、双重否定容易翻车。适合快速验证需求或数据量极少的场景。第二档传统机器学习。用scikit-learn的TfidfVectorizerLogisticRegression或SVM在自己标注的数据上训练。需要至少 2000 条标注数据精度比 SnowNLP 高 10-15 个百分点。优点是训练快、可解释性强、部署轻量。适合中小规模落地。第三档预训练模型微调。用bert-base-chinese或chinese-roberta-wwm-ext做微调精度最高但需要 GPU 和至少 5000 条高质量标注数据。适合对精度要求高的商业场景。我的建议是先用 SnowNLP 跑一版基线看看效果能不能接受不行再上第二档第二档还不够再考虑第三档。不要一上来就 BERT标注成本和训练成本都很高。3.2 用 scikit-learn 训练一个酒店评论分类器下面以第二档方案为例完整走一遍训练流程。假设你已经有了标注数据格式是 CSV两列text和label0 负面1 正面。import pandas as pd import jieba from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, accuracy_score import joblib # 1. 加载标注数据 df pd.read_csv(labeled_reviews.csv, encodingutf-8-sig) print(f数据总量: {len(df)}, 正面: {df[label].sum()}, 负面: {len(df) - df[label].sum()}) # 2. 分词 def cut_for_tfidf(text): return .join(jieba.lcut(str(text))) df[segmented] df[text].apply(cut_for_tfidf) # 3. 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( df[segmented], df[label], test_size0.2, random_state42, stratifydf[label] ) # 4. TF-IDF 向量化 vectorizer TfidfVectorizer( max_features8000, # 保留最高频的 8000 个词 ngram_range(1, 2), # 考虑单字和双字组合 min_df3, # 至少出现在 3 篇文档中才保留 max_df0.9 # 出现在 90% 以上文档中的词丢弃 ) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) # 5. 训练逻辑回归 clf LogisticRegression( C1.0, # 正则化强度越小正则越强 max_iter1000, # 最大迭代次数 class_weightbalanced # 类别不平衡时自动调整权重 ) clf.fit(X_train_vec, y_train) # 6. 评估 y_pred clf.predict(X_test_vec) print(f准确率: {accuracy_score(y_test, y_pred):.4f}) print(classification_report(y_test, y_pred, target_names[负面, 正面])) # 7. 保存模型和向量器 joblib.dump(clf, sentiment_clf.pkl) joblib.dump(vectorizer, tfidf_vectorizer.pkl) print(模型已保存)这段代码的关键参数需要解释一下。max_features8000控制特征维度太大容易过拟合太小会丢失信息一般 5000-10000 之间比较合适。ngram_range(1, 2)让模型能捕捉“不好”这类二元组合对情感分析很重要。min_df3过滤掉只出现一两次的稀有词降低噪声。class_weightbalanced在正负样本不均衡时自动加权酒店评论通常好评多差评少这个参数很关键。训练完成后推理流程就是新评论 → 清洗 → 分词 → TF-IDF 向量化 → 模型预测。封装成一个函数def predict_sentiment(text, clf, vectorizer): 输入原始评论输出情感标签和概率 cleaned clean_text(text) segmented .join(jieba.lcut(cleaned)) vec vectorizer.transform([segmented]) label clf.predict(vec)[0] proba clf.predict_proba(vec)[0] return { label: 正面 if label 1 else 负面, confidence: round(max(proba), 4), text: text } # 使用 result predict_sentiment(房间很干净服务态度也很好, clf, vectorizer) print(result) # {label: 正面, confidence: 0.9231, text: 房间很干净服务态度也很好}3.3 用 SnowNLP 做快速基线对比在正式训练模型之前我习惯用 SnowNLP 跑一版基线看看数据本身的情感分布是否合理。SnowNLP 的用法极其简单from snownlp import SnowNLP def snownlp_baseline(text): SnowNLP 情感打分返回 0-1 之间的情感值 s SnowNLP(text) return s.sentiments # 测试几条典型评论 samples [ 房间很干净服务态度也很好, 隔音太差了晚上根本睡不着, 位置不错但是设施有点旧, 性价比很高下次还会来 ] for s in samples: score snownlp_baseline(s) label 正面 if score 0.5 else 负面 print(f{s} - {score:.4f} ({label}))SnowNLP 返回的是 0 到 1 之间的情感值大于 0.5 判为正面。它的优势是零训练、零标注适合快速摸底。但要注意SnowNLP 在电商评论上训练较多对酒店领域的特定表达比如“床品舒适”“隔音差”可能不够敏感。我一般用它来快速标注一批数据然后人工修正作为训练集的初始版本。4. 系统集成与可视化把模型变成能用的工具4.1 Flask 后端接口设计与实现模型训练好之后需要包装成服务才能被前端或其他系统调用。用 Flask 搭一个轻量 API 是最快的方式。核心接口就两个单条预测和批量预测。from flask import Flask, request, jsonify import joblib import jieba import re app Flask(__name__) # 加载模型和向量器 clf joblib.load(sentiment_clf.pkl) vectorizer joblib.load(tfidf_vectorizer.pkl) def clean_text(text): text re.sub(r[^], , text) text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) text re.sub(r(.)\1{2,}, r\1, text) return text.strip() app.route(/api/predict, methods[POST]) def predict(): 单条评论情感预测 data request.get_json() text data.get(text, ) if not text: return jsonify({error: text 不能为空}), 400 cleaned clean_text(text) segmented .join(jieba.lcut(cleaned)) vec vectorizer.transform([segmented]) label clf.predict(vec)[0] proba clf.predict_proba(vec)[0] return jsonify({ label: 正面 if label 1 else 负面, confidence: round(float(max(proba)), 4), cleaned_text: cleaned }) app.route(/api/batch_predict, methods[POST]) def batch_predict(): 批量评论情感预测 data request.get_json() texts data.get(texts, []) if not texts: return jsonify({error: texts 不能为空}), 400 results [] for text in texts: cleaned clean_text(text) segmented .join(jieba.lcut(cleaned)) vec vectorizer.transform([segmented]) label clf.predict(vec)[0] proba clf.predict_proba(vec)[0] results.append({ text: text, label: 正面 if label 1 else 负面, confidence: round(float(max(proba)), 4) }) positive sum(1 for r in results if r[label] 正面) return jsonify({ total: len(results), positive: positive, negative: len(results) - positive, details: results }) if __name__ __main__: app.run(host0.0.0.0, port5000, debugFalse)接口设计的关键点单条预测返回标签、置信度和清洗后文本方便调试批量预测额外返回正负样本统计方便运营快速看整体舆情。debugFalse在生产环境必须关掉否则有安全风险。端口 5000 是 Flask 默认实际部署时建议用 gunicorn 或 uwsgi 做 WSGI 容器。4.2 用 Pyecharts 做评论情感可视化看板光有接口不够运营需要看到直观的图表。用pyecharts生成情感分布饼图、时间趋势折线图和关键词词云嵌入 Flask 模板或单独生成 HTML 都可以。from pyecharts.charts import Pie, Line, WordCloud from pyecharts import options as opts from collections import Counter import jieba def generate_pie(positive, negative): 生成情感分布饼图 pie Pie() pie.add( , [(正面, positive), (负面, negative)], radius[40%, 70%], label_optsopts.LabelOpts(formatter{b}: {c} ({d}%)) ) pie.set_global_opts( title_optsopts.TitleOpts(title酒店评论情感分布), legend_optsopts.LegendOpts(pos_leftcenter, pos_topbottom) ) pie.render(sentiment_pie.html) def generate_trend(dates, positive_counts, negative_counts): 生成情感时间趋势折线图 line Line() line.add_xaxis(dates) line.add_yaxis(正面, positive_counts, is_smoothTrue) line.add_yaxis(负面, negative_counts, is_smoothTrue) line.set_global_opts( title_optsopts.TitleOpts(title评论情感趋势), xaxis_optsopts.AxisOpts(name日期), yaxis_optsopts.AxisOpts(name评论数) ) line.render(sentiment_trend.html) def generate_wordcloud(texts, stopwords): 生成评论关键词词云 words [] for text in texts: words.extend([w for w in jieba.lcut(text) if w not in stopwords and len(w) 1]) counter Counter(words) top_words counter.most_common(100) wc WordCloud() wc.add(, top_words, word_size_range[15, 80]) wc.set_global_opts(title_optsopts.TitleOpts(title评论关键词词云)) wc.render(sentiment_wordcloud.html)这三个图表覆盖了运营最关心的三个维度整体情感比例、时间变化趋势、高频关键词。饼图看全局折线图看趋势词云看具体问题点。生成的都是独立 HTML 文件可以直接嵌入后台系统也可以单独打开查看。提示词云的分词结果建议先做一次人工检查去掉酒店名称、品牌词等无分析价值的干扰项。5. 避坑与排查酒店评论情感分析常见的五个翻车点5.1 标注数据不均衡导致模型偏袒好评现象模型在测试集上准确率 90%但上线后发现差评几乎全被误判为好评。原因酒店评论天然好评多差评少如果训练集正负比 9:1模型只要全猜正面就能拿 90% 准确率。解决训练时设置class_weightbalanced或者在采样阶段对少数类做过采样SMOTE或者手动补充差评样本。评估指标不要只看准确率重点看负面类的召回率。5.2 分词粒度不当导致情感信号丢失现象“不推荐”被分成“不”和“推荐”模型看到“推荐”判为正面。原因jieba 默认分词不会合并否定词和后续词。解决在分词后加一层规则把否定词和程度副词与后续词合并或者使用jieba.add_word(不推荐)手动添加领域词典。更彻底的做法是维护一份酒店领域自定义词典把“隔音差”“床品舒适”“前台态度好”这类高频组合加进去。5.3 模型上线后效果衰减现象模型刚上线时效果不错三个月后准确率明显下降。原因酒店评论的语言风格会变化新的网络用语、新的服务问题会出现模型没见过这些表达。解决建立定期更新机制每月抽一批新评论做人工标注加入训练集重新训练。同时监控线上预测的置信度分布如果大量预测置信度集中在 0.5-0.6 之间说明模型对新数据不确定需要更新。5.4 Flask 接口并发性能不足现象批量预测 100 条评论时接口响应超过 10 秒并发请求直接超时。原因Flask 默认单线程且逐条预测没有批处理优化。解决生产环境用 gunicorn 多 worker 部署批量接口内部用vectorizer.transform一次性向量化所有文本再一次性clf.predict比循环单条预测快 5-10 倍。如果量级更大考虑上 Redis 做结果缓存。5.5 情感分析结果与业务理解脱节现象模型判为负面的评论运营看了觉得不是问题模型判为正面的运营觉得是隐患。原因情感极性不等于业务价值。“房间有点旧但服务很好”整体偏正面但“旧”这个信息对运营很重要。解决在情感分析之外加一层关键词提取和主题分类把评论拆成“设施”“服务”“位置”“餐饮”等维度每个维度单独做情感判断。这样运营能看到具体哪个维度出了问题而不是只有一个笼统的正负面标签。6. 进阶技巧用置信度阈值做差评预警模型输出的是一个 0 到 1 之间的概率值默认以 0.5 为分界。但实际业务中0.5 附近的结果最不可靠真正有价值的是那些模型非常确定的差评。我一般会设一个预警阈值比如置信度大于 0.85 的负面评论直接推送给运营0.6 到 0.85 之间的进入人工复核队列低于 0.6 的暂时忽略。def alert_system(text, clf, vectorizer, threshold_high0.85, threshold_low0.6): 差评预警分级 cleaned clean_text(text) segmented .join(jieba.lcut(cleaned)) vec vectorizer.transform([segmented]) label clf.predict(vec)[0] proba clf.predict_proba(vec)[0] confidence max(proba) if label 0 and confidence threshold_high: return {level: 紧急, action: 立即推送运营, confidence: confidence} elif label 0 and confidence threshold_low: return {level: 关注, action: 加入人工复核队列, confidence: confidence} elif label 0: return {level: 低, action: 暂不处理, confidence: confidence} else: return {level: 正常, action: 无需处理, confidence: confidence}这个分级策略的好处是运营的精力有限不可能处理所有差评优先处理模型最确定的那些效率最高。阈值怎么定我的经验是拿一批历史评论跑一遍看模型在哪个置信度区间开始出现明显误判把阈值设在误判率开始上升的位置。不同酒店的数据分布不同阈值需要根据实际数据调没有万能值。还有一个技巧是定期用新数据做一次“影子测试”——把新评论同时跑一遍线上模型和最新训练的模型对比两者判断不一致的样本人工看看到底哪个对。这些不一致的样本往往就是模型需要改进的方向。我自己的习惯是每个月做一次坚持了半年模型准确率从最初的 82% 提到了 91%。这个过程没有捷径就是持续迭代。希望帮到你。本文还有配套的精品资源点击获取