简介这是一份基于Python的京东电商评论情感分析实战项目面向数据分析初学者与电商运营人员可帮助理解用户评论情绪倾向并辅助产品改进。项目完整覆盖文本预处理、中文分词、关键词提取、情感判别等核心环节并结合可视化词云展示评论热点适合入门到中级学习者掌握完整数据分析流程。压缩包内共8个文件约7.7MB包含Python主程序、交互式分析笔记、网页报告、原始评论数据、多张词云图以及中文字体结构清晰开箱即用。目前已有234人学习下载。读者可以获得从数据清洗、分词、关键词提取到情感评分与可视化的全套可运行代码以及分析笔记中的逐步思路既能直接复现结果也能在此基础上扩展应用到其他电商平台的评论挖掘。1. 电商评论翻车重灾区怎么用150行把京东评论区变成决策依据做商品运营或数据采集的人几乎都遇到过同一个问题一个商品几百条京东评论人工翻要半天翻完还说不清整体口碑到底偏正还是偏负。这个“电商-京东评论数据情感分析-约150行分词、关键词提取、情感分析.zip”要解决的就是把一堆评论文本变成三个可落地产出分词结果、关键词列表、情感倾向。适合两类人一类是刚接触中文NLP、想用最少代码跑通文本分析全流程的新手另一类是手上有评论数据、急着出量化结论但不想上BERT、不想调GPU的产品或运营。很多人以为情感分析必须上深度模型实际在商品评论这个场景词典打分配合jieba分词就能解决八成需求150行代码不是极限挑战而是刚好能完整看懂、能自己改的规模。这篇笔记按“先想明白选型、再跑通代码、最后避开坑”的顺序把这条链路完整拆开讲。2. 从评论到结论这条150行链路里每个环节为什么这么选2.1 评论数据里到底藏着什么信号先想一个具体问题一条京东评论“物流很快质量还行就是有点薄”里面能提取的东西分三层。词级是“物流/快/质量/行/薄”关键级是“物流/质量/薄”情感级是整体偏正向还是负向。分词把连续句子切成词关键词提取把最能代表这条评论的词挑出来情感分析给整句打一个分数。三个任务有明确的先后依赖分词准确度直接决定后两步的上限关键词提取选出的词又会反过来帮助判断情感倾向。这个顺序不是拍脑袋定的。中文没有天然空格不做分词关键词提取就会退化成字频统计情感分析也会被“不怎么样”这种整体词拆散成“不/怎么样”两个碎片。所以整条链路的设计逻辑是先用词级处理降低后续计算复杂度再用关键级筛选去掉噪音最后才轮到情感打分。2.2 分词为什么首选jieba而不是更“高级”的hanlp分词是整条链路的基石。在python中文分词工具里jieba是普及率最高、零依赖门槛最低的选择hanlp的模型和词表更强但配置成本和依赖体积都大不少而且它真正的优势场景是Java后端——搜索热词里“hanlp分词在springboot”正好说明了这一点。如果读者手里是一套Spring Boot服务想在接口层做分词那优先考虑hanlp接Java但这个150行的包显然定位在离线跑批用jieba最顺手。选jieba还有一个现实原因它自带关键词提取接口。jieba.analyse.extract_tags直接封装了TF-IDF算法分词和关键词一步到位不用额外引包。如果换hanlp关键词提取还得自己接别的实现代码量立刻超出150行。做小项目时“少一个依赖就少一类坑”这句话值得记住。2.3 关键词提取TF-IDF比TextRank更适合短评论关键词提取阶段jieba内置两种算法TF-IDF和TextRank。商品评论语料的特点是短、口语碎片多、商品词反复出现。TF-IDF对“物流”“质量”“客服”这类高频又有区分度的词打分稳定TextRank更吃句子内部词与词之间的共现关系在短评论里词共现矩阵非常稀疏排出来的关键词容易落到“京东”“自营”“收到”这类高频但无意义的品牌词上。实际对比过同样的50条评论TF-IDF的top5里能出“包装破损”“客服态度”TextRank的top5里“京东”和“东西”占了两三个位置。所以常见做法是分词后用jieba.analyse.extract_tags跑TF-IDFtopK参数控制在3到5不贪多。用户词典必须提前配好否则“京东物流”被切碎后“物流”这个词的IDF权重会被低估。2.4 情感分析为什么词典打分在商品场景够用情感分析可选的方案层次很多情感词典打分、朴素贝叶斯、LSTM、甚至多模态情感分析——搜索热词里的“视频人物情感分析”“影视情感分析”都属多模态范畴那种场景要融合语音、画面、文本复杂度完全不一样。但京东商品评论有一个关键特点短文本、情感词高度集中。“快”“好”“差”“薄”“损坏”这类极性情面词的出现频率远高于长文本平台。词典打分在这个前提下简单、可解释、能跑在普通笔记本上150行代码里最合适。词典打分还有一个隐藏优势每条评论的分数能拆到词级。运营看到“负面评论占比 23%”之后一定会追问“哪类词在拉低口碑”。词典方案可以直接回答“提到‘破损’的87条里负面率91%”。这个解释性换到深度学习方案里很难做到模型给出一个概率但说不清楚是哪个词触发的。3. 基于jieba的中文分词实战把150行拆成四个能跑的模块3.1 数据准备京东评论导出后先统一编码拿到的评论数据通常是Excel或CSVExcel里“评价内容”列混合着中文、标点、emoji和京东自带的表情标签。第一步先另存为CSV列名建议改成content编码选UTF-8。这里有个细节用Excel另存的CSV默认是ANSI编码Python读进来全是乱码所以不要直接在Excel里另存用WPS或Python的pandas重新写一遍最稳妥。一个约150行的代码包常见组织方式是一个主脚本、一个停用词表、一个情感词典、一个输出目录。主脚本负责读数据、清洗、分词、提取关键词、情感打分、输出结果。爬虫阶段怎么把评论抓下来属于另一个话题这里假设评论数据已经在本地。3.2 读取与清洗先解决编码和标签噪音import pandas as pd import re # 统一用 utf-8-sig 读取避免 Windows 下用记事本打开乱码 df pd.read_csv(jd_comments.csv, encodingutf-8-sig) # 强制转字符串防止数字评论被当成 int 处理 df[content] df[content].astype(str) # 去掉 HTML 标签、多余空白 df[content] df[content].str.replace(r[^], , regexTrue) df[content] df[content].str.strip() df df[df[content] ! ] print(df.shape)这段代码解决三个问题编码、类型、脏字符。utf-8-sig比utf-8多了BOM头兼容写出的CSV用Excel打开不会乱码读取带BOM的文件也更稳。astype(str)是必须的否则“好评”之外混进来的“12345”会被pandas当作int列读走后续分词直接报错。第三步的正则去掉所有尖括号包裹的内容对应京东评论里偶尔出现的span碎片。最后的print(df.shape)是第一个checkpoint确认数据量不是0很多翻车现场都死在这一步。3.3 分词和停用词过滤用户词典决定分词上限import jieba # 加载自定义词典把商品名、平台专有词加进去 # 每行格式词 词频 词性比如京东物流 20 n jieba.load_userdict(userdict.txt) stopwords set() with open(stopwords.txt, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def tokenize(text): # lcut 返回 list比 cut 生成器更直观方便调试 words jieba.lcut(text) # 过滤停用词和空字符串保留长度大于1的词 return [w for w in words if w not in stopwords and w.strip()] df[tokens] df[content].apply(tokenize) print(df[tokens].head())jieba.lcut直接返回列表适合数据量在几千条的离线场景如果来了十万条评论改成jieba.cut生成器逐个处理更省内存。userdict.txt是分词的后悔药——京东评论里“京造”“PLUS会员”“价保”这类词默认词库没有先加词典再分词比事后人工拼关键词省太多时间。停用词表里放“的”“了”“吧”“这个”“那个”就好千万不要把“不”“没”加进去否则情感反转信号直接被删干净后面情感分析会大面积翻车。3.4 关键词提取与情感打分核心输出逻辑import jieba.analyse # 每条评论取权重最高的 5 个关键词 df[keywords] df[content].apply( lambda s: ,.join(jieba.analyse.extract_tags(s, topK5)) ) # 情感词典手工维护、可解释 sentiment_dict { 快: 2, 好: 2, 满意: 2, 推荐: 2, 差: -2, 慢: -1, 薄: -1, 破损: -3, } # 对一条评论做情感打分 def sentiment_score(text): score 0 for w in jieba.lcut(text): if w in sentiment_dict: score sentiment_dict[w] return score df[score] df[content].apply(sentiment_score) df[sentiment] df[score].apply( lambda s: pos if s 0 else (neg if s 0 else neu) )extract_tags的topK建议先设5原因不是5最准确而是评论平均长度才20到40字5个词已经能覆盖主要信息量设太多容易把“这个”“东西”之类的高频词带进来。关键词之间用逗号拼接方便后续直接split成list。情感打分这里故意用最简单的score累加没有做否定词翻转。这个版本的目标是先把流程跑通、拿到一份可解释的结果然后再在避坑章节里补充否定词处理。词典不要硬编码在脚本里应该单独放一个txt每行一个词和分数因为后续补词是常态动不动改主脚本只会越改越乱。3.5 结果聚合从单条评论到整体口碑# 带详情的结果表 df.to_csv(result_with_sentiment.csv, indexFalse, encodingutf-8-sig) # 整体情感占比统计 summary df.groupby(sentiment)[content].count().reset_index() summary[ratio] summary[content] / summary[content].sum() print(summary)输出两个文件明细表给运营看单条评论和评分汇总表给自己看整体分布。ratio列计算正负中占比这就是“这个商品到底值不值得主推”的核心依据。这里只做了最简单的一维聚合进阶一点可以按score正负再配合关键词做交叉表看负面评论集中在哪些词上这个后面会展开。4. 跑评论情感分析翻过的车5个高频坑与处理办法4.1 自定义词没加词典“京东物流”被切成“京东/物流”现象所有包含“京东物流”的评论关键词提取结果里“物流”消失变成“京东”负面“物流太慢”被判成中性。原因jieba默认词库没有“京东物流”这个词切分结果是“京东”和“物流”。“物流”单独出现时IDF权重很低topK挤不进去。解决在userdict.txt加一行“京东物流 20 n”重新加载后再分词。注意词频参数不要乱给给20是让分词器把这个词当作整体切出来词频太高会影响相邻词的切分。4.2 “不怎么样”被词典判成中性现象评论“质量不怎么样退货了”词典里没有“怎么样”分数是0被判成中性人工肉眼一看显然是负面。原因词典打分只认单一词不认否定结构。“不”本身无情感分“怎么样”也没进词典整句分数直接丢失。解决加否定词翻转逻辑。分词结果里如果“不”“没”“没有”后面紧接着情感词把情感词分数取反。改进后的代码不复杂遍历词列表时记录上一个词如果是否定词当前情感词分乘以-1。4.3 停用词表删掉“不”“没”负面信号整体消失现象筛完停用词后全站负面率从20%掉到5%明显不符合直觉。原因停用词表是从网上的通用表拷的里面直接带了“不”“没”“别”这类否定词。分词后这些词被过滤情感打分阶段根本看不到否定信号。解决建表前先自查一遍凡是能改变语义的否定词全部从停用词表剔除。通用停用词表只能做起点必须针对评论场景人工过一遍。“不”“没”“没有”“别”“不用”这些词对情感判定的影响远大于“的”“了”“吧”。4.4 京东自带表情标签“[开心]”被清洗后丢失情感现象部分带“[开心]”“[大哭]”的评论人工判断很明确但词典打分全是0。原因清洗阶段的正则和分词把“[开心]”当作无意义符号处理了事实上它才是这条评论里信息量最大的情感词。解决清洗阶段先做表情映射把“[开心]”映射为“开心”“[大哭]”映射为“难过”再进分词。这样情感词典只需要维护“开心2”“难过-2”表情标签自动落到打分逻辑里。京东表情标签是封闭集合一次性整理完就永久受益。4.5 CSV乱码和数据错位编码不一致导致灾难现象脚本读进来的评论全是“锟斤拷”或者Excel打开输出文件时中文全部变成问号。原因数据源CSV是ANSI编码脚本用utf-8-sig读读出来全是乱码输出文件反过来脚本正常但Excel不认。解决两个原则读入统一用utf-8-sig写出统一用utf-8-sig。文件拿到手里先不要急着写脚本打开确认列名和编码把编码检查作为数据接入的第一步。另有个土办法用Python读文件时先试utf-8报UnicodeDecodeError就换GBK写个自动检测函数一劳永逸。5. 把150行结果变成可信结论验证集、补词典和竞品对比5.1 先做20条人工验证再上全量数据词典打分的最大风险是词典不全不全不可怕可怕的是不知道不全。我现在的习惯是每次上线新品类前抽20条评论人工标好正负中再和脚本输出对比算一致率。一致率低于80%就继续补词典高于85%才敢把结果发给运营。20条只用十分钟但能避免给出一份完全不可信的数据。# 快速对比人工标签与脚本标签 compare pd.DataFrame({ manual: [pos, neg, pos, neu], pred: [pos, neg, pos, pos], }) compare[hit] compare[manual] compare[pred] print(compare[hit].mean())5.2 找出漏判词定向补词典人工标签和脚本结果不一致的地方就是词典的盲区。把manualneg且pred!neg的评论筛出来看分词结果里哪些词没有情感分把出现两次以上的词直接补进词典。这个闭环补词比一次性找全词典高效得多跑两三轮之后新品的负面识别率就能稳定在85%以上这个数字对运营决策已经足够。5.3 竞品对比表把负面率变成选品结论同一个品类下两个竞品的评论各跑一遍这个150行方案汇总负面率再按关键词维度做交叉分析得到的结果比人工翻200条评论更直观。这里用表格说明输出形态商品总评论数负面率破碎率关键词高频负面词top3竞品A水果刀124012.1%4.2%生锈、锋利、客服竞品B水果刀98621.5%8.7%断裂、包装、破损这个表能直接支撑选品判断A负面率更低但“生锈”被高频提到说明材质防锈是下一步该验证的核心点。150行代码跑出的不是学术指标而是运营能直接用的话术。最后说一个习惯代码里每一段输出都留一个print跑完一个模块先停一下看数据再继续下一个模块这个习惯帮我避免过很多事后返工。做文本分析最忌讳一口气跑完再回头看中间任何一步出错定位成本都会翻倍。希望帮到你。本文还有配套的精品资源点击获取