简介这是一份基于BERT的中文情感分析完整项目代码面向希望快速上手NLP深度学习任务的Python开发者与学习者。项目围绕模型加载、文本预处理、数据集划分、训练评估等完整流程展开提供了可直接运行的训练与预测脚本适合用于文本分类实验、课程设计或业务场景的初步验证。压缩包共35个文件以8个Python源码脚本为主辅以10个Markdown说明文档、7个txt依赖与配置、3个JSON参数文件等体积仅446KB轻量且易于本地部署。项目内已包含算法示例、自测练习、扩展练习三个模块并提供录屏演示gif、环境依赖清单及预训练模型文件便于对照运行、定位问题并快速修改。目前已有451人学习使用对于想理解BERT在情感分析中实际落地方式的读者这份资源能节省大量环境配置时间帮助快速获得可复现的实验结果。1. 一个压缩包背后Python BERT 情感分析到底在解决什么一个名叫“Python基于BERT的情感分析.zip”的压缩包解决的事情并不神秘你给它一段文本它告诉你这句话是正向还是负向顺带给你一个置信度。真正让这个包有价值的是后半段——用预训练好的 BERT 做迁移学习把几万条商品评论或舆情文本里的语义信息压进一个分类头里而不是靠词频和关键词硬凑。适合的人群很具体已经会写 Python 但没碰过深度学习的从业者想通过一个情感分析项目把“预训练 微调”这套流程跑通也适合做过传统机器学习分类、但被 BERT 的输入格式和部署方式劝退的开发者。如果你需要做电商评论监控、竞品口碑分析、公众号留言分类这个方向是性价比最高的入门点。下面按我接手这类项目时的落地顺序从模型选型、数据准备到训练推理把值得复现的细节和绕不开的坑一次讲清楚。2. 用 BERT 做情感分析要先想清楚的事模型选型与输入输出边界2.1 BERT 不是分类器分类头才是预训练和微调的分工BERT 本体在预训练阶段解决的是“语言表示”问题它在大规模无标注文本上学每个词的上下文语义。情感分析是需要你给出一个确定标签的分类任务两者之间的桥梁是微调。拿到预训练权重后你要做的是在 BERT 顶部换一个随机初始化的分类头再用自己的标注数据把整个模型重新训练一轮。这个过程里 BERT 负责把一句话编码成一个有语义的向量分类头负责在这个向量上做线性决策。很多人第一次打开代码盯着BertForSequenceClassification这个类不放觉得它是个黑匣子。其实它做的事情直白得很加载 BERT 权重再拼接一个Linear(num_hidden, num_labels)分类头。对 BERT-base 来说num_hidden是 768num_labels是你的情感类别数。训练时BERT 最后一层的 [CLS] 向量被当成整句表示喂给分类头。注意这个 [CLS] 向量的质量取决于微调数据量不是模型越大就一定越好。数据量小的时候全参数微调容易过拟合如果你手里只有几百条标注优先冻结 BERT 只训练分类头效果往往比硬跑全参数微调更稳。这套分工决定了你在代码里改什么不用动 BERT 结构只需要管num_labels、id2label、label2id三个参数。它们不一致时模型能跑通但输出永远是错的而且很难排查。2.2 中文场景选 bert-base-chinese还是更大更小的模型三个参考维度模型选型是情感分析项目里最容易拍脑袋定、改起来最伤筋动骨的一步。我的选择原则是看三个维度语种、数据量、推理资源。参考维度优先选择原因文本语种bert-base-chinese按字切分词表覆盖常用中文字符不需要额外分词英文数据bert-base-uncased小写化后词表更紧凑迁移效果稳定中英混合bert-base-multilingual-cased多语言模型能覆盖混合文本但单语场景下略弱于单语模型数据量决定了你敢不敢用大模型。几千条标注数据用 BERT-base 就够超过两万条可以尝试更大参数量只有几百条最好用蒸馏版或 frozen BERT 只训分类头。推理资源更关键因为这直接关系到项目能不能上线如果你的情感分析要跑在 CPU 上给线上接口用base 模型的推理延迟会让人很难受这时候优先考虑蒸馏模型和 ONNX 导出训练服务器有 N 卡才值得在 base 模型上做全参数微调。关于bert 参数下载from_pretrained第一次运行会自动下载预训练权重网络不好时会中断。我一般建议先把权重文件下载到本地缓存目录之后代码里指定本地路径。这样可以避免每次新环境都重新拉一次参数。2.3 情感分析的标签体系二分类、三分类还是五分类标签体系看着简单实际上决定了你后面所有代码的写法。二分类适合“好评/差评”这类非黑即白的场景但真实文本里有大量“还行”“一般般”的中性表达硬归到二分类里会拉低准确率。三分类负/中/正是大多数电商评论监控的默认选择代价是中性数据必须足够否则模型会把所有模糊表达都推给某一类。五分类对应 1 到 5 星评分信息量最大但类别不平衡也最严重训练时要特别关注少数类的召回率。一个容易被忽略的硬约束标签必须是整数且从 0 开始。PyTorch 的交叉熵损失对类别编号没有语义概念你写label1表示“正向”它只认这是第二类。如果原始数据里是“好评/差评”字符串必须建立映射{差评: 0, 好评: 1}。如果原始数据本身是“1 - 5”星直接用label - 1变成 0 到 4而不是让模型去预测 5 个离散值之外的数字。另外这个 zip 里的 BERT 方案处理的是纯文本情感分析。如果你看到“多模态情感分析”或“视频人物情感分析”这类需求别指望一个文本分类模型能覆盖视觉特征和音频特征需要另外的编码器再和文本向量做融合那是另一条技术线。3. 把压缩包变成能跑的项目环境搭建与数据预处理3.1 用 Python 虚拟环境装出最小依赖版本选择与 pip 命令拿到压缩包后第一步不是看代码而是把 Python 环境先立起来。Python 没有装好的话先去装 Python 3.8 以上版本新版 Python 3.10 到 3.12 都能跑通这一套依赖。编辑器用 VSCode 或 PyCharm 都行但要在 VSCode 的 Python 环境配置里选对虚拟环境解释器否则后面 import 全部失败。conda create -n sentiment python3.9 -y conda activate sentiment pip install torch transformers datasets pandas scikit-learn这套依赖对应的是整个项目的最小闭环。torch是深度学习框架transformers提供 BERT 模型和 tokenizerdatasets管理训练数据pandas负责读 CSVscikit-learn用来算准确率等验证指标。如果你的机器没有 N 卡pip install torch会装 CPU 版训练会慢但能跑通有 N 卡就按官方指引装 CUDA 版因为后面开fp16训练会明显提速。我一般不会在初始环境里装太多东西先跑通数据预处理和一次小规模训练再按报错补包。这样环境出问题时排查范围会小很多。3.2 原始文本到 Dataset 对象CSV 读取与字段映射情感分析最常见的数据格式是 CSV两列text存评论文本label存类别编号。如果你拿到的 zip 里数据格式不一样先统一成这个结构后面所有代码不用改。import pandas as pd from datasets import Dataset df pd.read_csv(train.csv) df df[[text, label]] print(df[label].value_counts()) raw_ds Dataset.from_pandas(df) raw_ds raw_ds.train_test_split(test_size0.1, seed42)这里有两件事需要说明。第一from_pandas会把 DataFrame 的索引也带进 Dataset 里多一列没用的__index_level_0__所以我先把 DataFrame 切到只用text和label两列。第二value_counts()输出必须看它直接告诉你类别是不是失衡如果某个类别占比超过 90%你得在数据处理阶段就补救而不是等模型训完再后悔。train_test_split(test_size0.1)是常见的划分比例。数据量大到几万条时 10% 验证集足够如果你总共只有两千条我一般把test_size调到 0.2让验证集更可靠。seed42是固定随机种子保证下次重跑时划分结果一致。这一步不固定模型能训练但结果不可复现调参时会有一种“昨天还不错今天全崩了”的玄学感。3.3 tokenizer 的三个必调参数max_length、padding 与 truncationBERT 不能直接吃中文文本它要求输入是整数 ID 序列。tokenizer 负责把字符串切成子词再查表映射成 ID。这里最容易踩坑的是三个参数不配合导致训练时 loss 乱跳或推理时形状对不上。from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese) MAX_LEN 128 def tokenize(batch): return tokenizer( batch[text], max_lengthMAX_LEN, paddingmax_length, truncationTrue, ) tokenized_ds raw_ds.map(tokenize, batchedTrue) tokenized_ds tokenized_ds.remove_columns([text]) tokenized_ds tokenized_ds.rename_column(label, labels) tokenized_ds.set_format(torch)tokenizer返回值里有三个数组input_ids是文本转换后的整数 IDattention_mask标记哪些位置是真实文本、哪些是补位token_type_ids在单文本分类里全为零。这三个数组会被模型内部使用你不需要手动改但不能漏。paddingmax_length的意思是所有样本统一补位到MAX_LEN长度。短句补零长句截断。这样做的优点是训练时数据形状整齐不用另写 collator缺点是多出来的计算浪费在补位上。所以MAX_LEN不能拍脑袋填 512128 是情感分析的常见起点。文本平均长度只有十几个字的商品评论128 已经够用如果数据里有大量超过 128 字的长评截断后关键信息可能被切掉就要考虑提到 256。remove_columns([text])是把原始字符串从 Dataset 中移除避免内存里同时存两份数据。rename_column(label, labels)是必须的因为 Trainer 和BertForSequenceClassification的 forward 接口里标签参数叫labels不叫label。名字不匹配时不会直接报错但 loss 会一直是 0这是新手最容易困惑的现象。4. 微调训练到模型导出一条能跑通的完整命令链4.1 加载预训练模型和分类头num_labels 与分类头维度数据准备完之后进入训练环节。常见做法是用BertForSequenceClassification一次性加载预训练权重和分类头而不是手动拆开 BERT 再接一个 Linear后者代码容易错、还不好保存。from transformers import BertForSequenceClassification model BertForSequenceClassification.from_pretrained( bert-base-chinese, num_labels3, id2label{0: 负面, 1: 中性, 2: 正面}, label2id{负面: 0, 中性: 1, 正面: 2}, )这里传四个参数就够了。num_labels3决定分类头输出维度如果你的标签体系是二分类就改成 2五分类就改成 5。id2label和label2id的作用是让模型输出可读的标签名训练日志、保存配置、以及后续用pipeline做推理时都会读取这两个映射。不传也能训练但推理时输出的是LABEL_0这种编号你还要另写一层映射逻辑。加载过程中会自动下载 BERT 参数如果你已经下载到本地缓存这里的路径传bert-base-chinese就行transformers 会优先找本地缓存。加载成功后会打印一行信息显示模型参数量这是正常的不是报错。4.2 训练循环与验证指标loss、accuracy 怎么盯训练环节我习惯直接用Trainer它帮你包好了 batch 循环、梯度反传、日志、评估和保存。手写训练循环能练手但对情感分析这种标准任务没必要。import numpy as np from sklearn.metrics import accuracy_score from transformers import Trainer, TrainingArguments def compute_metrics(eval_pred): logits, labels eval_pred preds np.argmax(logits, axis-1) return {accuracy: accuracy_score(labels, preds)} training_args TrainingArguments( output_dir./results, eval_strategyepoch, save_strategyepoch, per_device_train_batch_size16, per_device_eval_batch_size64, num_train_epochs3, learning_rate2e-5, weight_decay0.01, warmup_ratio0.1, load_best_model_at_endTrue, metric_for_best_modelaccuracy, fp16True, logging_steps50, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_ds[train], eval_datasettokenized_ds[test], compute_metricscompute_metrics, ) trainer.train()compute_metrics接收模型的原始输出先取argmax得到预测标签再和真实标签算准确率。注意这里eval_pred是个 tuple里面第一个是 logits第二个是 labels。参数部分单独说一下因为它们直接决定训练效果。eval_strategyepoch表示每个 epoch 结束时跑一次验证集老版本 transformers 里这个参数叫evaluation_strategy新版统一成了eval_strategy你在旧项目里看到前者不用改也能跑。save_strategyepoch让模型和优化器状态每个 epoch 保存一次这样load_best_model_at_endTrue才能找到验证集上最好的那一版。metric_for_best_modelaccuracy指定用准确率而不是 loss 选最佳模型因为情感分析里准确率更直观。learning_rate2e-5是 BERT 微调的常见起点千万不要设成 0.001那是从头训练的经验值。fp16True只在 N 卡上有效CPU 环境会报错改了环境就把这个参数去掉。看训练日志时你最该盯的是train_loss和eval_loss。如果train_loss一直降但eval_loss在某个点开始回升是过拟合信号把num_train_epochs从 3 降到 2或者加weight_decay。4.3 导出模型保存权重还是保存整个 pipeline训练结束后你会得到一个./results目录里面按 epoch 存了好几个 checkpoint。真正拿来做推理的不是最大 epoch 的权重而是验证集上表现最好的那一个。trainer.save_model(./sentiment_model) tokenizer.save_pretrained(./sentiment_model)trainer.save_model会保存模型权重和配置包括config.json和pytorch_model.bin。第二行单独保存 tokenizer因为 Trainer 不会自动帮你在非 pipeline 场景下保存分词器。如果你用的是Trainer并在构造时传了tokenizertokenizersave_model会自动带上一份 tokenizer不过多数老项目里大家还是会显式写这一行避免推理时路径指错。导出后再做一次推理验证用pipeline是最省事的from transformers import pipeline clf pipeline( sentiment-analysis, model./sentiment_model, tokenizer./sentiment_model, ) print(clf(这家店的服务态度很好)) print(clf(送来的东西破损了差评))pipeline会自动读取config.json里的id2label映射输出[{label: 正面, score: 0.97}]这样的结构。如果没有读到映射它会显示LABEL_1这种编号。推理速度在这个阶段是次要的先确认标签正确再谈优化。5. 避坑排查情感分析项目最常见的 5 个翻车点5.1 loss 不降、accuracy 卡在 50%标签映射先查一遍现象训练日志里 loss 一直在 1.0 附近震荡accuracy 长年卡在 50%怎么调学习率都没用。原因最常见的是标签不连续。比如你的 CSV 里写的是 1 和 2模型分类头认为是 0 和 1实际标签和预测维度对不上。也可能是 transformer 版本新旧混用eval_strategy和evaluation_strategy重复指定导致训练没按预期跑验证。解决第一步打印df[label].unique()确认标签是 0、1、2 而不是 1、2、3。第二步在训练前打印model.config.num_labels看它和实际类别数是否一致。第三步检查数据里有没有空字符串BERT 对空文本会输出全 padding 的序列模型从这里学不到任何语义这类样本会拖住 loss。5.2 GPU 显存不足batch_size 调到 8 还崩怎么办现象刚跑第一个 batch 就报CUDA out of memory把per_device_train_batch_size调到 8 甚至 4 还是崩。原因BERT-base 的显存大头是 attention 矩阵计算量随序列长度的平方增长。你设了max_length512时每条样本的 attention 矩阵都比 128 时大十几倍batch_size 再小也扛不住。另外机器上如果有其他进程占用显存也会叠加。解决把MAX_LEN从 512 降到 128这一步对显存的影响最大。然后 batch_size 保持 16同时设gradient_accumulation_steps4让模型每 4 个小 batch 累加一次梯度等效 batch 还是 64。加上fp16True显存占用能再降一截。如果这些做完还崩检查你是不是在跑多个实验没有回收显存或者直接用 DistilBERT 这类轻量模型。5.3 预测结果全是一个类别数据不平衡检查三步现象训练完看整体准确率有 85%一接口看预测结果永远输出“正向”少数类一个都没捞出来。原因数据里正样本占了 90% 以上模型学会了“无脑输出正类”这个捷径因为这样损失最小。验证集里正类占比高所以整体准确率看起来不差但少数类召回率是 0。解决第一步回到value_counts()看比例如果少数类低于 10%要对少数类做过采样。最省事的做法是在读 CSV 后把少数类样本在 DataFrame 里多复制几份让训练集类别比例接近 1:1。第二步训练完不要在测试集上看一把 acc要算混淆矩阵重点看每个类别的召回率。第三步如果你不能重新采样数据就调整推理阈值比如少数类分数要超过 0.6 才输出否则给默认类。5.4 中文文本被 tokenizer 切碎选错预训练模型的最典型症状现象同一份中文评论参考项目准确率 85%你自己跑只有 70%而且能看到预测分数普遍很低。原因大概率是加载了英文模型bert-base-uncased或者用中文分词工具先切了一遍再把切好的空格文本丢给 tokenizer。中文 BERT 是字级模型按字切分不需要也不能额外分词。英文词表里没有中文字符硬处理的结果是一堆[UNK]语义全丢。解决检查加载模型路径是不是bert-base-chinese。如果是别再对文本做 jieba 分词直接把原始字符串传给 tokenizer。如果报很多[UNK]说明文本里真有词表外的字符比如特殊 emoji 或生僻字少量场景可以用tokenizer.add_tokens([你的新词])加进去然后执行model.resize_token_embeddings(len(tokenizer))否则 embedding 矩阵维度和词表不匹配加载权重时直接报错。5.5 推理速度每秒几十条CPU 上直接跑 BERT 的代价现象模型部署到生产环境发现单次推理要 200 毫秒压测只能到十来个 QPS线上根本扛不住。原因BERT-base 是 12 层 TransformerCPU 跑动态图的 PyTorch 模型很吃亏。你每次请求只喂一条文本batch 永远为 1完全没有吃到矩阵计算的空间局部性。解决先做批处理把同窗口内到达的多条文本拼成一个 batch一起前向推理。再用 ONNX Runtime 加载导出的模型这个做法我在下一章展开。如果批处理和 ONNX 都做了还是慢那就是模型本身太大只能换蒸馏模型或者压缩序列长度。另外线上接口一定要给超时保护一条 500 字的长评会把 CPU 占住一小段时间不要让它拖垮整个服务。6. 进阶把情感分析部署成服务并用 ONNX 提速6.1 用 ONNX 导出模型绕过 PyTorch 的推理开销PyTorch 动态图灵活但对推理不友好一个常见的优化是把微调好的模型导出成 ONNX再用 ONNX Runtime 加载。导出时要注意BERT 有三个输入input_ids、attention_mask、token_type_ids一个都不能少。import torch from transformers import BertForSequenceClassification model BertForSequenceClassification.from_pretrained(./sentiment_model) model.eval() dummy_input ( torch.ones(1, 128, dtypetorch.long), torch.ones(1, 128, dtypetorch.long), torch.zeros(1, 128, dtypetorch.long), ) torch.onnx.export( model, dummy_input, sentiment.onnx, input_names[input_ids, attention_mask, token_type_ids], output_names[logits], dynamic_axes{ input_ids: {0: batch, 1: seq}, attention_mask: {0: batch, 1: seq}, token_type_ids: {0: batch, 1: seq}, logits: {0: batch}, }, opset_version12, )dynamic_axes让输入维度里的 batch 和 seq 都允许变化这样部署时不限制单条文本长度。但实际使用中输入张量的第二维仍然需要等于推理时的max_length因为模型内部的 attention 矩阵是按这个长度初始化的这一点在 FastAPI 服务里也要对齐。6.2 最小 FastAPI 接口一次请求返回标签和置信度ONNX 模型不能直接用pipeline加载需要用onnxruntime提供的推理接口。这个实现已经具备上线的最小形态。from fastapi import FastAPI from pydantic import BaseModel from transformers import BertTokenizer import onnxruntime as ort import numpy as np app FastAPI() tokenizer BertTokenizer.from_pretrained(./sentiment_model) sess ort.InferenceSession(sentiment.onnx, providers[CPUExecutionProvider]) class Input(BaseModel): text: str app.post(/predict) def predict(item: Input): inputs tokenizer(item.text, max_length128, paddingmax_length, truncationTrue, return_tensorsnp) logits sess.run([logits], { input_ids: inputs[input_ids], attention_mask: inputs[attention_mask], token_type_ids: inputs[token_type_ids], })[0] label_id int(np.argmax(logits, axis1)[0]) return {label: label_id, score: float(np.max(logits))}这里的score是 logits 的原始最大值不是概率。如果调用方期望一个 0 到 1 的置信度得在外面套一层 softmax先e np.exp(logits - np.max(logits))再e / e.sum()。还要注意paddingmax_length和导出的max_length保持一致否则推理时张量形状对不上。我现在做上线前的最后一步一定是对验证集跑一遍 ONNX 模型的预测确认导出前后准确率一致再设好输出标签映射。这个习惯帮我拦下过不少看着准确率不错、部署后却翻车的情况也提醒你模型训练好只是开始让它在接口里稳定输出才是真落地。希望帮到你。本文还有配套的精品资源点击获取