简介基于Python实现BERT情感分析模型的课程设计资料包面向自然语言处理初学者、高校相关专业学生以及需要快速搭建情感分析demo的开发者。项目使用正向、无情感、负向三类倾向性共1万多条语料微调BERT模型迭代3次后在3000余条测试集上达到准确率81.2%、召回率76%、F1值78.5%并附可直接运行的代码与实验报告。压缩包共41个文件核心为16个Python脚本覆盖数据预处理、模型构建、微调训练、结果评估与GUI交互等完整流程另含10个文本语料、4个Markdown说明、4个XML工程配置、2个License以及1个ipynb演示文档整体仅2.64MB目录结构清晰便于按模块查阅。代码注释与文档支持二次开发可帮助理解BERT的tokenization、微调与评估流程也可迁移至其他文本分类任务。已有364人学习浏览适合作为课程设计、毕设参考或入门BERT情感分析的实战样板。1. 这个 BERT 情感分析资源能干成什么事81.2% 的准确率不是白来的一个做课程设计的同学最怕的不是模型学不会而是代码包到手之后不知道先点哪个文件。这个基于 Python 实现的 BERT 情感分析资源包解压后既有谷歌官方的 bert-master 源码又有 train.txt、weibo.txt、dev.txt 这些中文微博语料还有 app_ui.py 和 gui.ui 拼出来的可视化界面。摘要里的 81.2% 准确率、76% 召回率、78.5% F1对应的是正向、无情感、负向三分类任务1 万多条训练语料迭代 3 轮再用 3000 多条测试集验证。适合要交课程设计报告、想复现中文情感分析微调流程的人也适合想快速判断 BERT 在 1 万级小数据上能到什么水平的产品原型开发者。2. 拆包先看源码bert-master 主线、中文语料和三个关键脚本下载资源最忌讳一上来就跑训练哪怕代码是亲写的也要先把文件和脚本对应上。这个包里的目录名是 transformer bert-master实际上就是谷歌开源的那套 BERT Python 实现代码量不小但每个文件职责很明确。我拆包后先做的事是把模型文件、数据文件、界面文件分成三堆再决定从哪条路径开始。2.1 先从 bert-master 目录名下手哪个脚本才是主角transformer bert-master 里最常见的误区是把 run_pretraining.py 当训练入口。预训练是 BERT 自己在海量无标注文本上学习语言模型的阶段放到课程设计里既没有 TPU 也没有几十 GB 语料跑起来不现实。真正的情感分析微调入口是 run_classifier.py。它做的事情可以拆成三步加载预训练权重、在分类数据上继续训练、输出准确率。modeling.py 是整个 BERT 的骨架包含 Embedding、Multi-Head Attention、Feed Forward 等结构但你不必逐行读透只要知道 model.get_pooled_output() 返回的是 [CLS] 对应的向量用来接分类器就够用。tokenization.py 是中文场景的必经之路。BERT 用的 WordPiece 分词处理中文时会按字切分像“我很喜欢”会变成“我 很 喜 欢”所以字符字典里几乎全是中文字和特殊符号。optimization.py 是 AdamW带权重衰减和普通 Adam 的更新方式不一样微调时一般直接用这个优化器。extract_features.py 是官方自带的特征提取脚本能把句子转成 768 维向量后续做相似度或接轻量分类器都用得上。包里的 predicting_movie_reviews_with_bert_on_tf_hub.ipynb 是一个英文电影评论情感分析 Notebook标签只有 positive 和 negative和中文三分类不是一回事。它的价值在于帮你用已经跑通的官方例程确认环境没问题再转头处理中文语料。run_classifier_with_tfhub.py 是给 TF Hub 用户准备的入口和本地 ckpt 的方式不冲突。如果只想走情感分析主线建议阅读顺序是 predicting_movie_reviews_with_bert_on_tf_hub.ipynb → run_classifier.py → app_ui.py。Notebook 先把 BERT 微调整体流程过一遍run_classifier 让你理解数据格式和参数最后用 GUI 验证结果。2.2 中文语料怎么变成 run_classifier 认得的 TSV 格式官方 run_classifier.py 要求 data_dir 下放 train.tsv、dev.tsv、test.tsv格式是四列guid、label、text_a、text_b。但资源包的 data 目录里放的是 train.txt、dev.txt、test1.txt、ttt.txt、weibo.txt这些是原始语料不是脚本直接能吃的格式。常见做法是先写一个转换脚本把“标签文本”或“文本标签”统一成四列 TSV。import codecs label_map {正向: 0, 无情感: 1, 负向: 2} def convert(input_path, output_path): rows [guid\tlabel\text_a\text_b] with codecs.open(input_path, r, utf-8-sig) as f: for idx, line in enumerate(f): line line.strip() if not line or \t not in line: continue # 兼容两种顺序文本在前或标签在前 parts line.split(\t) if parts[0] in label_map: text, label parts[1], parts[0] elif parts[1] in label_map: text, label parts[0], parts[1] else: continue rows.append(%d\t%d\t%s\t % (idx, label_map[label], text)) with codecs.open(output_path, w, utf-8) as f: f.write(\n.join(rows)) convert(data/train.txt, data/train.tsv) convert(data/test1.txt, data/test.tsv)转换逻辑里有几个关键点。编码必须用 utf-8-sig很多中文语料带 BOM直接用 open 读第一个标签前会多出 \ufeffrun_classifier 会把那个字符当成文本的一部分导致 label 匹配不上。label_map 放在函数外面三分类的映射关系一目了然正向 0、无情感 1、负向 2。text_a 存正文text_b 留空情感分析是单句任务第二个 Tab 后面的空字段必须保留否则列位置错位。提示如果 dev 集也要参与评估把 dev.txt 也按同样方式转成 dev.tsv。若原始语料用“文本#标签”或空格分隔把 split 的分隔符换成对应字符即可核心是保住文本和标签两列信息。2.3 do_train 与 do_eval 背后模型加载、loss 计算和指标补齐改完数据格式后训练入口是 run_classifier.py 的 main。流程大致是读取 vocab.txt 构建 BERT Tokenizer把每一条样本转成 input_ids、input_mask、segment_ids 三个张量然后建模。分类头是一个带 Dropout 的全连接层输出维度等于 label 数量再经过 Softmax 得到概率分布loss 用交叉熵优化目标是最小化真实 label 对应的负对数概率。官方脚本的 do_eval 只打印 eval_accuracy不会自动输出精确率、召回率、F1。摘要里的 76% 召回率和 78.5% F1 是额外算出来的。这也符合课程设计的习惯答辩老师更关心模型有没有偏向而不是一个 accuracy 走天下。我一般会在 run_classifier.py 的评估部分后面追加一段统计# 在 eval 循环结束后追加 from sklearn.metrics import classification_report # preds 和 labels 分别收集所有预测 label id 与真实 label id print(classification_report( labels, preds, target_names[正向, 无情感, 负向], digits4 ))sklearn 的 classification_report 会同时给出每个类别的 precision、recall、f1-score 和 macro avg。摘要里的 81.2% 准确率对应 accuracy76% 召回率大概率是 macro recall78.5% F1 对应 macro F1。论文或报告里必须写清口径否则答辩时被追问会很难解释。建议把这份输出原样贴进报告比只贴一行 accuracy 有说服力得多。3. 把训练流程跑通中文预训练权重、run_classifier 参数与后评估数据格式对了接下来是选预训练权重和启动训练。这一章是整个资源里最容易被忽略的地方很多人直接拿 run_classifier.py 原封不动地跑结果要么报 task_name 错要么 loss 不降。先解决权重再谈参数最后一步是把你自己的评估指标算出来。3.1 中文 BERT 预训练权重三个文件放在哪用官方源码做微调光有代码和数据不够必须有中文预训练权重。BERT-Base Chinese 是 12 层 Transformer、768 隐藏维度、12 个注意力头参数量约 1.1 亿。下载后你会得到核心文件bert_config.json结构配置、vocab.txt词典、bert_model.ckpt预训练权重。资源包本身只给了训练代码和语料所以这一步得自己接。我习惯建一个 chinese_L-12_H-768_A-12 目录把三个文件放进去和 data、output 形成固定布局project/ ├── bert-master/ # 官方源码 ├── chinese_L-12_H-768_A-12/ │ ├── bert_config.json │ ├── vocab.txt │ └── bert_model.ckpt.* ├── data/ │ ├── train.tsv │ ├── dev.tsv │ └── test.tsv └── output/ # 训练产物init_checkpoint 参数指向的是 ckpt 前缀不是 .index 或 .data 文件名。常见写法是 --init_checkpointchinese_L-12_H-768_A-12/bert_model.ckpt。如果写成 bert_model.ckpt.index加载器会找不到变量因为 TF 的 ckpt 恢复机制会自动补 .index 和 .data 后缀。3.2 run_classifier.py 启动参数逐项拆解batch_size、学习率、epochs 怎么选官方 run_classifier.py 用 FLAGS 接收命令行参数常见训练命令如下python run_classifier.py \ --task_namesentiment \ --do_traintrue \ --do_evaltrue \ --data_dir./data \ --vocab_file./chinese_L-12_H-768_A-12/vocab.txt \ --bert_config_file./chinese_L-12_H-768_A-12/bert_config.json \ --init_checkpoint./chinese_L-12_H-768_A-12/bert_model.ckpt \ --max_seq_length128 \ --train_batch_size16 \ --learning_rate2e-5 \ --num_train_epochs3 \ --output_dir./outputtask_namesentiment 的前提是代码里注册了对应 Processor。官方仓库只带 Cola、Mnli、Mrpc、Xnli 这些任务拿到手的资源如果没有预先改写run_classifier.py 会在 Processor 列表里找不到 sentiment。常见做法是在文件末尾加一个 SentimentProcessor继承 DataProcessor实现 get_train_examples、get_dev_examples、get_test_examples、get_labels 四个方法再映射到一个唯一名称。get_labels 返回 0、1、2 即可。参数解释如下参数建议值说明max_seq_length128短文本情感分析不需要 512太长占显存train_batch_size8~166G 以下显存建议 816 是体验较好的中间值learning_rate2e-5~3e-5BERT 微调常用区间太大会让 Instability 变大num_train_epochs3资源摘要说迭代 3 次就是这里的 3save_checkpoints_steps1000每隔 1000 step 存一次 ckpt中断后可续跑num_train_epochs3 在这个 1 万级语料上是合理的。BERT 在几万条以内的小数据上epoch 过多会过拟合验证集 loss 在第 3 轮后往往开始反弹。把 epoch 改成 5测试集 accuracy 不一定涨反而可能从 81% 掉到 79%。想快速验证时可以把 epoch 改成 1先确认数据流和 loss 正常再用 3 轮跑正式结果。3.3 训练完别只看 accuracy手动补上 precision/recall/F1官方 do_eval 结束会打印 eval_accuracy 和 eval_loss。这个 accuracy 是三类别合在一起算的整体准确率所以看不到“无情感”这个中间类别表现如何。2.3 节讲的是改源码这一节讲的是训练结束后单独评估不改训练逻辑。# 加载 output 目录里的模型逐条预测 test.tsv import tensorflow as tf from sklearn.metrics import confusion_matrix preds [] # 预测标签列表 labels [] # 真实标签列表 # 每跑完一个 eval batch把 pred_ids 落进 preds把 eval_label_ids 落进 labels print(confusion_matrix(labels, preds)) # 每行是真实类别每列是预测类别混淆矩阵能直观看出哪两类容易混。中文微博情感里“无情感”最容易错分成“正向”因为很多中性文本里也带“好”“不错”这类词。如果模型把负向错分成无情感说明无情感的判别边界太窄这时候可以检查训练数据分布看看负向样本是否太少。单独评估脚本的好处是不动训炼流程只做预测和统计后面做 GUI 部署时也可以复用同一条加载路径。4. 避坑指南BERT 微调最常见的五个翻车现场与修复办法训练情感分析模型真正耗时间的不是调参而是排坑。以下是复现这个资源时最容易遇到的五个问题有些是环境问题有些是数据问题都是实际运行验证过的。4.1 显存不够batch 一上去就 OOM现象训练刚开始命令行直接报 ResourceExhaustedErrorGPU 显存被占满程序中断。有些机器甚至跑十几分钟才报错不是启动就崩。原因BERT-Base 本身权重约 500MB再加上梯度、优化器状态和中间激活batch_size16 在 6GB 显存上很容易超。官方默认的 max_seq_length512 更是雪上加霜中文情感文本大多数不到 100 个字但代码不会自动缩短。解决先把 max_seq_length 降到 128train_batch_size 从 16 改 8。如果还爆可以用梯度累积实际 Batch8、accumulate2 等价于 16 的梯度显存占用只有 16 的一半。资源包里没有现成 accumulate 参数需要自己在 optimization.py 的 apply_gradients 前把梯度累加够次数再更新。4.2 训练 loss 降不下来准确率一直在 50% 徘徊现象第一轮 loss 在 1.1 附近波动第二轮开始降到 0.9 就卡住测试准确率只有 50%和随机猜测差不多。原因最常出现在 label 映射错误。如果转换时把“正向”“无情感”“负向”映射成同一个 id或者顺序错乱模型学到的只是类别先验。另一个常见原因是 init_checkpoint 没生效模型从随机初始化开始训练1 万条数据根本训不出 BERT 的效果。解决看训练日志里第一个 step 的 loss。加载了预训练权重loss 通常从 0.7~1.0 开始并快速下降如果从零开始第一轮 loss 往往在 2.0 以上。还要检查 init_checkpoint 路径TF 的 ckpt 需要前缀不要带 .index我会把 ckpt 文件名和实际文件逐一比对确认前缀没写错。4.3 TensorFlow 2 环境直接跑官方源码报 AttributeError: module tensorflow has no attribute contrib现象import tensorflow as tf 之后run_classifier.py 报 module tensorflow has no attribute contrib或者 tf.gfile 不存在。原因官方 bert-master 是基于 TensorFlow 1.x 写的大量依赖 tf.contrib 模块。TensorFlow 2.0 把这个层次整体移除了直接在 TF2 环境里跑官方源码必然报错。解决给项目建独立 Python 3.7 虚拟环境装 TensorFlow 1.15并锁 numpy 版本低于 1.19避免类型转换问题。python -m venv bert_env source bert_env/bin/activate # Windows 用 bert_env\Scripts\activate pip install tensorflow1.15 numpy1.18.5如果你坚持用 TF2就得把源码改到 transformers 库能识别的程度涉及 modeling、optimization、tokenization 多处改动工作量很大不建议在课程设计周期里做。先让 TF1.15 环境稳定跑通比什么都重要。4.4 标签是中文“正向/负向”run_classifier 直接报 label 不是数字现象数据文件里标签是文本转换成 TSV 后 label 列还是“正向”do_train 阶段抛 ValueError: label should be an integer。原因官方 Processor 的 get_labels 返回的是字符串列表内部会把 label 用 int(label) 强转。如果 label_map 没生效或者转换脚本把列顺序写反中文标签就会原样留在 label 列。解决回到 2.2 的转换脚本确认 label 列写入的是 0/1/2 而不是中文。一个很快的检查方法是生成 TSV 后读回前 5 行手动看第二列是否都是整数。这一步十秒就能发现别等训练跑到一半再回头查。4.5 GUI 界面加载模型后预测结果一直不变现象app_ui.py 能正常启动输入任何句子点预测输出都是“正向”概率也几乎一样。原因GUI 加载的 ckpt 可能不是训练完成后的分类模型而是预训练权重或中间保存的 checkpoint。预训练权重没有经过微调分类头维度都不是 3硬加载时预测逻辑会错乱中间 checkpoint 还在训练早段分类层没有学好。解决训练结束后看 output 目录模型会保存多个 ckpt取验证 loss 最低的那个 step。把 init_checkpoint 指向 ./output/model.ckpt-具体步数再启动 GUI。改完还不行检查 app_ui.py 是否在每次点击预测时重新初始化 graph我遇到过界面每点击一次就重新加载一次初始权重的情况改成程序启动时加载一次即可。5. 把模型变成可复用的预测工具一条命令输出情感概率训练出来的模型如果只在 run_classifier 里活一次后面调 GUI 又要重新加载整套训练代码效率很低。我一般会抽一个 predict.py 只做推理不碰训练逻辑。核心是复用 modeling.py 里的 BertModel接一个全连接层再从 checkpoint 恢复全部变量。注意变量名必须和训练时一致所以直接改 run_classifier.py 里的模型构建部分最稳而不是自己再造一套网络。import tensorflow as tf from modeling import BertModel, BertConfig from tokenization import FullTokenizer class SentimentPredictor: def __init__(self, bert_config_path, vocab_path, init_checkpoint): self.tokenizer FullTokenizer(vocab_filevocab_path) self.config BertConfig.from_json_file(bert_config_path) self.graph tf.Graph() with self.graph.as_default(): self.input_ids tf.placeholder(tf.int32, [None, 128]) self.input_mask tf.placeholder(tf.int32, [None, 128]) self.segment_ids tf.placeholder(tf.int32, [None, 128]) model BertModel( configself.config, is_trainingFalse, input_idsself.input_ids, input_maskself.input_mask, token_type_idsself.segment_ids ) output model.get_pooled_output() logits tf.layers.dense(output, 3) self.probs tf.nn.softmax(logits, axis-1) self.saver tf.train.Saver() self.session tf.Session(graphself.graph) self.saver.restore(self.session, init_checkpoint) def predict(self, texts): input_ids, input_mask, segment_ids [], [], [] for text in texts: tokens self.tokenizer.tokenize(text)[:127] # 预留 [CLS]/[SEP] ids self.tokenizer.convert_tokens_to_ids(tokens) mask [1] * len(ids) ids [101] ids [102] mask [1] mask [1] ids [0] * (128 - len(ids)) mask [0] * (128 - len(mask)) input_ids.append(ids) input_mask.append(mask) segment_ids.append([0] * 128) feed { self.input_ids: input_ids, self.input_mask: input_mask, self.segment_ids: segment_ids, } return self.session.run(self.probs, feed_dictfeed)这段代码把预测封装成一个类。FullTokenizer 负责文本到 token id 的转换BertModel 走的是和训练时一样的前向结构is_trainingFalse 很关键否则 Dropout 会保留随机噪声同一句话预测三次结果会不一样。占位符第一维用 None一次能喂多个句子后面批量预测不用改结构。token 截断时留一个位置给 [CLS]另一个给 [SEP]不能不留余量否则会超出 max_seq_length 报错。输入不足 128 的部分补 0mask 同步补 0segment_ids 整行都是 0。批处理模式只要在程序启动时初始化一次多个句子共享同一个 session。输出 probs 是一个二维数组每一行对应一条输入文本三列分别代表正向、无情感、负向的概率np.argmax 取最大值下标就是最终预测类别。GUI 场景下把预测函数绑到按钮事件上即可不必每次点击都重新 create session。从那以后我每次拿到课程设计资源都会先写一个最小推理脚本验证 checkpoint 能恢复再去碰 GUI 和报告省得把环境问题误判成模型问题。这个包的复现路径不算短但按数据转换、预训练权重、参数调整、异常排查的顺序走一遍你会比只跑通 run_classifier 更清楚 BERT 微调每一环在做什么。希望帮到你。本文还有配套的精品资源点击获取