简介一套面向中文情感分析任务的中级实战项目基于微博评论语料WeiboSenti100k与BERT预训练模型微调实现适合计算机、人工智能及相关专业学生用于课程设计、学期综合项目或毕业设计也适合希望系统掌握文本分类实战流程的学习者。资源共7个文件、19.44MB以两个Python脚本、CSV语料数据、依赖说明、Markdown说明文档和备份压缩包为主分别对应模型训练、情感推理、数据集与运行环境配置结构清晰便于按步骤复现。目前已有28人学习浏览。内容包含完整可运行的微调源代码、整理后的数据集以及配套说明可支撑从数据加载、模型微调到评估与推理的完整闭环设计曾在学术评审中获得98分并获指导教师认可实践参考价值较高。资源来源网络分享仅限学习交流使用请勿用于商业用途。1. 先说结论基于BERT微调的中文情感分析源码拆完以后我建议你怎么用很多人拿到一个“情感分析系统源码”会先去看模型结构但我把这份基于WeiboSenti100k数据集的BERT微调方案过了一遍后发现真正决定上线效果的不是网络而是数据处理和训练参数的七个细节。这份源码的技术路线很常规加载bert-base-chinese预训练权重在微博语料上做全参数微调输出二分类概率。它解决的是从零开始搭一套中文情感分析系统时你逃不开的那些事数据集怎么清洗、长短不一致的文本怎么处理、训练时如何防止过拟合、模型怎么保存和部署。适合正在做文本分类课程设计、准备企业级情感分析的工程师也适合所有想拿真实中文数据跑一次BERT微调的人。接下来我从数据到部署逐层拆解并把我踩过的坑全部标出来。2. 数据先行把WeiboSenti100k变成训练集、验证集和测试集文本情感分析这件事模型是下游数据是上游。我见过很多人在跑通BERT后就开始调参结果验证集F1一直上不去最后发现训练数据里混着大量空文本和重复内容。这份源码里通常会自带一份来自新浪微博的语料WeiboSenti100k规模在十万条左右标签常见的是0和1分别代表负面和正面。我们在动手之前先要把数据读出来看分布再决定清洗规则和样本划分。2.1 数据集目录结构与标签分布拿到源码包后先别急着打开训练脚本我的习惯是先把数据目录列一遍确认原始文本的格式。常见目录结构是路径内容用途data/raw_data.csv原始微博文本和标签清洗前的输入data/train.tsv清洗后的训练样本训练阶段读取data/dev.tsv验证样本早停和调参data/test.tsv测试样本最终效果评估读取原始数据时先用pandas把每一列的分布打印出来这能快速发现标签缺失、类别失衡的问题。import pandas as pd df pd.read_csv(data/raw_data.csv, sep\t, header0, names[label, text]) print(df.head()) print(df.info()) print(df[label].value_counts(normalizeTrue))这段代码先把标签列和文本列读出来sep\t表示文件是制表符分隔header0表示第一行是列名names里重新指定列名防止原名带空格。打印value_counts(normalizeTrue)是为了看到正负样本的比例如果多数类占比超过70%训练时模型容易走捷径只学少数判别特征就停住。提示如果原始文件是CSV逗号分隔把sep\t改成sep,即可不要盲目套参数。标签分布确认后还要看文本长度。BERT对输入长度有上限512但微博文本普遍较短直接统计长度分布能帮我们定max_len常见值是64到128。如果长度集中在50字以内直接用64可以明显减少显存占用如果包含大量超过100字的转发文本建议用128。除了长度还要检查重复样本。微博语料里常见大量转发和复制粘贴文本如果不做去重训练集会反复出现同一条数据模型会对那些重复句式产生过拟合导致验证集上看似不错、线上预测却偏斜。df df.drop_duplicates(subset[text]) df df.dropna(subset[text]) print(df.shape)这里drop_duplicates按文本内容去重只保留第一次出现的样本dropna把空文本直接删掉。很多人会忽略这一步导致十万条数据里其实只有六万条是独立文本最终训练出来的模型等于在重复数据上反复记忆。去重之后如果样本量过少再考虑用回采策略补全少数类。2.2 微博文本清洗规则与边界微博文本和新闻文本不一样里面混着用户、话题标签、URL、表情符号还有“回复某用户:”这种前缀。这些内容对情感识别不一定是噪音比如话题标签“#今天好开心#”本身就有情感信号所以清洗规则不能一刀切。我一般会做四个操作去掉回复前缀、去掉URL、压缩连续空白、处理空值。import re def clean_text(s): if not isinstance(s, str): return s re.sub(r回复[^:][:]?, , s) s re.sub(r//[^:][:]?, , s) s re.sub(rhttp\S, , s) s re.sub(r#(.?)#, r\1, s) # 去掉话题外壳保留内部文本 s re.sub(r\s, , s).strip() return s这里有几处需要解释。r回复[^:][:]?匹配“回复张三:”这种前缀[^:]表示不是冒号的一串字符用于避开用户名里的冒号//同理是转发时的前缀。http\S匹配URL\S表示非空白字符避免把URL后的句子也吃掉。话题标签用r#(.?)#替换成内部文本因为标签的内容往往携带情感只去掉外层井号。清洗完以后要把空文本和过短文本剔除否则模型会把空序列也学成一个概率分布。df[clean_text] df[text].apply(clean_text) df[len] df[clean_text].apply(len) df df[(df[len] 2) (df[clean_text] ! )] print(df.shape)为什么保留长度大于等于2因为长度为1的文本大多是“哈”“靠”这类单字单独作为训练样本会放大噪声而且BERT分词后可能只剩一个token情感信息有限。如果是“哈哈哈哈哈哈”这种连续的词长度也通常会超过2不会被误删。2.3 分层划分与保存数据清洗完成后接下来要做训练集、验证集、测试集的三分。划分必须按标签分层否则小类别可能在某个集合里消失或者分布偏移最后评估结果波动很大。from sklearn.model_selection import train_test_split df_train, df_test train_test_split( df, test_size0.1, stratifydf[label], random_state42 ) df_train, df_dev train_test_split( df_train, test_size0.1, stratifydf_train[label], random_state42 ) print(len(df_train), len(df_dev), len(df_test)) print(df_train[label].value_counts())stratifydf[label]表示按标签比例抽样random_state42固定随机种子保证每次跑出来的划分结果一致。第一次拆分拿出10%作为测试集第二次从剩余样本里拿出10%作为验证集这样可以避免测试集信息泄漏到训练阶段。有一点值得注意如果原始数据本身就存在时间偏差比如前半年的微博和后半年的微博情感表达风格不同随机划分反而会掩盖这个问题。这种情况应该按时间顺序做切分用前几周训练、后一周验证。不过WeiboSenti100k这类数据集没有明确时间字段大多数实现还是用随机划分业务上线前再单独做时间切片验证。保存时用TSV格式BertTokenizer读取起来方便也容易在命令行里直接用cut检查。df_train[[label, clean_text]].to_csv(data/train.tsv, sep\t, indexFalse, headerFalse) df_dev[[label, clean_text]].to_csv(data/dev.tsv, sep\t, indexFalse, headerFalse) df_test[[label, clean_text]].to_csv(data/test.tsv, sep\t, indexFalse, headerFalse)注意保存时不要带列名训练脚本里一般会按位置读取列带了headerTrue会导致第一行被当成数据。到这里数据部分就准备完成了。接下来模型的输入会全部以train.tsv、dev.tsv、test.tsv三个文件为基准原始数据不再被训练脚本直接读取。数据清洗这一步看起来枯燥但它决定了后续所有结果的真实性值得多花一点时间把分布和样本都看清楚。3. BERT微调怎么选全量微调还是冻结训练分类头如何设计数据就绪后核心工作变成构建模型。我在这份源码里看到的是基于transformers库的BertForSequenceClassification这不算新奇但其中有两个决策直接影响效果BERT主体是否冻结以及分类头怎么接。这一章先把选型逻辑讲清楚再给出可复现的建模代码。3.1 为什么选bert-base-chinese而不是词向量加LSTM中文情感分析早期方案是jieba分词后接Word2Vec再把句向量输给LSTM或TextCNN。这种方案的优点是训练快、可解释性强但缺点也很明显同一个词在不同上下文里语义不同比如“太无语了”里的“无语”带有强烈负面情绪而“进行无语境分析”里的“无语”是中性。Word2Vec是静态向量无法区分这两种情况。BERT的动态语义特征天然能解决这个问题它通过Self-Attention让每个token的表示都和上下文相关。另外BERT在预训练阶段已经见过大规模中文语料对微博里的常见口语有一定的泛化能力。我们在这个任务上做微调不需要从零学语言知识只需要把预训练特征映射到情感标签空间收敛速度比从头训练LSTM快得多。所以在算力允许时优先选用bert-base-chinese。方案是否动态表征预训练权重适合场景word2vec BiLSTM否静态词向量小规模快速验证随机初始化Transformer是无数据量极大且时间充裕bert-base-chinese是中文通用语料中文文本分类常规首选如果你手头有更大规模的中文领域语料比如大量金融评论、医疗文本可以继续用BertForSequenceClassification加载领域预训练模型比如在金融语料上继续预训练的版本。但从这份源码的使用场景来看bert-base-chinese已经足够支撑微博情感分类。from transformers import BertTokenizer, BertForSequenceClassification model_name bert-base-chinese tokenizer BertTokenizer.from_pretrained(model_name) model BertForSequenceClassification.from_pretrained(model_name, num_labels2)num_labels2表示二分类模型会输出两个logits对应负类和正类。BertTokenizer负责把中文文本转换成input_ids和attention_mask中文BERT用的是字级分词不需要额外加jieba。提示如果你的机器无法访问Hugging Face可以在第一次运行时先下载到本地之后改用from_pretrained(./model/bert-base-chinese)加载。离线下载时注意保存完整的模型文件不要只保存权重干扰训练脚本。3.2 分类头设计与冻结策略BertForSequenceClassification的结构是BERT编码器输出最后一层的[CLS]向量然后接一个Dropout层最后接一个全连接层映射到标签数。这里的[CLS]是序列开头的特殊Token经过多层Self-Attention后聚合了整个句子的语义信息。微调时有两种策略。第一种是全部参数一起训练BERT主体权重和分类头一起更新效果通常最好但需要更大的显存也更容易在小数据集上过拟合。第二种是冻结BERT主体只训练分类头。当你只有几千条训练样本时冻结策略能明显降低过拟合风险但模型效果会受限于BERT原始特征对情感语料的匹配度。我的建议是如果样本量大于三五千条直接全参数微调如果样本量很少可以先冻结跑一个baseline再逐层解冻。# 冻结BERT编码器和嵌入层只训练分类头 for name, param in model.named_parameters(): if name.startswith(bert.encoder) or name.startswith(bert.embeddings): param.requires_grad False这里named_parameters()返回每个参数的路径和权重以bert.encoder开头的参数是12层Transformer以bert.embeddings开头的是Token和位置嵌入。冻结后只有classifier层的参数参与反向传播训练参数总量大约从100M降到500K显存和训练时间都大幅减少。不过在微博情感数据上我最终选择了全参数微调因为WeiboSenti100k有十万条样本数据量足够支撑BERT所有层继续更新全参数微调能得到更高的F1。如果你在复现的时候只有几千条子集建议回头打开冻结开关。3.3 训练样本构造与动态Padding模型输入不能用原始文本字符串必须经过Tokenizer转换成张量。这里的第一个坑是padding策略如果对整个Dataset统一padding到max_lenGPU会白算大量空白位置如果完全不用padding一个batch里的样本长度不一致无法堆叠成矩阵。常见解决方案是在Dataset里用paddingmax_length固定长度简单稳定但容易浪费另一种做法是在DataLoader里动态padding复杂度会高一些。import torch from torch.utils.data import Dataset class WeiboDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len64): self.texts texts self.labels labels self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, i): text str(self.texts[i]) encoded self.tokenizer( text, truncationTrue, max_lengthself.max_len, paddingmax_length, return_tensorspt ) return { input_ids: encoded[input_ids][0], attention_mask: encoded[attention_mask][0], labels: torch.tensor(self.labels[i], dtypetorch.long) }这里truncationTrue表示超过max_len的文本截断paddingmax_length表示把当前样本补齐到固定长度。return_tensorspt返回PyTorch张量注意取[0]是为了去掉批维因为tokenizer的单次处理结果会多出一个维度。labels用dtypetorch.long是因为BCE或CrossEntropy都要求长整型。max_len的选择需要和数据长度分布对齐。微博文本多分布在20到80字之间我一般先统计文本长度分位数取P95作为max_len这样既不会过度截断也不会为了极长文本浪费显存。在这份源码里64是一个稳妥起步值如果你的显卡是24G显存可以试128。另一个可选的优化是动态padding每个batch只padding到当前batch里的最大长度再配合Hugging Face的DataCollatorWithPadding能够省出不少显存但要注意部署时也必须采用同一套逻辑。3.4 损失函数与类别权重微博情感语料常存在类别不均衡尤其当你只抽取部分数据时。BertForSequenceClassification默认使用交叉熵损失但对多数类会更友好。如果标签分布显示负:正接近1:1可以直接用默认损失如果有明显偏差就要在损失函数上做文章。from torch import nn class_weights torch.tensor([1.0, 1.5]).to(device) # 负类权重1.0正类权重1.5 loss_fct nn.CrossEntropyLoss(weightclass_weights)这里的权重不是拍脑袋定的我一般会先跑一次默认训练记录每个类别的F1然后把少数类的权重设为1 / sqrt(样本占比)再跑一轮对比提升幅度。交叉熵权重只影响损失计算不会改变模型输出的概率分布因此不会破坏原始语义。要注意的是BertForSequenceClassification的loss属性默认按交叉熵计算如果手动替换损失函数需要在训练循环里直接用loss_fct(logits, labels)不能再依赖outputs.loss。4. 训练流水线AdamW、线性调度、早停与指标评估模型和数据都准备好了下面进入训练阶段。这份源码里的训练脚本核心是transformers的Trainer但我更建议把训练循环手写一遍因为手写时你会清楚每一步在做什么后续调参时能直接打出中间状态。这一章给出我从实践中总结的训练配置以及如何评估模型是否真的可用。4.1 优化器与学习率调度BERT微调不推荐使用普通SGD也不推荐Adam不加权重衰减。AdamW是Adam的修正版本把权重衰减和梯度更新解耦可以避免L2正则对一阶动量产生的偏差。学习率一般设置在2e-5到5e-5之间过大会导致BERT内部表示被破坏过小则收敛慢。from transformers import AdamW, get_linear_schedule_with_warmup batch_size 32 epochs 3 total_steps len(train_loader) * epochs optimizer AdamW(model.parameters(), lr2e-5, weight_decay0.01) scheduler get_linear_schedule_with_warmup(optimizer, num_warmup_stepsint(total_steps * 0.1), num_training_stepstotal_steps)num_warmup_steps设为总步数的10%让学习率在前10%步数里从0线性升到2e-5之后再线性衰减到0。这个调度能让模型在训练初期更稳定避免大学习率破坏预训练权重。weight_decay0.01是常见值但不需要对Bias和LayerNorm参数做权重衰减如果要极致调优可以再写一个参数分组器把需要正则的参数单独提出来。如果你用的是更小规模的训练集学习率建议降到1e-5同时把epoch数提到5到8因为小数据上BERT微调很容易过拟合低学习率能缓解。相反在WeiboSenti100k这种规模下3个epoch已经足够增加到5个epoch时验证F1一般不再上升。4.2 训练循环与梯度裁剪训练阶段的核心是计算loss、反向传播、更新参数。微博文本虽然单个样本短但BERT在forward时的计算量依然不小如果batch太大导致显存溢出可以改用梯度累积或者混精度训练。下面是一个标准训练循环。from torch.utils.data import DataLoader train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue, num_workers4) dev_loader DataLoader(dev_dataset, batch_sizebatch_size, shuffleFalse, num_workers4) for epoch in range(epochs): model.train() total_loss 0 for step, batch in enumerate(train_loader): inputs {k: v.to(device) for k, v in batch.items()} outputs model(**inputs) loss outputs.loss loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() scheduler.step() optimizer.zero_grad() total_loss loss.item() print(fepoch {epoch 1} loss {total_loss / len(train_loader):.4f})clip_grad_norm_是做梯度裁剪max_norm1.0表示把整个参数的梯度范数限制在1以内。这个参数很有必要尤其是在最后一层新初始化的分类头它的梯度可能比其他层大很多不裁剪的话会在训练初期让loss突然飙升。scheduler.step()必须在optimizer.step()之后调用顺序错了学习率调度会提前走完。显存不足时可以加入梯度累积逻辑每步不执行optimizer.step()直到累计到accumulation_steps个batch后再更新。accumulation_steps 4 optimizer.zero_grad() for step, batch in enumerate(train_loader): loss loss / accumulation_steps loss.backward() if (step 1) % accumulation_steps 0: optimizer.step() scheduler.step() optimizer.zero_grad()这里把loss除以累积步数是为了让梯度大小和累积前保持一致。显存不够时把batch_size降到16或8再用accumulation_steps4凑到等效batch_size32训练效果基本等价。如果你还想更快可以在数据加载时把num_workers调大但Windows环境下过大的num_workers容易引发多进程冲突建议在4到8之间测试。4.3 早停与最佳模型保存BERT微调在小数据集上过拟合很快经常到第2个epoch后验证损失就开始上升。我建议每个epoch结束后跑一次验证集记录验证F1只在验证F1提升时保存模型。不要用训练loss最低的checkpoint那个通常是过拟合之后的冗余模型预测效果并不好。best_f1 0 torch.no_grad() def evaluate(model, loader): model.eval() preds, trues [], [] for batch in loader: inputs {k: v.to(device) for k, v in batch.items() if k ! labels} logits model(**inputs).logits preds.extend(torch.argmax(logits, dim-1).cpu().tolist()) trues.extend(batch[labels].cpu().tolist()) return accuracy_score(trues, preds), f1_score(trues, preds) for epoch in range(epochs): train_epoch(epoch) acc, f1 evaluate(model, dev_loader) print(fdev acc {acc:.4f} f1 {f1:.4f}) if f1 best_f1: best_f1 f1 model.save_pretrained(./checkpoint/best_model) tokenizer.save_pretrained(./checkpoint/best_model)save_pretrained会保存模型权重和配置文件下次加载时直接用from_pretrained读目录即可。这里我也保存了tokenizer避免部署环境里单独下载tokenizer配置造成版本不一致。保存时机上还要额外保存optimizer和scheduler的状态如果你想从中断的训练点继续跑单存模型权重是不够的。4.4 评估指标准确率、F1、混淆矩阵情感分析二分类场景中准确率容易给人错觉。如果测试集正负各占一半准确率0.9确实不错但如果正类占80%模型什么都不学直接全部预测正类也能拿到0.8准确率。所以我至少要看F1更进一步的看每类的precision和recall。from sklearn.metrics import classification_report, confusion_matrix report classification_report(trues, preds, target_names[negative, positive], zero_division0) print(report) print(confusion_matrix(trues, preds))classification_report会输出每一类的precision、recall、f1和一个weighted avg。confusion_matrix用于观察哪些样本被误判如果正类漏判很多说明模型对正类特征学习不够需要回去检查标签权重或数据清洗。在这个任务上准确率超过0.85、F1在0.82以上就算是一个可用基线继续提升的方向是展开max_len、增加对抗训练或使用更大规模的MacBERT。5. 避坑实录BERT微调中文舆情数据时最容易翻车的5个点代码能跑通和模型能上线是两个概念。我在复现时遇到过形形色色的问题挑出五个对最终效果影响最大的坑全部按“现象、原因、解决”的方式写在这里你照着排查能省掉大半天时间。5.1 显存溢出、训练中途被killed现象训练在第几百步时突然报CUDA out of memory或者日志里直接出现Killed。有些时候不是第一次forward就炸而是把验证集也塞进了训练循环显存累积后爆掉。原因第一个原因是max_len设得太大微博文本虽然短但Tokenizer的padding会统一到max_lenGPU会把所有padding位置都参与Attention计算第二个原因是DataLoader里的batch在每次迭代后没有及时释放第三个原因是模型里的梯度历史信息被保留retain_graphTrue在BERT场景极少需要一旦误用会让显存成倍增长。解决先用nvidia-smi -l监控显存占用把batch_size减半试跑50步。如果还不行将max_len从128降到64同时开启混合精度。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() with autocast(): outputs model(**inputs) loss outputs.loss / accumulation_steps scaler.scale(loss).backward() if (step 1) % accumulation_steps 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad()混合精度能让显存占用下降约40%训练速度也更快。scaler.step(optimizer)和普通optimizer.step()的区别是它会把loss缩放后的梯度先还原再更新避免半精度下的梯度下溢。注意如果你没有用混合精度也不要用torch.no_grad()来包整个训练循环那会禁用梯度记录模型参数将永远不更新但显存占用反而可能出问题。5.2 标签不均衡导致的“F1虚高”现象训练结束后F1显示0.89但拉出预测结果一看模型把几乎所有文本都判成了正类。准确率看起来也能接受但业务方要求的是“把负面舆情捞出来”这个模型完全没做到。原因微博语料被清理后正样本占了绝大多数负样本不足模型发现预测正类的损失更小于是往多数类偏移。F1的宏平均对这种偏移也不敏感加权F1掩盖了少数类接近0的召回率。解决先看分类报告确认少数类的recall。然后给损失函数加类别权重或者对少数类做过采样。import pandas as pd pos df_train[df_train[label] 1] neg df_train[df_train[label] 0] neg_upsample neg.sample(len(pos), replaceTrue, random_state42) df_balanced pd.concat([pos, neg_upsample]).sample(frac1, random_state42)当数据量大时不推荐直接重复采样因为微博文本里相似句子太多重复会造成过拟合。更好的办法是计算真正的类别比例再设置更合理的权重或者在阈值上做文章预测时把正类的概率阈值从0.5降到0.4相当于让模型更愿意输出正类从而提升召回率。阈值调整要在验证集上做不要直接在测试集上调否则会过拟合测试集。5.3 长文本截断后丢失关键情感词现象训练时没有报错验证集上loss正常但抽样看预测结果发现一些句子被截断得很短比如“今天无语了”变成了“今天”情感直接反转。原因BertTokenizer的truncationTrue如果搭配max_length64长文本会被从尾部截断而微博情感往往埋在中后段。设置truncationTrue默认是从右侧截断并没有做头部保留策略。解决在Dataset里把文本截断方式改成保留前后两段或者使用truncationonly_first并手动截断文本。更简单的做法是提高max_len或者先对长文本做摘要式裁剪把前后各保留一半。def smart_truncate(text, max_len64): if len(text) max_len: return text half max_len // 2 return text[:half] text[-half:]这个函数不是标准方法但对微博口语很有效。前一半保留话题引入后一半保留情绪宣泄点。如果你用BERT的tokenizer先编码再截断会在input_ids层面操作等部署时也要保持同样的截断逻辑否则训练和推理文本分布不一致。5.4 transformers版本不一致导致推理结果错乱现象训练完成的模型在本地推理输出正确换到服务环境后加载同一个checkpoint预测概率完全不同甚至报出Some weights of the model checkpoint were not used。原因训练环境安装的是transformers 4.x推理环境装了transformers 3.5或PyTorch 1.8以下BertForSequenceClassification的结构有一定差异权重映射名稍有不同导致部分权重没加载。解决在源码包里放一份requirements.txt固定transformers、torch、scikit-learn的版本。启动前用一条命令强制校验模型完整性。pip install transformers4.36.0 torch2.1.0 scikit-learn1.3.0 python -c from transformers import BertForSequenceClassification; mBertForSequenceClassification.from_pretrained(./checkpoint/best_model, num_labels2); print(load ok)load ok只表示能加载不代表权重全用上了。要确认权重一致性可以看from_pretrained时的warning如果没有not used或mis-sized提示就没有匹配问题。实际项目中我还遇到过tokenizer版本不同导致[CLS]、[SEP]的token id不一致所以tokenizer目录也要一起保存并带上版本号。5.5 验证脚本与训练脚本的预处理不一致现象离线评估F1很高但部署接口上线后线上文本预测结果杂乱把“我服了这操作”判断为负面把“真是服了你这个操作”判断为正面人工复核发现两个句子情感应该一致。原因训练时用的是clean_text函数部署时直接把这个函数漏掉了或者只做了大小写转换。线上文本包含URL、用户等噪音模型在训练时从没见过这种形态预测就会偏移。解决把clean_text函数放到一个独立的text_utils.py里让训练脚本、验证脚本、推理脚本都从同一个文件导入避免复制粘贴导致函数漂移。最简单的方式是给部署模型包加一层数据校验函数任何文本进入模型前必须先经过同样的清洗流程。from text_utils import clean_text, smart_truncate def preprocess_for_model(text, max_len64): text clean_text(text) return smart_truncate(text, max_len)从这以后我每次部署前会强制做一次文本一致性测试拿训练集里100条样本分别走训练时的预处理和部署实装的预处理把两边生成的input_ids逐条对比有一处不一致都不算通过。这个习惯拯救了我好几次调参失控。6. 部署与效果验证把模型变成可复用的情感分析接口模型训练完真正落到业务里还需要一个稳定入口。我见过太多人把训练脚本改一改直接当推理脚本用结果每次启动都要重新加载训练数据推理时还要传labels非常别扭。正确做法是单独写一个推理类把文本清洗、模型加载、概率输出都封装在一起然后准备一批真实场景的回归样本验证后再发布。6.1 封装离线推理脚本推理脚本要做的只有三件事加载tokenizer和模型、把文本走预处理、返回概率或标签。这里的关键是模型要设成eval()模式并且用torch.no_grad()包裹预测过程否则模型在推理时依然保留dropout和梯度记录输出结果有随机性。import torch from transformers import BertTokenizer, BertForSequenceClassification from text_utils import clean_text, smart_truncate class SentiPipeline: def __init__(self, model_dir, max_len64): self.tokenizer BertTokenizer.from_pretrained(model_dir) self.model BertForSequenceClassification.from_pretrained(model_dir, num_labels2) self.model.eval() self.max_len max_len self.id2label {0: negative, 1: positive} def predict_proba(self, text): text clean_text(text) text smart_truncate(text, self.max_len) encoded self.tokenizer( text, truncationTrue, max_lengthself.max_len, return_tensorspt ) with torch.no_grad(): logits self.model(**encoded).logits probs torch.softmax(logits, dim-1)[0].tolist() return probs def predict(self, text): probs self.predict_proba(text) pred int(probs.index(max(probs))) return self.id2label[pred], probspredict_proba返回的概率列表按模型输出顺序排列第0个是负类概率第1个是正类概率。部署时如果需要Web接口可以直接把这个类丢给FastAPI不需要再碰模型细节。6.2 用真实微博文本做回归测试模型在训练集和验证集上表现好不代表真实场景能用。我会专门维护一个regression_samples.txt里面放五六十条不在任何训练集合里的微博文本覆盖脏话、反讽、疑问句、表情符号等边界情况。每次迭代一个版本都跑一遍这条回归集再人工比对预测标签和真实情感。while read line; do echo -e $line | python predict_stdin.py regression_result.txt done regression_samples.txt对比时重点关注两个场景一是“也是醉了”这类反讽表达二是“太想笑”这种口是心非的句式。BERT这类预训练模型在字面情感上很强但遇到反讽会明显偏向字面义回归测试的目的就是把这些弱点提前暴露出来而不是等上线后让用户发现问题。从那以后我每次提交模型前都会强制过一遍这套流程先跑回归样本再做标签分布检查最后看一条实际预测输出和对应的输入原文。这样的验证方式比单看F1数字可靠很多。希望帮到你。本文还有配套的精品资源点击获取