简介这份资源是面向计算机相关专业在校学生与教师的医学图像报告生成系统毕业设计完整方案涵盖模型训练与前端展示两大模块适合作为毕设、课程设计或项目立项参考。压缩包共37个文件约183KB以Python脚本为主包含数据集构建、ViT自注意力模型、训练与评估等核心代码另有Vue前端页面、JSON与TypeScript配置、HTML入口及说明文档前后端结构清晰。项目代码均经测试运行成功答辩评审平均分达96分已有219人学习下载。读者可获取从数据预处理、模型搭建到报告生成与界面交互的完整实现思路并借助README与目录结构快速理解各模块职责在此基础上修改扩展功能用于自身毕设或作业开发。1. 医学图像报告生成系统从一份毕业设计标题里拆出可复现的工程路径医学图像报告生成系统说白了就是让模型看一张胸片或 CT自动吐出一段结构化的影像所见与诊断结论。很多同学第一次看到这个题目脑子里蹦出来的是「不就是 image caption 换个数据集」真动手才发现坑深得很报告不是一句「肺部未见异常」就完事它有固定的叙述结构、有解剖位置、有阴性/阳性描述还有大量模板化表达。这个方向适合两类人一类是毕设需要完整交付模型源代码文档说明的本科生另一类是刚转医学 AI、想找一个能跑通全流程的入门项目练手的工程师。python 在这个方向几乎是默认语言生态里 image caption、Transformer、医学影像预处理如 MONAI都能直接复用。下面我按「数据怎么准备 → 模型怎么搭 → 训练怎么调 → 评估怎么做 → 坑在哪」的顺序把这条链路讲清楚让你照着能复现出一套能写进毕业设计文档的系统。2. 数据与任务定义报告生成到底在生成什么2.1 先搞清楚输入输出别急着写模型医学图像报告生成Medical Image Report Generation本质是一个跨模态序列生成任务输入是一张或多张医学图像胸片最常见也有 CT 切片序列输出是一段自然语言报告。报告通常分两段Findings影像所见和 Impression诊断印象。很多公开数据集如 IU X-Ray、MIMIC-CXR的报告结构就是这样。关键点在于报告不是自由文本它有强烈的模板性和重复性。IU X-Ray 里「The heart size is normal」这类句子出现频率极高。这意味着两件事第一你的模型很容易学到「高频模板」而忽略图像细节评估指标看着不错但实际没用第二数据预处理时要做报告清洗去掉医生签名、隐私信息、多余空白。任务定义上你要明确三件事输入模态单图还是多图正位侧位。IU X-Ray 有正侧位成对数据MIMIC-CXR 也有。输出粒度整段报告还是 Findings/Impression 分开生成。评估方式NLG 指标BLEU、ROUGE、METEOR还是临床正确性指标如 CheXpert labeler 打分的 F1。我一般建议毕设先做单图 → Findings 生成把链路跑通再考虑多图或加 Impression。2.2 数据预处理报告清洗与图像标准化以 IU X-Ray 为例原始数据是 XML 格式图像是 PNG。你需要把报告文本抽出来做清洗再把图像统一尺寸和归一化。import xml.etree.ElementTree as ET import re from PIL import Image import numpy as np def parse_report(xml_path): 从 IU X-Ray 的 XML 中抽取 Findings 和 Impression tree ET.parse(xml_path) root tree.getroot() findings, impression , for elem in root.iter(): if elem.tag AbstractText: label elem.attrib.get(Label, ) text elem.text or # 去掉隐私占位符和多余空白 text re.sub(rXXXX, , text) text re.sub(r\s, , text).strip() if label FINDINGS: findings text elif label IMPRESSION: impression text return findings, impression def preprocess_image(img_path, size(224, 224)): 图像统一尺寸并归一化到 [0,1] img Image.open(img_path).convert(RGB) img img.resize(size) arr np.asarray(img, dtypenp.float32) / 255.0 # 按 ImageNet 均值方差归一化方便复用预训练权重 mean np.array([0.485, 0.456, 0.406]) std np.array([0.229, 0.224, 0.225]) arr (arr - mean) / std return arr逻辑说明parse_report遍历 XML 所有节点只取AbstractText且 Label 为 FINDINGS/IMPRESSION 的文本用正则去掉XXXX隐私占位符和多余空白。preprocess_image做三件事——转 RGB有些胸片是灰度模型输入需要三通道、resize 到 224、按 ImageNet 统计量归一化。参数上size可以改成 299Inception或 384ViT但毕设阶段 224 足够显存友好。提示报告清洗一定要在划分训练/验证/测试集之前做否则清洗规则可能引入数据泄漏。另外IU X-Ray 有重复报告去重后再划分。2.3 词表构建与序列填充报告文本要转成 token 序列。毕设阶段不建议上 BPE直接用词级词表 特殊 token 就够。from collections import Counter def build_vocab(reports, min_freq3): counter Counter() for r in reports: counter.update(r.lower().split()) # 特殊 tokenpad bos eos unk vocab {pad: 0, bos: 1, eos: 2, unk: 3} for word, freq in counter.items(): if freq min_freq: vocab[word] len(vocab) return vocab def encode(report, vocab, max_len60): tokens [bos] report.lower().split() [eos] ids [vocab.get(t, vocab[unk]) for t in tokens] if len(ids) max_len: ids [vocab[pad]] * (max_len - len(ids)) else: ids ids[:max_len-1] [vocab[eos]] return idsmin_freq3是经验值太低词表爆炸太高全是unk。max_len60覆盖大多数 Findings 长度你可以统计一下报告长度分布再定。编码时首尾加bos/eos训练时用 teacher forcing推理时从bos开始自回归生成。3. 模型搭建CNN 编码器 Transformer 解码器的最小实现3.1 为什么选 CNNTransformer 而不是纯 CNNRNN早期医学报告生成多用 CNN LSTM但 LSTM 长程依赖弱生成报告容易重复和漏词。Transformer 解码器自带自注意力能更好捕捉报告内部的句式依赖。编码器用预训练 CNNResNet-50 或 DenseNet-121提取视觉特征解码器用标准 Transformer Decoder。这个组合在 IU X-Ray 上是能跑出合理 BLEU 的而且代码量可控适合毕设。如果你显存够可以把 CNN 换成 ViT但 ViT 需要更多数据IU X-Ray 只有几千张容易过拟合。我一般建议毕设先用 ResNet-50 打底。3.2 编码器ResNet-50 提取视觉特征import torch import torch.nn as nn from torchvision import models class ImageEncoder(nn.Module): def __init__(self, encoded_dim512): super().__init__() resnet models.resnet50(pretrainedTrue) # 去掉最后的全连接层保留卷积特征 self.cnn nn.Sequential(*list(resnet.children())[:-2]) self.pool nn.AdaptiveAvgPool2d((7, 7)) # 输出 7x7 特征图 self.fc nn.Linear(2048, encoded_dim) def forward(self, images): # images: [B, 3, 224, 224] features self.cnn(images) # [B, 2048, 7, 7] features self.pool(features) # [B, 2048, 7, 7] B, C, H, W features.shape features features.view(B, C, H*W).permute(0, 2, 1) # [B, 49, 2048] features self.fc(features) # [B, 49, 512] return features逻辑说明ResNet-50 去掉最后两层avgpool 和 fc输出[B, 2048, 7, 7]的特征图。AdaptiveAvgPool2d((7,7))在这里其实没改变尺寸但保证输入尺寸变化时输出固定。然后 reshape 成[B, 49, 2048]49 是 7×7 的空间位置每个位置一个 2048 维向量再用fc压到 512 维作为解码器的 memory。参数encoded_dim要和解码器d_model一致。注意pretrainedTrue会下载权重如果网络不通提前手动下载放到~/.cache/torch/hub/checkpoints/。毕设环境经常没外网这一步要提前准备。3.3 解码器Transformer Decoder 生成报告class ReportDecoder(nn.Module): def __init__(self, vocab_size, d_model512, nhead8, num_layers4, dim_ff2048, dropout0.1): super().__init__() self.embed nn.Embedding(vocab_size, d_model) self.pos nn.Embedding(100, d_model) # 位置编码最大长度 100 decoder_layer nn.TransformerDecoderLayer(d_model, nhead, dim_ff, dropout) self.decoder nn.TransformerDecoder(decoder_layer, num_layers) self.fc_out nn.Linear(d_model, vocab_size) def forward(self, captions, memory): # captions: [B, L] 已编码的 token id # memory: [B, 49, d_model] 编码器输出 B, L captions.shape positions torch.arange(L, devicecaptions.device).unsqueeze(0).expand(B, L) x self.embed(captions) self.pos(positions) # [B, L, d_model] x x.permute(1, 0, 2) # Transformer 要求 [L, B, d_model] memory memory.permute(1, 0, 2) # [49, B, d_model] # 因果 mask防止看到未来 token mask torch.triu(torch.ones(L, L, devicecaptions.device), diagonal1).bool() out self.decoder(x, memory, tgt_maskmask) out out.permute(1, 0, 2) # [B, L, d_model] return self.fc_out(out) # [B, L, vocab_size]逻辑说明embed把 token id 转成向量pos加位置信息。TransformerDecoderLayer参数d_model512、nhead8、num_layers4是毕设常用配置层数太多容易过拟合。tgt_mask是上三角 mask保证解码时第 t 个位置只能看到前 t 个 token。memory是编码器输出的 49 个视觉特征作为 cross-attention 的 key/value。参数调整建议num_layers从 2 到 6 试IU X-Ray 上 4 层比较稳dropout0.1 到 0.3过拟合就加大dim_ff一般设4*d_model。3.4 训练循环与 teacher forcingdef train_one_epoch(model_enc, model_dec, dataloader, optimizer, criterion, device): model_enc.train(); model_dec.train() total_loss 0 for images, captions in dataloader: images images.to(device) captions captions.to(device) # 输入是 captions[:, :-1]目标是 captions[:, 1:] input_ids captions[:, :-1] target_ids captions[:, 1:] memory model_enc(images) logits model_dec(input_ids, memory) # [B, L-1, vocab] loss criterion(logits.reshape(-1, logits.size(-1)), target_ids.reshape(-1)) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(list(model_enc.parameters())list(model_dec.parameters()), 1.0) optimizer.step() total_loss loss.item() return total_loss / len(dataloader)逻辑说明teacher forcing 就是解码器输入用真实的前一个 token而不是自己生成的。input_ids是captions[:, :-1]target_ids是captions[:, 1:]这样每个位置预测下一个 token。clip_grad_norm_防止梯度爆炸医学报告生成里梯度爆炸挺常见。criterion用CrossEntropyLoss(ignore_indexvocab[pad])忽略 padding 位置的损失。提示训练时ignore_index一定要设成 pad 的 id否则模型会花大量精力学预测 paddingBLEU 上不去。4. 训练调参与评估BLEU 高不代表报告对4.1 学习率、batch size 与早停毕设阶段资源有限我一般用 Adam学习率 1e-4batch size 16 或 32。学习率太大 loss 震荡太小收敛慢。可以加ReduceLROnPlateau验证集 BLEU 不升就降学习率。from torch.optim.lr_scheduler import ReduceLROnPlateau optimizer torch.optim.Adam( list(model_enc.parameters()) list(model_dec.parameters()), lr1e-4, weight_decay1e-5 ) scheduler ReduceLROnPlateau(optimizer, modemax, factor0.5, patience3) # 训练循环里每个 epoch 后 # scheduler.step(val_bleu)weight_decay1e-5轻微正则化。patience3表示验证指标 3 个 epoch 不升就降学习率。早停可以设patience8连续 8 个 epoch 不升就停防止过拟合。4.2 评估指标BLEU、ROUGE 与临床标签 F1NLG 指标用nltk或pycocoevalcap算 BLEU-4 和 ROUGE-L。但医学报告生成有个经典问题BLEU 高可能是因为模型学会了高频模板比如所有图都生成「The heart size is normal」。所以还要加临床正确性评估。常见做法是用 CheXpert labeler 对生成的报告和真实报告分别打 14 类标签如 cardiomegaly、effusion然后算每类的 F1。这个 labeler 是一个基于规则的文本分类器输入报告文本输出标签。# 伪代码示意实际用 CheXpert labeler 的官方实现 from chexpert_labeler import CheXpertLabeler labeler CheXpertLabeler() gen_labels labeler.label(generated_report) gt_labels labeler.label(ground_truth_report) # 对每类算 precision/recall/F1如果 labeler 跑不起来退而求其次可以做人工抽查随机抽 50 条生成报告让有医学背景的人判断是否与图像一致。毕设文档里写清楚评估方法和局限性比硬堆指标更有说服力。4.3 推理beam search 与长度惩罚推理时不用 teacher forcing从bos开始自回归。贪心解码容易生成重复句子beam search 能缓解。def beam_search(model_enc, model_dec, image, vocab, beam_size3, max_len60, devicecuda): model_enc.eval(); model_dec.eval() inv_vocab {v: k for k, v in vocab.items()} with torch.no_grad(): memory model_enc(image.unsqueeze(0).to(device)) # [1, 49, d_model] beams [([vocab[bos]], 0.0)] # (token列表, log概率) for _ in range(max_len): new_beams [] for tokens, score in beams: if tokens[-1] vocab[eos]: new_beams.append((tokens, score)) continue input_ids torch.tensor([tokens], devicedevice) logits model_dec(input_ids, memory) # [1, L, vocab] log_probs torch.log_softmax(logits[0, -1], dim-1) topk torch.topk(log_probs, beam_size) for k in range(beam_size): new_tokens tokens [topk.indices[k].item()] new_score score topk.values[k].item() new_beams.append((new_tokens, new_score)) # 按长度归一化分数排序取前 beam_size beams sorted(new_beams, keylambda x: x[1] / len(x[0]), reverseTrue)[:beam_size] best_tokens beams[0][0] words [inv_vocab.get(t, unk) for t in best_tokens if t not in (vocab[bos], vocab[pad])] return .join(words)逻辑说明beam search 维护beam_size个候选序列每步对每个候选扩展beam_size个 token按累积 log 概率排序。长度归一化score / len(tokens)防止偏向短句。max_len60和训练一致。beam_size 一般 3 到 5太大速度慢。注意beam search 在医学报告生成里不一定比贪心好因为医学报告模板性强beam 可能生成更「流畅」但更模板化的句子。建议两种都跑对比 BLEU 和临床 F1。5. 避坑与排查毕设交付前必须过的 5 个坎5.1 报告全是高频模板BLEU 虚高现象验证集 BLEU-4 到 0.3 以上但生成的报告几乎都是「The heart size is normal. The lungs are clear.」这类高频句。原因数据里正常报告占比高模型学到「生成高频句就能拿高分」忽略了图像条件。解决做数据重采样对异常报告过采样或者在 loss 里给稀有词更高权重评估时重点看临床标签 F1而不是只看 BLEU。我一般会在毕设文档里明确写「BLEU 仅作参考临床 F1 为主要指标」。5.2 图像归一化用了 ImageNet 统计量但输入是灰度图现象模型 loss 下降很慢生成质量差。原因胸片是灰度图转 RGB 后三通道相同但 ImageNet 均值方差是针对自然图像的归一化后分布偏移。解决要么用医学影像自己的均值方差在训练集上统计要么把输入改成单通道第一层卷积也改成单通道。如果复用 ResNet 预训练权重保持三通道但用医学统计量归一化。5.3 训练时 loss 正常推理时生成乱码现象训练 loss 降到 2 以下但推理生成的报告全是unk或重复 token。原因推理时没有 teacher forcing模型没见过自己生成的错误 token误差累积。另外可能是bos/eos处理不对。解决训练时加入 scheduled sampling逐步用模型自己的预测替换真实 token检查推理时是否从bos开始是否在eos停止。还有一个常见原因是词表里unk太多检查min_freq是不是设太高。5.4 显存不够batch size 只能设 4现象训练极慢一个 epoch 要几小时。原因ResNet-50 Transformer 参数量不小224 输入下显存占用高。解决冻结 ResNet 前几层只训练后两层和 fc或者用混合精度训练torch.cuda.amp或者把图像降到 128。毕设阶段 128 输入 冻结 CNN 前 3 层batch size 能到 32。# 冻结 ResNet 前几层 for name, param in model_enc.cnn.named_parameters(): if layer3 not in name and layer4 not in name: param.requires_grad False5.5 文档说明里没写环境依赖换台机器跑不起来现象答辩时老师让现场跑结果 import 报错。原因requirements.txt没写全或者版本没锁。解决用pip freeze requirements.txt导出但注意 torch 版本要和 CUDA 匹配。文档里写清楚 python 版本、torch 版本、CUDA 版本、如何下载预训练权重。最好提供一个run.sh或run.bat一键脚本。6. 进阶技巧用临床标签做可控生成与报告一致性校验毕设如果只做到「图生文」创新点不够。一个能加分的方向是可控生成先预测临床标签多标签分类再把标签作为条件输入解码器生成报告。这样报告和标签一致临床 F1 会明显提升。具体做法在编码器后面加一个多标签分类头用 CheXpert 的 14 类标签做监督。训练时联合优化分类 loss 和生成 loss。推理时先预测标签再把标签 embedding 拼到解码器输入里。class ControllableDecoder(nn.Module): def __init__(self, vocab_size, num_labels14, d_model512, **kwargs): super().__init__() self.label_embed nn.Linear(num_labels, d_model) # 标签向量投影 self.embed nn.Embedding(vocab_size, d_model) # ... 其余同 ReportDecoder def forward(self, captions, memory, labels): # labels: [B, num_labels] 多标签概率 label_vec self.label_embed(labels).unsqueeze(1) # [B, 1, d_model] x self.embed(captions) label_vec # 广播加到每个位置 # ... 后续同 ReportDecoder另一个实用技巧是报告一致性校验生成报告后用 CheXpert labeler 反推标签和图像分类头预测的标签对比不一致就重新生成或标记。这个校验逻辑写进系统里答辩时演示「系统能自动发现不一致报告」比单纯展示 BLEU 更有说服力。我自己的习惯是毕设代码里一定留一个evaluate.py同时输出 BLEU、ROUGE 和临床 F1再留一个demo.py做单图推理可视化。文档说明里把「怎么装环境、怎么跑训练、怎么跑评估、怎么跑 demo」四步写清楚比堆一堆理论更让老师认可。医学图像报告生成这个方向模型结构可以简单但数据清洗和评估一定要扎实否则 BLEU 再高也是空中楼阁。希望帮到你。本文还有配套的精品资源点击获取