简介机器学习课程大作业中基于三维卷积神经网络的医学图像分类是常见且有一定难度的选题这套源代码包面向正在完成期末大作业或课程设计的学生也适合希望快速上手医学影像分类项目的初学者。资源共四十八个文件压缩包约十一兆字节主要包含十八个Python脚本、十六个编译后的pyc模块、五个CSV结果文件、三个pickle模型文件、一个H5权重文件及README说明文档等代码注释完整部署简单下载后稍作配置即可运行。项目结构清晰涵盖数据加载、模型构建、训练与测试等模块适合直接参考或在此基础上扩展目前已有四百四十人学习下载口碑较好。无论是需要完整的高分参考方案还是想理解三维卷积在医学图像上的应用这套资源都能提供扎实的起点。1. 机器学习课程大作业3D卷积神经网络做医学图像分类为什么我总是跑不通每年都有人拿到“基于3D卷积神经网络的医学图像分类源代码文档说明”这个题目时先把2D ResNet换成3D卷积然后把CT数据当成一组普通图片送进去训练。结果都一样Loss在震荡显存先爆验证集指标好看得一塌糊涂换一批数据立刻现原形。这个方向真正的难点不在网络结构而在三维体数据的读入方式、数据切分逻辑和训练参数之间的配合。这篇文章不空谈原理按课程作业能直接交付的标准把整个落地路径讲清楚从NIfTI数据预处理到3D网络选型从训练脚本骨架到答辩前需要补充的指标和可视化。打算用这个题目交作业、且想靠代码和文档站稳分数的朋友适合往下看。2. 从2D到3D为什么医学图像分类要把卷积核多走一个维度2.1 医学图像不是照片体素、物理间距和解剖连续性CT、MRI这类影像保存下来不是一张张独立的照片而是一个完整的三维数组。CT的每个元素叫体素除了数值还带有物理尺寸信息。比如同一台设备扫描出来的数据X轴和Y轴间距可能是0.8mmZ轴层厚1.25mm。这个信息在NIfTI头文件里保存着读取时很多新手没注意直接把它当成一个普通三维ndarray后续重采样和裁剪全乱了。更关键的是病灶往往在连续多层切片上才有完整形态。一个肺结节在某一层切片上可能只是一个模糊的小亮点但连续看十几层它的边界、血管关系、生长方式才有意义。2D卷积一次只看一层切片模型要把“跨层结构”从数据里重新学出来数据量不够时很难学成学成了也未必是解剖意义上的结构。3D卷积核本身就带着深度维度在三个方向上同时滑动天然保留了层与层之间的连续性。这也是医学图像分类任务里3D模型在性能上通常能压过2D模型的主要原因。2.2 三维卷积与2D卷积的差异计算量涨了一个量级假设输入是(1, 64, 64, 64)的单通道体积数据3D卷积核尺寸通常是(3, 3, 3)。它在D、H、W三个方向滑动输出特征图的每个位置都要做3×3×3共27次乘加运算而2D卷积核只有9次。输出通道和层数一加深总计算量大约是2D模型的核体积倍差接近三倍显存占用也跟着涨。我用过一个很直观的例子把2D ResNet直接换成3D ResNet输入尺寸保持64×64×64batch size从32降到4仍然显存溢出。原因就是卷积核多了一个维度后中间特征图的数量级完全不同。所以在课程作业这个场景里我一般不建议用特别深的3D网络也不建议把输入体积塞到128×128×128。优先保证能稳定迭代再谈性能。2.3 3D网络选型3D ResNet、R2Plus1D与3D U-Net编码器怎么选常见做法是优先考虑3D ResNet系列它结构简单、容易收敛而且有成熟的预训练权重可以用。我不建议自己从零设计网络课程作业的时间不应该花在造轮子上。下表是我针对不同场景的选择习惯网络输入体素建议显存消耗适用场景3D ResNet1864×64×64中等二分类、小样本数据3D ResNet3464×64×64偏高数据量稍大、需要更高精度R2Plus1D64×64×64较低显存受限但想要3D时序信息3D U-Net编码器128×128×128高分割任务迁移到分类或数据分布复杂3D U-Net本身的定位是分割网络但它前几层编码器提取的特征对分类同样有效。有些公开医学竞赛的代码里分类任务会把U-Net编码器接一个全连接层来用。不过训练时间比ResNet长不少课程作业不太推荐除非你的题目本身就来自分割数据。R2Plus1D是个更好的折中方案它把3D卷积拆成2D空间卷积加1D时间卷积计算量下降明显显存友好分类效果在大多数医学影像数据集上与3D ResNet接近。如果你的电脑只有消费级显卡我建议优先试它。3. 做一个能复现的3D CNN分类流程数据预处理、模型训练与参数设置3.1 数据读取与预处理NIfTI重采样、裁剪和归一化的关键步骤不管你用PyTorch还是TensorFlow第一步都是把原始NIfTI文件变成网络能吃的体积数据。我最常趟的坑是不同来源的数据物理间距不一致所以预处理的第一步永远是重采样到统一间距。常见做法是用SimpleITK读取NIfTI然后重采样到目标体素间距。CT数据还需要做窗宽窗位截断比如肺窗一般截断到[-1024, 600]之间能去掉大部分无关背景。下面是这套流程的核心代码import SimpleITK as sitk import numpy as np def preprocess_nifti(path, target_spacing(1.5, 1.5, 1.5), target_size(64, 64, 64)): # 读取原始NIfTI文件 img sitk.ReadImage(path) # 1. 重采样到各向同性体素间距 original_spacing img.GetSpacing() original_size img.GetSize() new_size [ int(round(orig_size * orig_spacing / target_sp)) for orig_size, orig_spacing, target_sp in zip(original_size, original_spacing, target_spacing) ] resampler sitk.ResampleImageFilter() resampler.SetOutputSpacing(target_spacing) resampler.SetSize(new_size) resampler.SetOutputOrigin(img.GetOrigin()) resampler.SetOutputDirection(img.GetDirection()) resampler.SetInterpolator(sitk.sitkLinear) img_resampled resampler.Execute(img) # 2. 转成numpy数组形状为 (D, H, W) volume sitk.GetArrayFromImage(img_resampled).astype(np.float32) # 3. 中央裁剪去掉边缘多余背景 d, h, w volume.shape td, th, tw target_size start_d max(0, (d - td) // 2) start_h max(0, (h - th) // 2) start_w max(0, (w - tw) // 2) volume volume[start_d:start_d td, start_h:start_h th, start_w:start_w tw] # 4. 对CT值做窗宽窗位截断示例用肺窗 volume np.clip(volume, -1024, 600) # 5. 归一化到 [0, 1] min_val volume.min() max_val volume.max() if max_val - min_val 1e-8: volume (volume - min_val) / (max_val - min_val) else: volume np.zeros_like(volume) return volume.astype(np.float32)这段代码里最需要注意的是第1步的重采样。target_spacing一定要根据你的数据分布来定我用1.5mm是因为大多数胸部CT的层厚在1到3mm之间重采样到1.5mm不会丢失太多细节又能把不同来源的数据统一到同一个物理尺度。如果你用的是MRI间距参考值不同但思路完全一样。中央裁剪这一步的取舍在于有些病灶不一定在图像中心全局裁剪可能会把病灶切掉一半。如果你的数据是带有病灶中心坐标的建议用坐标为中心裁剪而不是中央裁剪。如果没有任何标注只能退而求其次先用中心裁剪再用较大的输入尺寸兜底。3.2 训练脚本的最小骨架PyTorch MONAI预处理完成后数据就变成了后缀为.npy的体积数组。训练部分我建议用PyTorch加上MONAI这个专门做医学影像深度学习的框架它内置了很多针对3D数据的网络和预处理工具。下面是训练脚本的最小骨架import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader from monai.networks.nets import resnet18 class VolumeDataset(Dataset): def __init__(self, paths, labels, transformNone): self.paths paths self.labels labels self.transform transform def __len__(self): return len(self.paths) def __getitem__(self, idx): volume np.load(self.paths[idx]) # 形状 (D, H, W) volume volume[:, :, :, np.newaxis] # 变成 (D, H, W, 1) volume np.transpose(volume, (3, 0, 1, 2)) # 变成 (1, D, H, W) volume torch.from_numpy(volume).float() label torch.tensor(self.labels[idx], dtypetorch.long) return volume, label device torch.device(cuda if torch.cuda.is_available() else cpu) net resnet18(spatial_dims3, n_input_channels1, num_classes2).to(device) train_dataset VolumeDataset(train_paths, train_labels) train_loader DataLoader(train_dataset, batch_size2, shuffleTrue, num_workers2) optimizer optim.AdamW(net.parameters(), lr3e-4, weight_decay1e-4) loss_fn nn.CrossEntropyLoss() for epoch in range(30): net.train() running_loss 0.0 for volume, label in train_loader: volume, label volume.to(device), label.to(device) optimizer.zero_grad() logits net(volume) # 输出形状 (B, 2) loss loss_fn(logits, label) loss.backward() optimizer.step() running_loss loss.item() print(fepoch {epoch} loss {running_loss / len(train_loader):.4f})resnet18(spatial_dims3, n_input_channels1, num_classes2)是MONAI提供的3D ResNet18接口它接受5D张量形状是(batch, channel, depth, height, width)。我把数据预处理输出形状从( D, H, W )垫成(1, D, H, W)正好对应单通道输入。batch_size在3D任务里是显存的第一杀手。我用2是因为很多课程作业的显卡是6GB到8GB显存64×64×64的输入配ResNet18batch_size2通常能跑。如果显存不够优先把batch_size降到1再用梯度累积来模拟更大的batch。优化器和损失这两个选择是经验值AdamW配合weight_decay1e-4在3D医学分类里收敛稳交叉熵损失对二分类够用。如果你发现损失下降很慢考虑把学习率从3e-4调到1e-3但不要超过这个量级3D训练对学习率比2D更敏感调大容易直接震荡。3.3 数据增强和训练参数让模型不过拟合的几个关键设置医学图像分类的数据量通常不大几十到几百例都常见直接硬训几乎必过拟合。我用得最顺的增强方式是在MONAI的Compose里做随机翻转和旋转90度这两个操作对解剖结构不会产生破坏性形变比随机缩放和弹性变形安全得多from monai.transforms import RandFlipd, RandRotate90d, Compose train_transform Compose([ RandFlipd(keys[image], prob0.5), RandRotate90d(keys[image], prob0.5, spatial_axes(0, 1)), ])训练集用增强验证集不用评估要在原始数据上做。还有一个极容易忽略的参数是shuffleDataLoader里必须设置shuffleTrue不做的话模型学到的可能只是原始文件顺序里的伪规律。3D任务迭代慢epoch数我一般设30到50配合早停和余弦退火学习率效果比硬跑100个epoch好得多。4. 3D医学图像分类避坑指南五个让我反复返工的排查记录4.1 显存溢出训练一开始就OutOfMemoryError现象代码跑第一个batch直接报CUDA out of memory或者训练到第二个epoch时内存爆掉。 原因3D卷积的中间特征图比2D大了近一个量级输入的体积尺寸和batch_size叠在一起把显存撑爆了。 解决我一般按这个顺序查先看输入尺寸是不是64×64×64太大就降到48×48×48再把batch_size改成1配合梯度累积模拟更大的batch最后开启混合精度训练PyTorch里只需要加torch.cuda.amp.autocast()和GradScaler显存能省约40%。R2Plus1D这类轻量网络也可以从底层减少占用。4.2 验证集指标虚高得离谱数据泄漏在作祟现象训练Loss还在0.6以上验证集AUC已经0.97了而且验证结果非常不稳定。 原因同一个病人的多次扫描被同时切分进训练集和验证集。三维医学图像之间的相似度远超不同病人的样本模型等于在“背答案”。 解决按病人ID做分层划分保证同一个病人的所有数据只能出现在训练集、验证集或测试集其中一个里面。如果数据里没有病人ID字段也需要至少保证时间相近、来源相同的样本不跨集合混用。4.3 训练Loss卡在常数附近标签翻转、数据错位或学习率过高现象二分类任务的Loss一直停在0.69附近log2怎么训练都降不下去。 原因0.69接近二分类交叉熵的随机初始值。最常见的原因是数据路径和标签列表没有对齐模型看到的是错乱标签其次是batch_size太小但学习率太大模型在局部震荡出不来。 解决先打印一批路径和标签的组合人工检查再把学习率降到1e-4测试一个epoch看Loss是否会下降最后检查一下输入数组和标签的排序逻辑确认没有因为并行加载而打乱对应关系。4.4 单次指标还可以但一换随机种子就崩盘现象固定随机种子跑出来的验证集F1是0.85换一个种子直接跌到0.7。 原因医学数据集太小正常的随机波动本身就有这么大。只报一次结果不是模型的真实性能。 解决用5折交叉验证或至少跑3个不同随机种子报告均值和标准差。课程作业里这个做法很加分能让助教相信你的代码不是“运气好跑出来”的。4.5 3D可视化结果不能见人热力图乱飘病灶位置不匹配现象用Grad-CAM画出来的激活区域要么集中在背景边缘要么把整片正常组织标红。 原因网络可能真的没有在学病灶特征或者数据预处理时方向信息丢失、插值导致的形态失真太严重。 解决先人工可视化训练样本的中间层切片确认病灶位置没有在预处理时被切偏然后检查归一化是否在训练和测试之间保持一致最后再看梯度热力图很多时候是预处理问题不是模型问题。5. 答辩前的三件事指标、可视化与文档怎么组织5.1 二分类医学数据不要只用AccuracyAUC、F1和混淆矩阵才是硬通货医学图像分类普遍类别不均衡比如阳性病例只占20%模型全预测阴性也能拿到80%的Accuracy但这显然不可用。我建议计算AUC、F1、敏感度和特异度。AUC尤其重要它不依赖阈值的选择。评估阶段的核心代码可以这样写from sklearn.metrics import roc_auc_score, f1_score, confusion_matrix # 测试集推理结果 y_prob torch.softmax(logits, dim1)[:, 1].detach().cpu().numpy() y_pred (y_prob 0.5).astype(int) auc roc_auc_score(y_true, y_prob) f1 f1_score(y_true, y_pred) tn, fp, fn, tp confusion_matrix(y_true, y_pred).ravel() print(fAUC: {auc:.3f}, F1: {f1:.3f}) print(fSensitivity: {tp / (tp fn):.3f}, Specificity: {tn / (tn fp):.3f})报告结果时我习惯在括号里给出95%置信区间比如“AUC 0.853 (95% CI 0.781-0.917)”。这个习惯写进文档比只写一个孤零零的准确率可信得多。5.2 Grad-CAM 3D可视化让评审直观看到模型在看哪里光有指标不够课程作业答辩时老师很可能会问“模型为什么这么判断”。我一般会给3D Grad-CAM热图作为可视化支撑它的核心思路是把最后一个卷积层的特征图加权求和后叠加回原始体积。代码骨架如下def gradcam_3d(model, volume): model.eval() volume volume.unsqueeze(0).to(device) # (1, 1, D, H, W) # 拿到最后一个卷积块的特征图 features model.layer4.output # 具体层名需打印model.state_dict()确认 logits model.fc(torch.mean(features, dim(2, 3, 4))) target_class logits.argmax(dim1) model.zero_grad() one_hot torch.zeros_like(logits) one_hot[0, target_class] 1 logits.backward(gradientone_hot) weights torch.mean(model.fc.weight[target_class], dim0) cam torch.relu(torch.sum(features.squeeze(0) * weights[:, None, None, None], dim0)) return cam.cpu().numpy() # 形状 (D, H, W)注意代码里的model.layer4.output需要根据你实际使用的MONAI网络结构做调整。最稳妥的方法是打印model.state_dict()的键名看看最后一个带卷积权重的层叫什么然后用Hook取出它的输出。热力图生成后取D方向中间的几个切片与原图叠加显示比整张3D图直观看得多。5.3 高分文档的组织逻辑让人按着你的步骤能原样复现课程大作业最容易被扣分的地方是代码能跑但文档只有开头一段话和数据集的下载链接。文档不需要写得多长但必须回答四个问题数据怎么来的、为什么选这个网络、实验是怎么做的、代码怎么一步步复现。我一般会用下面这个表格结构来组织文档章节写什么环境依赖Python版本、torch和MONAI版本、显卡配置数据准备预处理脚本路径、目标间距、归一化方式、数据集划分表模型选择简要对比2D与3D说明选3D ResNet的理由训练复现训练命令、学习率、batch_size、epoch、随机种子评估结果各指标表格、可视化截图、失败案例已知问题显存限制、小样本过拟合现象、未来改进方向文档里最容易被忽略的是“已知问题”这一节。主动承认模型哪里效果不好并说明改进思路比假装一切完美要可信得多也是高分作业常见的加分点。最后说一个我自己的教训有一次提交作业前助教问我测试集里是不是包含训练同批病人的数据我当时没在意回去按病人ID重新划分后AUC直接从0.85掉到0.77。从那以后我接任何医学图像任务第一件事永远是看数据有没有病人级别分组第二件事才是选模型。希望帮到你。本文还有配套的精品资源点击获取