简介面向医学影像处理与计算机辅助诊断场景的3D分割实战资源包聚焦三维医学图像中的病灶识别、组织划分与手术规划需求适合有一定Python和深度学习基础的医学图像研究人员、算法工程师及研究生对照学习。包内整体包含44个文件以30个Python脚本为主体覆盖数据准备、模型构建、训练验证与推理等环节6个Shell脚本可用于快速执行训练/验证流程另有示意图、说明文档和二维码图片等辅助理解网络结构与分割效果。资源包约5.49MB目录结构清晰并包含SAM-Med3D相关的3D分割实现涉及3D卷积神经网络、提示编码器、掩码解码器等关键组件以及预处理、后处理与常用评价指标等完整流程。目前已有199人学习适合用来快速搭建医学3D分割基线并在此基础上开展改进实验。1. 为什么打包成“医学3D图像分割.zip”的才是完整交付当同事把医学3D图像分割.zip放到共享盘时十有八九里面不是一份单薄模型文件而是数据目录、预处理脚本、训练代码与标注文件。医学3D图像分割的起点是 CT/MRI 等三维体积扫描序列终点则是逐体素标注的器官、病灶或结构。它比自然图像分割多出三组硬约束体素间距不统一方向坐标靠 affine 矩阵表达同一患者不同序列的形变让配准成为前置任务GPU 显存限制迫使我们必须用 patch 训练而不是整图训练。很多从 2D 图像分割转向医学3D图像分割的工程师第一周消耗在解码.nii.gz和 debug 体积方向而不是模型调参。所以这篇不是“五分钟跑通 demo”而是把解压、预处理、模型、训练、推理到重新封包的整个链路讲清楚。适合想在真实数据上复现分割结果的算法工程师、医学影像产品研发和学生。2. 医学3D图像分割的模型选型3D U-Net尤其是体积方向的起点2.1 为什么3D卷积比单独切2D更契合医学图像分割在写第一行训练代码之前需要先理解“3D”到底带来了什么变化。CT、MRI 的扫描结果本质是三维矩阵第三个维度的层间距可能和平面内分辨率差两倍甚至六倍。如果把矩阵切成许多二维切片用 Unet 图像分割逐层预测就丢失了相邻层之间的上下文。举个例子肝肿瘤在某一层可能只看到一个不规则的暗色圆斑但如果将上下 8 层堆叠起来观察它和肝静脉的相对位置、跨层生长方向都会清晰起来。3D 卷积正是用一个空间卷积核在体积上滑动同时看到层间和层内的邻居因此能捕捉跨层结构。不过 3D 卷积的代价也很透明特征图张量从二维的(H, W)升到(D, H, W)显存占用可能涨一个数量级。它让医学3D图像分割达到高精度的核心也让我们被迫使用 patch 采样。我通常的做法是先看数据分辨率如果 z 轴间距接近 3mm 以上且任务只需要在中心层面做粗略分割那么 2D U-Net 更节省但大多数胰腺、前列腺、淋巴结分割任务最终都会回到 3D 路径上。2.2 3D U-Net 的主干结构与3D卷积自编码器的预训练分工Unet 图像分割的核心设计一直都很固定编码器逐层下采样提取从局部纹理到全局语义的多尺度特征解码器通过跳连接把编码器每一层的空间细节带回原分辨率。3D U-Net 只不过把所有算子换成 3D 版本但在医学图像分割中这种结构优势更大分割目标不是纯体素分类而是要把轮廓、边界、形状这些空间线索保留到深层语义中。编码器最后几层往往只保留抽象特征如果没有跳连接解码器输出的边缘就会发糊。3D 卷积自编码器并不是用来替代 3D U-Net 的。在标注样本不足时可以先用大量无标注影像做体积重建用重建误差作为自监督信号预训练编码器再把权重迁移到 3D U-Net 的 encoder。预训练后通常比随机初始化收敛更快对小数据集更稳定。如果.zip里同时含标注和大量未标注图像我一般会把两阶段流程写进脚本第一段是自编码器重建第二段用预训练权重初始化分割网络。它不算新模型却能在小样本项目里让验证集的 Dice 波动减少好几个点。2.3 损失函数和评价指标Dice Loss 与类不平衡的配对医学数据里正负样本比例可以达到 1:99胰腺这种小器官在腹部 CT 中经常只占 1% 体积。纯交叉熵会走向全背景的最优解因为即使全预测为背景损失也低。损失函数最低配是 Dice Loss。import torch def dice_loss(pred, target, smooth1e-5): pred 和 target 形状相同pred 需要是 sigmoid 后的概率值。 intersection (pred * target).sum() union pred.sum() target.sum() smooth return 1 - (2.0 * intersection) / unionDice Loss 把预测和真实标签的区域重叠率直接作为优化目标对前景占比小的情况有天然容忍度。它也有缺陷小区域上梯度变化剧烈训练初期容易震荡。常见做法是0.8 * dice_loss(pred, target) 0.2 * BCEWithLogitsLoss(logits, target)交叉熵提供体素级平稳梯度Dice 则负责把区域整体形状拉准。评价指标不要只用 Dice。Hausdorff 距离能反映最大边界误差在放疗靶区勾画中比 Dice 更严格体积相似度 VD 帮助判断是否存在系统性过度预测。我在验证集上同时记录三个指标避免单一大区域指标掩盖小目标的问题。指标侧重方向适合场景Dice区域重叠率常规分割效果评估Hausdorff95最大边界误差手术规划、放疗靶区体积差异 VD系统性大小偏差肿瘤体积随访3. 解压与预处理从 zip 文件到标准化 3D 体积3.1 先拆包而不是先写模型zip 内的路径、体积与坐标医学3D图像分割.zip的体积从几百 MB 到几十 GB 都出现过。拿到手的第一件事不是看训练代码而是列文件清单。unzip -l 医学3D图像分割.zip | head -50 unzip -q 医学3D图像分割.zip -d ./Med3D du -sh ./Med3D find ./Med3D -maxdepth 2 -type f | sort | head -30unzip -l先检查包内是否有多个层级目录、是否有隐藏的.git或__MACOSX文件以及文件名是否带空格或中文。带空格的路径在 Linux 下需要转义在 Python 里也容易和 glob 规则打架不值得处理。解压到./Med3D后用find加-maxdepth快速看结构。如果包内是data/patient/xxx我会把结构统一成image/、label/两个平级目录再在 data loader 里按 patient ID 匹配image/patient_001.nii.gz和label/patient_001.nii.gz。遇到加密 zip 时先找 README 或发布方说明。正规数据集包密码通常写在下载页找不到就联系作者。不要把时间花在暴力破解上工程价值很低。这里的目标是让后续nibabel读到的内容与发布者预设的前提一致。3.2 NIfTI 读取、RAS 方向统一与重采样NIfTI 文件里的三维数组只是一串数字它的解剖坐标由 affine 矩阵决定。不同设备、不同后处理软件可能输出 LAS、RAS 甚至倾斜矩阵。如果把这些体积按相同匀速网格直接堆进 patch编码器学习的空间关系会互相矛盾。import nibabel as nib import numpy as np def load_ras(img_path): img nib.load(img_path) img nib.as_closest_canonical(img) # 将方向统一为 RAS data np.asarray(img.dataobj, dtypenp.float32) return data, img.affine, img.headernib.as_closest_canonical会同时翻卷数组和 affine返回后不需要再关心原始方向是 scanner-first 还是 patient-first。读取后紧接着看header.get_zooms()它返回每个轴的体素间距。如果数据平面分辨率是 0.8mm层厚 2.5mm我会用scipy.ndimage.zoom把 z 轴重采样到(1.5, 1.5, 1.5)mm。重采样时两个细节图像用三阶样条插值标签必须用order0最近邻否则会出现新类别或边缘伪影。重采样前先记录原始 affine重采样后更新 affine。常见错误是只在数组上变形却复用旧 affine结果在临床软件里分割结果和原图上下颠倒。提示方向统一和间距统一是两个步骤。前者保证坐标轴顺序一致后者保证物理空间比例一致两者都要做。3.3 patch 采样与归一化的设参原则完整 256×256×128 体积无法直接进显存所以按 patch 抽。如果纯随机采样大多数 patch 落在背景里训练效率很低。需要“以目标为中心”的采样策略。import numpy as np def sample_patch(volume, label, patch(96, 96, 64), max_offset(10, 10, 8)): zdim, hdim, wdim volume.shape d, h, w patch foreground label 0 if foreground.any(): zz, yy, xx np.where(foreground) cz, cy, cx int(zz.mean()), int(yy.mean()), int(xx.mean()) # 前景质心 # 增加 jitter避免每次都取同一中心 cz np.random.randint(-max_offset[2], max_offset[2] 1) cy np.random.randint(-max_offset[1], max_offset[1] 1) cx np.random.randint(-max_offset[0], max_offset[0] 1) else: cz np.random.randint(0, zdim) cy np.random.randint(0, hdim) cx np.random.randint(0, wdim) low_z np.clip(cz - d // 2, 0, zdim - d) low_h np.clip(cy - h // 2, 0, hdim - h) low_w np.clip(cx - w // 2, 0, wdim - w) return (volume[low_z:low_z d, low_h:low_h h, low_w:low_w w], label[low_z:low_z d, low_h:low_h h, low_w:low_w w])我的常见做法是 50% 概率调用sample_patch取前景中心附近剩下 50% 完全随机这样既能覆盖正样本又不会丢失对背景假阳性的判断能力。对于长条状器官patch 的长轴最好沿器官主方向对肝脏、肾这类团块器官96³ 足够对血管、气道patch 的其中一个维度可以调到 192。CT 数据建议先做窗宽窗位截断例如肝脏窗口[-150, 250]、肺窗口[-1000, 200]再做 mean-std 归一化。MRI 没有物理单位直接按每个 volume 的 mean±std 截断到[-1, 1]。我常用的一套参数如下模态窗口截断目标 spacing归一化CT 腹部[-150, 250]1.5mmz-scoreCT 胸部[-1000, 200]1.5mmz-scoreMRI T2无1.0mmper-volume z-score4. 用 PyTorch 从零训练一个可复现的 3D 分割模型4.1 把 nii 文件变成 Dataset 和 DataLoader一旦预处理流程固定就把它包进 Dataset 类。每个 epoch 都重新读 NIfTI 会非常慢所以我会加一个lru_cache缓存最近用过的体积。from functools import lru_cache import numpy as np import torch from torch.utils.data import Dataset lru_cache(maxsize8) def load_pair(img_path, lab_path): image, _, _ load_ras(img_path) label, _, _ load_ras(lab_path) return np.ascontiguousarray(image), np.ascontiguousarray(label) class MedVolDataset(Dataset): def __init__(self, img_paths, label_paths, patch(96, 96, 64)): self.img_paths img_paths self.label_paths label_paths self.patch patch def __getitem__(self, idx): image, label load_pair(self.img_paths[idx], self.label_paths[idx]) image_patch, label_patch sample_patch(image, label, self.patch) image_patch (image_patch - image_patch.mean()) / (image_patch.std() 1e-6) # 随机翻转增强 if np.random.rand() 0.5: image_patch image_patch[:, ::-1] label_patch label_patch[:, ::-1] return (torch.from_numpy(image_patch[None]).float(), torch.from_numpy(label_patch[None, None]).float())注意label_patch的形状是(D, H, W)label_patch[None, None]变成(1, 1, D, H, W)对应二分类模型的输出。多类别时要把标签做 one-hot变成(C, D, H, W)损失函数再做softmax Dice。增强只做随机翻转是最低配置弹性形变先不加等基线能稳定收敛后再逐步引入。4.2 3D U-Net 最小实现网络不是越大越好尤其显存受限的医学3D图像分割场景。下面是我惯用的能快速训练出较好结果的 3D U-Netimport torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv3d(in_ch, out_ch, 3, padding1), nn.BatchNorm3d(out_ch), nn.ReLU(inplaceTrue), nn.Conv3d(out_ch, out_ch, 3, padding1), nn.BatchNorm3d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.conv(x) class UNet3D(nn.Module): def __init__(self, in_ch1, out_ch1, base16): super().__init__() self.inc ConvBlock(in_ch, base) self.enc1 ConvBlock(base, base * 2) self.enc2 ConvBlock(base * 2, base * 4) self.enc3 ConvBlock(base * 4, base * 8) self.dec2 ConvBlock(base * 8 base * 4, base * 4) self.dec1 ConvBlock(base * 4 base * 2, base * 2) self.dec0 ConvBlock(base * 2 base, base) self.out nn.Conv3d(base, out_ch, 1) self.pool nn.MaxPool3d(2) self.ups nn.Upsample(scale_factor2, modetrilinear, align_cornersTrue) def forward(self, x): x0 self.inc(x) x1 self.enc1(self.pool(x0)) x2 self.enc2(self.pool(x1)) x3 self.enc3(self.pool(x2)) x self.dec2(torch.cat([self.ups(x3), x2], dim1)) x self.dec1(torch.cat([self.ups(x), x1], dim1)) x self.dec0(torch.cat([self.ups(x), x0], dim1)) return self.out(x)网络包含三次下采样和三次上采样每个采样块后接两个 3×3×3 卷积。base控制通道数显存小从 8 开始常用 16 或 32。三线性上采样保持坐标对齐解码器通过跳连接补回高分辨率细节。patch 尺寸必须能被 2^3 整除所以通常选 96×96×64。这里不用 attention 或 transformer不是它们无效而是医学3D图像分割的小数据集下结构简单的 3D 卷积基线更容易调试和复现。4.3 训练循环、验证指标和超参数设置二分类训练通常把 Dice Loss 和 BCE 混合。dice_loss的输入是 sigmoid 概率BCE 部分使用 logits 更稳。model UNet3D(in_ch1, out_ch1, base16).cuda() optimizer torch.optim.AdamW(model.parameters(), lr5e-4, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max300) loss_bce nn.BCEWithLogitsLoss() for epoch in range(300): model.train() epoch_loss 0.0 for img, lbl in train_loader: img, lbl img.cuda(), lbl.cuda() logits model(img) probs torch.sigmoid(logits) loss 0.8 * dice_loss(probs, lbl) 0.2 * loss_bce(logits, lbl) optimizer.zero_grad() loss.backward() optimizer.step() epoch_loss loss.item() scheduler.step() if epoch % 20 0: val_dice fast_validate(model, val_loader) print(epoch, epoch_loss, val_dice, val_dice)验证阶段不要只对 patch 求 Dice把 patch 概率图拼回完整体积后再用medpy.metric.binary.dc计算这样不会让重叠 patch 区域被重复计数。参数推荐范围调整依据patch size(64~128) 每轴目标器官大小与显存batch size1~4显存不足时先降 patchlr1e-4 ~ 1e-3AdamW 通常从 5e-4 起loss 权重Dice 0.7~0.9前景占比越小Dice 权重越高epoch200~500观察验证 Dice 是否进入平台期最容易被忽略的是 3D 模型在训练后期会过拟合到训练集的扫描仪和强度分布。如果验证集 Dice 高但实际数据效果差先检查验证集是否来自同一患者批次或者方向未对齐导致的数据泄露。5. 推理拼接、后处理与把成果重新打成 zip训练完成后要交付的是完整体积不是 patch。推理时我用带重叠的滑动窗口把 patch 预测概率累加再除以每个体素被覆盖的次数这样可以消除 patch 边缘的接缝。def predict_volume(model, volume, patch(96, 96, 64), stride(48, 48, 32)): model.eval() D, H, W volume.shape[:3] d, h, w patch prob_map np.zeros((D, H, W), dtypenp.float32) count_map np.zeros((D, H, W), dtypenp.float32) with torch.no_grad(): for z in range(0, D - d 1, stride[2]): for y in range(0, H - h 1, stride[1]): for x in range(0, W - w 1, stride[0]): sub volume[z:zd, y:yh, x:xw] tensor torch.from_numpy(sub[None, None]).float().cuda() probs torch.sigmoid(model(tensor)).cpu().numpy()[0, 0] prob_map[z:zd, y:yh, x:xw] probs count_map[z:zd, y:yh, x:xw] 1 prob_map prob_map / np.maximum(count_map, 1) return prob_map 0.5, prob_map重叠率至少 50% 才能稳定消除接缝。stride 选择patch_axis // 2越大速度越快但边缘不连续性越明显。得到二值掩膜后用scipy.ndimage.label做连通域分析去掉体积小于阈值的散点保留最大连通域或按概率阈值做腐蚀。打包交付时我会把预测结果保存为和原图同一 affine 的 NIfTI而不是直接存 npyimport nibabel as nib ref_img nib.load(original_nii_path) out_img nib.Nifti1Image(mask.astype(np.uint8), affineref_img.affine, headerref_img.header) nib.save(out_img, pred_patient_001.nii.gz)然后再把所有预测文件复制到统一的result_pkg目录用一条 zip 命令封包。mkdir -p result_pkg/predictions result_pkg/checkpoints result_pkg/config cp model.pt result_pkg/checkpoints/ cp pred_*.nii.gz result_pkg/predictions/ zip -r 医学3D分割预测.zip result_pkg/最后一步也是我踩过最多坑的地方交付前必须随机抽取一个 volume把预测mask和原图叠在同一坐标下渲染一帧中央切片确认没有上下左右颠倒。即使代码里affine不变重采样和翻转也可能会让输出和原始图像之间产生镜像。用nib.load同时读取原图和预测检查affine[:3, :3]的行列式是否一致行列式符号不同说明方向翻转没有被正确继承。这个验证比任何 Dice 数值更能判断交付包是否真正可用。本文还有配套的精品资源点击获取