简介这是2019年天池“数字人体”赛场一的肺部CT多病种智能诊断赛题资源包面向医疗AI开发者和深度学习入门者目标是解决CT影像中多病种自动识别与定位问题。压缩包共25个文件以14个Python脚本为主体涵盖YOLOv3配置、模型训练与测试、图像预处理、数据标注及锚框计算等模块另含说明文档、配置文件和样例图片整体仅147KB便于快速查阅核心代码。资源已有149人学习。从中可获取完整赛题基线方案包括基于YOLOv3的目标检测框架、ResNet分类模型、k-means锚框计算等关键实现以及数据预处理和模型训练流程便于理解医疗影像常用深度学习方法的落地细节也可作为参赛复现或扩展实验的参考。1. 天池“数字人体”赛场一这份肺部CT多病种zip压缩包究竟要做什么这个标题看起来只是一个普通的zip压缩包但真正打开它你面对的是2019年全球数据智能大赛“数字人体”赛场一的完整任务用肺部CT影像做多病种智能诊断。下载容易理解任务难——解压之后是一堆dicom切片或者重建好的三维体积数据标签是一个多列csv每个样本可能同时命中多种疾病模型要输出的是每个病种的独立概率而不是一个互斥分类。比赛页面上一句话的评价指标落到代码里就是每个标签单独算AUC再平均。这篇笔记按我复盘当时方案的习惯把这个zip从解压、数据探查、模型改造到提交前自检的路径完整过一遍适合第一次碰医疗影像分类的选手。2. 解压与数据探查从zip包到可训练的CT影像NumPy张量2.1 zip包解压中文文件名、大文件与linux下解压比赛数据包通常有几个GB内部目录往往是中文或带空格的长路径。Windows下直接右键解压容易踩两类坑一是中文文件名变成乱码二是路径过长触发系统260字符限制解压到一半直接报错。Linux下用unzip命令也要小心默认的编码假设和zip包内部不一致时年龄、性别文件夹会变成一堆问号。我的习惯是不依赖图形界面的解压工具直接用一个Python脚本处理先把包内文件结构列出来再决定怎么解。import zipfile import os src 肺部CT多病种智能诊断.zip # 改成你的实际文件名 dst ./data_raw os.makedirs(dst, exist_okTrue) with zipfile.ZipFile(src) as zf: # 先看包内有什么避免盲目解压 names zf.namelist() print(总文件数:, len(names)) for n in names[:15]: print(n) for info in zf.infolist(): target os.path.join(dst, info.filename) target os.path.normpath(target) # 防止路径穿越到外层目录 if not target.startswith(dst): continue if info.is_dir(): os.makedirs(target, exist_okTrue) continue os.makedirs(os.path.dirname(target), exist_okTrue) with zf.open(info) as src_f, open(target, wb) as out_f: # 分块写避免大文件一次读入内存 for chunk in iter(lambda: src_f.read(1024 * 1024), b): out_f.write(chunk)逻辑说明先用namelist把压缩包的全貌打出来确认根目录结构、文件后缀、样本量这一步等于完成了数据探查的一半。逐文件解压时按1MB分块读写几百MB的单文件也不会挤爆内存。os.path.normpath会把“../”之类的相对路径折叠掉再配合startswith(dst)检查能防止压缩包内恶意构造的路径把文件写到别的地方。参数说明如果Linux下unzip已经解到一半挂了可以先补一句unzip -O gbk重新解压这是让unzip按GBK编码识别中文文件名。包内可能还嵌套着另一个zip常见做法是先解出一层再在脚本里做一次循环直到目录下没有zip文件为止。磁盘空间至少预留压缩包体积的两倍CT序列解压后经常比压缩包大不少。2.2 DICOM读入与窗宽窗位把CT值转成模型能吃的矩阵CT影像的原始像素值不是颜色而是亨氏单位HU不同组织分布范围差异很大肺实质大约在-500到-900之间软组织在0到100附近骨骼可以到1000以上。如果直接对原始数组做min-max归一化肺纹理细节会被压缩到几乎看不见模型看到的图像对比度完全错误。多病种诊断里肺结节、肺炎、肺气肿这些病灶全靠肺窗来表现窗宽窗位不调后面所有模型都是在脏数据上炼丹。import pydicom import numpy as np def load_dicom_hu(path): dcm pydicom.dcmread(path) arr dcm.pixel_array.astype(np.float32) # 部分设备的pixel_array不是HU需要按tag换算 slope float(getattr(dcm, RescaleSlope, 1.0)) intercept float(getattr(dcm, RescaleIntercept, -1024.0)) hu arr * slope intercept return hu def window_to_gray(hu, width2000.0, level-500.0): # 肺窗常用参数把HU区间映射到0~255 low level - width / 2.0 high level width / 2.0 clipped np.clip((hu - low) / (high - low), 0, 1) return (clipped * 255).astype(np.uint8)逻辑说明pydicom读出来的pixel_array通常只是存储原始值乘以RescaleSlope再加RescaleIntercept才得到真正的HU。这里用getattr给两个字段都加了默认值就是为了兼容那些缺少tag的老旧设备否则dicom文件一多处理到一半突然抛KeyError整个管线都得停。window函数把HU映射到0-255的灰度图相当于把物理量归一化成模型熟悉的图像分布。参数说明肺窗宽窗位取2000和-500附近不同资料里可能写窗宽1500窗位-450差别不大但训练和推理必须用同一组参数否则模型看到的亮度分布会漂移。纵隔窗一般取宽400、位40适合观察软组织和血管。做多病种分类时建议同时生成肺窗和纵隔窗两个通道相当于给模型一个免费的模态提示。2.3 数据划分与标签核对先看train_labels再谈模型解压之后的第一件事不是写模型而是核对路径和标签是否一一对应。我见过最典型的翻车csv里写了1000个样本实际扫描有1005个序列或者标签文件第一行没有表头read_csv默认把第一个患者当成列名。先花十分钟把标签分布打出来比一上来就搭模型省三天时间。多标签数据的划分和单标签不一样直接做train_test_split会让某些罕见病种在验证集里一个正样本都没有。import pandas as pd import numpy as np from sklearn.model_selection import train_test_split labels pd.read_csv(data_raw/train_labels.csv) print(labels.shape) print(labels.head()) print(labels.iloc[:, 1:].sum(axis0)) # 每个标签的正样本数 label_cols list(labels.columns[1:]) # 多标签场景把每个样本的标签组合拼成字符串作为分层依据 combo labels[label_cols].astype(str).agg(_.join, axis1) train_idx, val_idx train_test_split( np.arange(len(labels)), test_size0.2, random_state42, stratifycombo, ) labels.iloc[train_idx].to_csv(train_split.csv, indexFalse) labels.iloc[val_idx].to_csv(val_split.csv, indexFalse) print(ftrain {len(train_idx)} / val {len(val_idx)})逻辑说明combo把每行多标签拼成一个字符串类似“1_0_1_0_0”train_test_split的stratify按这个字符串分层比按单一标签分层更完整地保持训练和验证的组合分布一致。如果某种标签组合数量太少导致stratify报错退一步按“全阴性”和“至少一个阳性”两层分也够用。参数说明test_size推荐0.1到0.2。CT三维样本可能只有几百到一千多个验证集太小会让AUC波动超过0.02那时候你根本分不清模型改动是变好还是变坏。拆出来的两个csv会贯穿后续所有调试保证每次实验对比的都是同一批样本。3. 多病种分类模型用ResNet改多标签输出并配好BCE损失3.1 任务本质多标签分类不是单标签也不是分割天池这个赛场一的要点是“同时预测多个病种的有无”它和ImageNet那种单标签分类有三个本质区别。第一输出层要接多个独立神经元每个神经元对应一个病种不能做一个softmax让整体概率之和等于1。第二同一个患者可以同时命中多个病种正样本之间不排他。第三阴性样本通常占大头必须显式处理类别不平衡否则模型学到最后就是“全部预测为0”。有人把多标签任务当多分类做最后一层softmax输出真实标签却有多个1损失直接不收敛。正确做法是输出层不加激活把logits交给BCEWithLogitsLoss损失函数内部会对每个类别独立做sigmoid。评价指标也不是准确率而是每个病种分别算二分类AUC再取平均这个细节会直接影响训练时的模型选择和后处理策略。三维CT数据通常很大一个序列可能有200多层512×512的切片。常见做法是先抽帧成固定数量的2D切片分别过2D CNN再对特征做平均池化或者直接把若干切片叠成一个三维输入喂给3D CNN。我一般建议新手先从2D模型跑通基线因为2D预训练权重丰富、调试快等数据链路验证没问题了再上3D模型否则出现AUC异常时你根本说不清是数据错了还是模型错了。3.2 模型改造把ResNet最后fc层换成num_classes神经元用PyTorch做这个改造非常直接核心就是把torchvision里预训练模型的最后一层全连接换掉输出维度从1000改成自己的病种数量。细节主要在预训练权重的加载方式上新版torchvision里pretrainedTrue已经标记为废弃推荐显式使用ResNet18_Weights.IMAGENET1K_V1。import torch import torch.nn as nn from torchvision.models import resnet18, ResNet18_Weights class MultiLabelCT(nn.Module): def __init__(self, num_classes: int, pretrained: bool True): super().__init__() if pretrained: self.backbone resnet18(weightsResNet18_Weights.IMAGENET1K_V1) else: self.backbone resnet18(weightsNone) in_features self.backbone.fc.in_features # 关键改动把最后一层输出改成病种数量 self.backbone.fc nn.Linear(in_features, num_classes) def forward(self, x): # 训练时返回logitssigmoid交给损失函数 return self.backbone(x)逻辑说明保留ImageNet预训练权重是为了迁移底层边缘和纹理特征。CT灰度图是单通道常见做法是把同一张灰度图复制到三个通道或者第一通道放灰度、后两个通道填0前者和预训练权重的分布更接近收敛更稳。这里forward直接返回logits因为BCEWithLogitsLoss内部会先做sigmoid再算损失数值稳定性比手动sigmoid加BCE更好。参数说明num_classes要按train_labels里实际病种数量填如果csv有6列标签就填6。显存不足时优先把resnet18换成resnet34而不是直接上resnet50后者显存占用会翻好几倍。初期可以冻结backbone前几层只训练最后的fc和部分残差块等loss稳定后再解冻全部层。3.3 损失函数BCEWithLogitsLoss、类别权重与阈值后处理多标签分类的每个病种本质是一个独立二分类问题类别不平衡需要通过pos_weight处理。基本思路是负样本远多于正样本的病种正样本的loss要乘一个更大的权重让模型不敢轻易全部预测0。这个权重可以直接从训练集统计出来不需要手工拍脑袋。import torch import torch.nn as nn # 统计每个病种的正样本比例 pos_ratio train_df[label_cols].mean(axis0) pos_weight (1.0 / pos_ratio).clip(max10.0) pos_weight_tensor torch.tensor(pos_weight.values, dtypetorch.float32).to(device) criterion nn.BCEWithLogitsLoss(pos_weightpos_weight_tensor)逻辑说明BCEWithLogitsLoss的pos_weight参数在实现上等价于正样本的loss乘一个系数。一个病种只有3%正样本时pos_weight大约33模型会显著提高对该类正例的惩罚避免陷入全零预测的局部最优。注意权重设置上限到10是因为某些极端稀有类正样本可能只有1%权重到100会让训练初期loss爆炸权重在10附近通常已经足够拉动梯度。参数说明多标签的判定阈值默认是0.5但严重不平衡数据上0.3或0.7可能让F1和AUC同时更好。AUC本身不依赖阈值所以训练阶段完全不用管阈值等验证时再根据验证集挑最优阈值即可。还有人习惯把pos_weight再乘一个全局系数比如0.9或1.1这个属于玄学范围我只在自己实验复盘时微调不当作默认操作。4. 训练策略与AUC评估类别权重、学习率与5折交叉验证4.1 训练参数epoch、batch、lr与warmup医疗影像数据量普遍不大从头训练会严重过拟合迁移学习时学习率要压到1e-4附近不能拿ImageNet常用的1e-2直接用。batch size看显存定16或32都行。epoch一般不超过20靠验证集AUC决定什么时候停。多标签训练需要每轮记录每个病种的AUC而不是只看一个总loss。from torch.utils.data import DataLoader from sklearn.metrics import roc_auc_score import numpy as np def train_one_epoch(model, loader, optimizer, criterion, device, schedulerNone): model.train() total_loss 0.0 for x, y in loader: x, y x.to(device), y.to(device) logits model(x) loss criterion(logits, y) optimizer.zero_grad() loss.backward() optimizer.step() if scheduler is not None: scheduler.step() total_loss loss.item() * x.size(0) return total_loss / max(len(loader.dataset), 1) def evaluate_auc(model, loader, device): model.eval() preds, trues [], [] with torch.no_grad(): for x, y in loader: x x.to(device) logits model(x) preds.append(torch.sigmoid(logits).cpu().numpy()) trues.append(y.numpy()) preds np.concatenate(preds, axis0) trues np.concatenate(trues, axis0) per_class [] for i in range(trues.shape[1]): # 跳过验证集里完全没有正样本的病种 if trues[:, i].sum() 0: continue per_class.append(roc_auc_score(trues[:, i], preds[:, i])) return float(np.mean(per_class)), per_class逻辑说明train_one_epoch以epoch为粒度返回平均loss方便画曲线。evaluate_auc对每个病种单独算二分类AUC再取平均正好匹配这个比赛的评测口径。最容易被忽略的是“验证集里某个病种一个正样本都没有”的情况直接调用roc_auc_score会抛异常所以这里先做一次正样本数量判断跳过后再取平均。参数说明warmup建议做2到3个epoch让学习率从0线性升到1e-4能缓解小数据集初始阶段的loss震荡。如果scheduler是OneCycleLR在每step后调用如果是ReduceLROnPlateau应该在epoch结束后用验证AUC来触发。推荐用AUC作为早停指标而不是loss因为loss下降不代表每个病种的排序能力都在上升。4.2 数据增强与序列化缓存CT数据的增强和自然图像不完全一样。随机水平翻转可以用肺部左右结构大致对称绝大多数病灶翻转后语义不变。旋转角度要限制在±15度以内过大的旋转会让肺野空间关系失真。裁剪要保证肺野不丢最好先确认肺部掩膜范围再定中心。训练阶段的增强不要做太激进验证阶段完全不要做随机增强只做确定性的resize和归一化。import torchvision.transforms as T train_transforms T.Compose([ T.RandomHorizontalFlip(p0.5), T.RandomAffine(degrees(-15, 15), translate(0.05, 0.05)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])逻辑说明Normalize用的是ImageNet的均值和方差因为模型加载的是ImageNet预训练权重输入分布越接近预训练分布迁移效果越好。CT是单通道复制到三个通道时做同样的变换。如果模型是纯随机初始化就必须重新统计自己数据集的均值和标准差沿用一个陌生数据集的统计量反而有害。参数说明RandomAffine的translate值建议不超过0.1否则肺门或边缘病灶可能被移出视野。序列级数据先做3D裁剪再抽帧比如每个序列固定抽32层这样batch维度的shape才是定长的。抽帧时不要只取中间一部分常见做法是按层厚均匀采样保证覆盖整个肺野范围。4.3 用AUC跟踪训练并确定最优epoch训练过程中我习惯每个epoch结束都存一次checkpoint包含模型权重、优化器状态、当前epoch和验证AUC。不要只存最后一个epoch医疗数据训练经常出现验证AUC先升后降再反弹的情况第三个epoch的权重可能在测试集上比最后一个更好。这就是“后悔药”的意义。best_auc max(best_auc, val_auc) checkpoint { epoch: epoch, model: model.state_dict(), optimizer: optimizer.state_dict(), val_auc: val_auc, per_class_auc: per_class, } torch.save(checkpoint, fcheckpoints/epoch{epoch:02d}_auc{val_auc:.4f}.pt)逻辑说明把per_class_auc一起存进checkpoint回看时能知道每个病种在哪个epoch最强方便后续做类级模型集成。文件名带AUC配合ls命令一眼就能看出哪个权重值得继续训。checkpoint里不存验证集的预测概率那些单独存成npy文件否则一个模型存两份大文件太占磁盘。参数说明早停patience设3到5个epoch连续几个epoch验证AUC不上升就停。这个参数在几百到一千个样本时比较可靠样本量超过2000时可以把patience放宽到6防止在平台期误杀模型。4.4 5折交叉验证与OOF预测单次划分验证集对医疗小数据来说波动太大常见做法是直接上5折交叉验证。每一折训练完预测整个测试集最后把5折的概率平均作为提交结果。如果你想选阈值或做伪标签更好用的是OOF预测每一折只预测本折的验证样本拼成完整的OOF预测这个预测和测试集完全无关用它调参不会造成信息泄漏。from sklearn.model_selection import StratifiedKFold skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) # 多标签无法直接stratify所有组合退而求其次按“是否全阴性”分层 target_for_fold train_df[label_cols].any(axis1).astype(int) oof_pred np.zeros((len(train_df), len(label_cols))) test_pred np.zeros((len(test_df), len(label_cols))) for fold, (tr_idx, va_idx) in enumerate(skf.split(train_df, target_for_fold)): print(f fold {fold} ) # 用train_one_epoch训练当前fold的模型 # 对test_df做预测累加到test_pred # 对本fold验证集做预测写入oof_pred[va_idx] pass逻辑说明多标签数据没有现成的多标签StratifiedKFold用“是否全为阴性”的二值列做分层是最实用的妥协能保证每个fold里阳性样本比例接近对训练稳定性影响最大。OOF预测的价值不只是选阈值还能观察每个病种在不同fold之间的方差某个病种AUC忽高忽低说明这个类别的数据量太少需要针对性做重采样或降低对该类的期望。参数说明5折训练成本大约是单次的5倍配置不够时先用2折跑通整个流程确认数据加载、模型保存、预测拼接的代码没有问题再展开到5折。每个fold的random_state必须固定否则复现实验时你无法区分模型改动和随机划分带来的差异。5. 避坑手册zip损坏、伪加密、窗宽窗位和内存溢出的现场记录5.1 压缩包解压环节的三类真实踩坑坑一zip解压到一半报CRC Error而且linux下解压出乱码文件名。现象解压脚本跑到第200个文件突然抛BadZipFile或者解出来的文件名变成“锟斤拷”一类乱码。原因主要有两个下载过程中断导致zip包不完整或者zip内文件名用了GBK编码而系统默认按UTF-8解析。解决先拿到发布页给出的文件MD5或SHA256用哈希工具对比本地压缩包对不上就老实重新下载文件能解出来但名字乱码Linux下用unzip -O gbkPython里则把原始字节按cp437解码再按gbk重新编码。不要指望系统自带的“修复压缩文件”功能对几个GB的大包几乎无效。坑二zip打开提示需要密码但比赛数据明明是公开的。现象双击zip弹出输入密码框网上评论却说数据没有加密。原因这多半是“伪加密”压缩包文件头的general purpose bit flag里有一位加密标志被置位实际文件内容并没有加密。解决用Python打印每个文件的flag_bits看到bit0为1先确认是不是伪加密再搜索“zip伪加密修复”类的工具原理是重新写文件头里的加密标志位为0不是暴力破解密码。处理完再解压就正常了。这里的分寸是这是对发布方误标加密位的公开资源做格式修复不是破解任何有真实密码的压缩包。坑三包里有嵌套zip解了一层还有一个。现象第一层解压完里面还有一个压缩包而且这个内层zip体积更大直接右键解压又碰到路径过长。原因比赛数据通常先把图像分包压缩外层zip只是汇总壳。解决解压脚本做循环每轮扫描当前目录下所有zip文件逐个解压后删除原始zip直到目录下没有zip文件为止。路径过长的问题在Windows上最明显尽量把数据放在磁盘根目录下的短路径里比如D:/ct/train不要放在桌面或带中文的深层目录。5.2 影像预处理与训练环节的坑窗宽窗位、内存与全零标签坑四模型AUC卡在0.5附近怎么改网络都没用。现象训练loss在下降验证集AUC始终在0.5上下浮动和随机猜测没区别。原因CT原始像素值范围太大直接min-max归一化把肺实质里针对病灶最关键的-1000到0区间压缩到几乎不可见模型根本没有可学特征。解决回到数据预处理用肺窗把HU映射到0-255再进模型并在配置里固定窗宽窗位参数保证训练、验证、推理三个阶段的预处理完全一致。这类问题排查顺序应该是“先看预处理后的图像长什么样再谈模型结构”我后来把所有预处理参数都写进config文件每次实验随结果一起存档就是吃过这个亏。坑五显存或内存溢出或者验证集AUC为NaN。现象加载几十个样本后内存飙到几十GB训练到一半被系统杀掉或者验证集AUC打印出nan之后所有权重都被污染。原因一次性把所有CT序列读入list每个序列几百MB几千个样本直接爆内存验证集里某个病种完全没有正样本时roc_auc_score抛异常返回nan被代码吞掉后继续训练。解决自定义Dataset按路径逐样本读取设置num_workers4用磁盘IO换内存如果空间维度太大把512×512重采样到256×256AUC损失通常小于0.01。nan问题在evaluate函数里显式判断每个病种的正样本数无正样本的类跳过同时保证划分时每个fold至少保留一个该类正样本。6. 进阶提分伪标签、无损增强与提交前的结果自检训练稳定之后最有效的三个改动顺序通常是5折集成、伪标签、输入分辨率提升。先说伪标签。用5折模型的OOF预测对测试集推理把每个病种预测概率大于0.9的测试样本当作高置信度伪标签加入训练集。关键约束是只加概率远高于阈值的样本并让伪标签数量控制在总训练样本的20%以内伪标签质量比数量重要得多。加了之后重训一遍AUC通常会再涨0.005到0.015。“无损增强”不是指图像不变而是指不改变病灶语义的序列级操作。比如把CT重采样到统一spacing或者先做整体裁剪再抽帧。不同序列的层厚可能差一倍有的0.5mm有的1mm抽帧前不重采样模型感受野对应的物理尺寸就是漂移的同一个肺结节在不同序列里的形态采样方式完全不同。重采样到1mm各向同性或者按层数抽到固定帧数两种方案里我一般优先用重采样对AUC的收益更稳。提交前的自检必须跑一次脚本检查行数、文件名、预测范围最后确认打包成zip的目录结构里没有套一层多余的外层文件夹。很多翻车都是模型没问题、提交格式错了import zipfile import pandas as pd sub pd.read_csv(submission.csv) # 行数必须和测试集名单一致 assert len(sub) len(open(test_ids.txt).readlines()), 行数不匹配 # 概率范围检查 assert sub.iloc[:, 1:].values.min() 0.0 assert sub.iloc[:, 1:].values.max() 1.0 with zipfile.ZipFile(submission.zip) as zf: print([n for n in zf.namelist()[:3]])逻辑说明行数错误是最常见的提交失败原因多一行少一行都会被判失败。预测概率全部在0到1之间是sigmoid输出的基本要求如果提交之前做过什么奇怪的后处理这行assert能提前拦住。最后打开一次提交zip确认包内只有预期文件没有把整个数据目录都打进去。我的习惯是开始新实验前把上一次的checkpoint、预测结果和完整配置归档每次改参数只改一个变量AUC串起来后再跑全流程验证。希望这篇从zip解压到提交自检的笔记帮到你。本文还有配套的精品资源点击获取