简介一套面向眼底疾病智能诊断的 Python 深度学习源码覆盖中心凹检测定位、视网膜血管分割和糖尿病视网膜病变分级三个典型任务形成从眼底图像预处理、模型训练到结果评估的完整流程面向计算机相关专业学生、高校教师及算法工程师可直接用于毕业设计、课程设计或作为二次开发基座。资源以 zip 压缩包形式发布共 153 个文件约 4.82MB文件以 54 个 Python 脚本为核心搭配 42 个 yaml 与 11 个 yml 配置/环境描述文件、5 个 shell 辅助脚本以及 Dockerfile、模型说明 markdown 文档和教学 notebook便于复现和部署另有示例眼底图像、gif 过程演示帮助检查分割与分级效果。已有 158 人学习/下载项目自带说明文档目录结构清晰可对照演示动图理解各阶段输出Dockerfile 与 shell 脚本帮助快速搭建复现环境既满足毕业设计/课程设计直接使用也便于二次开发与模型调优。1. 智能眼底影像分析三个任务一个包诊断辅助代码怎么落地拿一张眼底彩照先定位中心凹再把血管从视网膜背景里剥出来最后判断糖尿病视网膜病变到了哪一期——这是眼科影像分析里最常被问的三个深度学习任务。我最近拆的这个基于 Python 深度学习实现的眼底影像分析源码包标题说得很直白中心凹检测定位、血管分割、糖尿病视网膜病变分级本质是把三个任务拧进同一个工作流同时配了 Docker 环境和 tutorial.ipynb让项目解压后能沿着 notebook 一步步把推理跑完。适合两类人一是准备医学图像或视觉方向毕设、课设的学生需要一份能跑通、能讲解、能二次开发的完整参考二是想复现眼底任务、拿这套流程做科研预实验的工程同学。它解决的是“从零搭一套可运行的多任务眼底诊断辅助系统”这件事前提是你把它当研究辅助工具而不是临床设备。2. 项目拆包与技术栈先从文件清单读出货2.1 拿到压缩包第一件事把文件清单当说明书读多数人解压后直接双击 tutorial.ipynb很少先翻一遍文件清单这是第一个容易踩坑的地方。我拆包的习惯是先看清单这一份文件列表信息量其实很大Dockerfile 说明作者考虑了跨环境复现.dockerignore 对 Docker 构建很友好setup.cfg 这类文件通常声明项目元数据顺便配置 flake8、pytest 一类工具.gitattributes 和 .gitignore 是 git 工程残留不影响本地运行但能说明这份代码有版本管理痕迹真正的主线是 tutorial.ipynb——教程和运行入口都在这两个 gif 分别是手动演示和训练过程记录适合用来确认模型输出到底长什么样那张 20051020_57761_0100_PP.jpg 是眼底彩图样本测试链路时不用到处找图。文件最直接的用途Dockerfile构建整套 Python 运行环境省去折腾 CUDA 和依赖tutorial.ipynb按顺序教学跑通完整流程21_manual1.gif / 21_training.gif验证模型输出效果和训练状态20051020_57761_0100_PP.jpg单张测试图用于快速推理验证setup.cfg项目元数据与代码检查配置这个清单还告诉我一件事它的主要上手路径是 notebook而不是直接敲 python train.py。那就应该先走推理和可视化再考虑训练或二次开发。即便是本科毕设能先把 notebook 里每一步吃透也比抱着模型结构图空谈强得多。2.2 技术选型眼科影像为什么绕不开 U-Net 和 ResNet在眼底图上做血管分割本质是逐像素二分类背景占比极高血管又细又浅需要编码器-解码器结构保留空间细节所以 U-Net 系网络是这类任务的主流。增强、小目标、类别不平衡这三个词凑在一起基本决定了血管分割不能用普通分类网络硬扛。中心凹定位是点标注任务通常有两种方案一是先检测视盘按解剖先验推中心凹二是用高斯热图回归让网络直接预测一张响应图再取最大响应点作为坐标。这个项目标的是“中心凹检测定位”更可能是第二种路线因为热图回归对出血遮挡的鲁棒性上限更高也好在论文里画可视化。糖尿病视网膜病变分级则是图像级分类任务常见做法是用预训练 ResNet 或 EfficientNet 提全局特征再接一个五类分类头。三个任务输入相同、输出形态不同所以多任务共享编码器是合理选择一份特征、三个输出头训练和推理成本都比单独三个模型低一截。这也是这个源码包“一个项目同时做三件事”的技术底气所在。2.3 环境搭建Docker、conda 和 CUDA 的脾气跑通 project 的条件是先确保路径是纯英文。解压后重命名成 retina_project 之类再考虑环境。项目自带 Dockerfile如果你有 N 卡直接构建镜像能省掉大量图像库版本冲突cd retina_project docker build -t retina-env:latest . # 有 GPU 时启动容器挂载代码目录并映射 notebook 端口 docker run --gpus all -it --rm -p 8888:8888 -v $PWD:/workspace retina-env:latest这里的--gpus all需要宿主机装好 nvidia-container-toolkit没装的话容器里即使有 torch 也检测不到 GPU推理会慢到让人怀疑人生-v $PWD:/workspace是把当前代码目录挂进去改代码不用反复 build 镜像。没装 Docker 也没关系conda 一步到位conda create -n retina python3.9 -y conda activate retina pip install torch torchvision opencv-python numpy matplotlib scikit-image jupyter notebook一个常见问题是 Windows 下 VS Code 右下角解释器容易选错选了 conda base 而不是 retina后面所有“环境对了却导不进来”的玄学问题都从这里来。我一般建完环境先conda activate retina再手动切一次 VS Code 解释器能少折腾半小时。提示Docker 和 conda 二选一即可不要在同一个项目里交叉使用两套 Python路径和环境变量会互相干扰。3. 把中心凹检测定位跑通热图回归与坐标换算3.1 中心凹检测先理解解剖先验再谈网络中心凹是黄斑中央视觉最锐利的点在眼底彩图上和视盘位置相对固定正常眼中心凹大致位于视盘颞侧偏下距离约为视盘直径的 22.5 倍。很多传统方法先检测视盘再偏移过去但碰到高度近视、出血遮挡就失效所以深度学习项目偏好热图回归把标注点渲染成高斯分布的亮斑网络输出一张卷积特征图取最大响应值。如果 tutorial.ipynb 里是回归方案通常在训练阶段把中心凹点坐标转成同分辨率热图坐标附近用高斯核填充背景为 0。推理阶段直接取预测热图的最大值所在位置不需要额外设计分类头实现很轻。3.2 动手跑预处理、模型加载和坐标反算我先给一段最常见的前处理代码拿到项目里改路径就能用import cv2 import numpy as np def read_and_preprocess(img_path, target_size512): img_bgr cv2.imread(img_path) if img_bgr is None: raise FileNotFoundError(f图片读不出来优先检查路径{img_path}) img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) # OpenCV 默认 BGR不转会偏色 resized cv2.resize(img_rgb, (target_size, target_size), interpolationcv2.INTER_AREA) x resized.astype(np.float32) / 255.0 x (x - x.mean()) / (x.std() 1e-6) return img_rgb, x[np.newaxis, ...]这段代码有三个关键点cv2.imread读进来的是 BGR直接可视化会偏蓝/255后做零均值标准化是为了匹配大多数 CNN 预训练权重的输入分布最后np.newaxis补出 batch 维度模型推理需要[1, 3, H, W]这个形状。推理时再写一个函数处理坐标还原def detect_fovea(model, input_tensor, original_shape, threshold0.5): model.eval() with torch.no_grad(): hm torch.sigmoid(model(input_tensor)).squeeze().cpu().numpy() y, x np.unravel_index(np.argmax(hm), hm.shape) if hm.max() threshold: print(热图置信度太低结果可能不可信) scale_y original_shape[0] / hm.shape[0] scale_x original_shape[1] / hm.shape[1] return (int(x * scale_x), int(y * scale_y)), hmargmax就是求预测热图里的最高响应点unravel_index把一维下标还原成二维坐标。hm.max()如果低于 0.5说明模型认为图中没有明显中心凹大概率被病灶遮挡这时候强行输出坐标没有意义不如在报告里留一句“置信度低”的提示。坐标还原时是按比例缩放千万别直接拿 512×512 的坐标画到 2000×2000 原图上。3.3 边界情况出血、裁剪和坐标对准中心凹定位最容易翻车的场景是糖尿病视网膜病变患者的眼底图里有大片出血和高亮渗出。如果出血或渗出正好在黄斑区网络预测的热图峰值可能偏向异常亮斑导致中心凹坐标跳到病灶上。我验证时一般强制跑两步先用上面的预处理读图再在热图高响应区域做一个简单约束把候选点限制在视盘颞侧搜索范围如果项目已经训练好了视盘定位头两者互相对齐能挡掉大部分误检。另外如果 notebook 中预处理做过裁剪而不是只 resize反算坐标时必须按同一套裁剪参数做逆变换否则偏差会被放大好多倍。这一步看着简单却是很多毕设演示图上“点偏了”的真正原因。4. 血管分割与糖尿病视网膜病变分级把两条支路一起打通4.1 血管分割Dice 加 BCE 是标配损失眼底血管分割的输出是像素级掩膜但血管区域在整张图里占比很低通常只有百分之几。用纯二值交叉熵训练模型很容易学成“全预测背景”损失还显得挺低。更稳的做法是 Dice 损失和 BCE 损失混合Dice 聚焦前景和细血管的重叠度BCE 保留每个像素梯度的稳定性import torch import torch.nn.functional as F def retina_vessel_loss(logits, mask, alpha0.5): bce F.binary_cross_entropy_with_logits(logits, mask) probs torch.sigmoid(logits) inter (probs * mask).sum() dice 1 - (2.0 * inter 1.0) / (probs.sum() mask.sum() 1.0) return alpha * dice (1 - alpha) * bcealpha0.5 是比较均衡的起点如果分割的血管特别细我会把 alpha 提到 0.7让损失更偏向 Dice。平滑项设成 1.0 是为了避免正负样本都为 0 时分母除零。这个项目源码里如果写了损失函数大概率是类似结构跑训练时看不清收敛曲线先从 alpha 下手调性价比最高。4.2 DR 分级五级标签、类别权重与 Kappa 指标糖尿病视网膜病变分级通常按国际五级标准分级含义典型眼底特征0无明显 DR未见异常1轻度非增殖期少量微动脉瘤2中度非增殖期出血和渗出增多3重度非增殖期多个象限明显出血、静脉串珠4增殖期新生血管形成或玻璃体出血分类头的代码逻辑一般是这样dr_logits dr_head(global_features) # [B, 5] pred_label torch.softmax(dr_logits, dim1).argmax(dim-1).item()这类分类最大的坑是类别不均衡公开数据里 0 级和 2 级占比很高4 级很少。如果直接用普通 CrossEntropy模型会倾向把所有样本预测成占比高的类别。常见修正方案是给每个类算权重class_weight total_num / (num_classes * class_count_i)把 weight 传给torch.nn.CrossEntropyLoss(weighttorch.tensor(class_weight, dtypetorch.float))再正常反向传播。评估时也别只看准确率我一般同时报二次加权 Kappa它会把“把 0 级判成 1 级”和“把 0 级判成 4 级”区分开后者显然更不能接受。4.3 多任务共享编码器一份特征、三个输出头这个源码包把中心凹、血管、DR 分级放一起工程上最经济的结构就是共享 encoderwith torch.no_grad(): features encoder(image) # 共享特征 hm fovea_head(features) # 中心凹热图 vessel vessel_head(features) # 血管分割 mask dr dr_head(F.adaptive_avg_pool2d(features, 1)) # 分类结果注意几个区别血管 head 需要把特征图上采样到输入尺寸通常由多层反卷积完成中心凹 head 输出的是原图 1/2 或 1/4 大小的热图即可DR 分类 head 用自适应池化去掉空间位置只保留全局语义。共享 encoder 的优点是推理快、代码好维护缺点是分割和分类互相影响训练时通常要给不同 head 配不同学习率或损失权重。这一点在论文里可以写成“多任务相辅相成”在工程调参时则要意识到它不是万能药。5. 避坑与常见问题路径、CUDA、全黑输出和黑匣子权重5.1 中文路径导致读取失败现象解压到“毕设-眼底分析-最终版”这样的目录notebook 跑到一半报UnicodeDecodeError或者cv2.imread返回 None。原因Windows 下中文路径经过编码后和源码里硬编码的相对路径对不上OpenCV 读中文路径本来就不够稳再加上 Jupyter notebook 的编码环境问题会被放大。解决解压后立刻重命名为纯英文路径比如D:\retina_project。不要只在代码里改一处路径检查所有用os.path.join拼接的目录变量统一成Path对象管理。这个处理对任何深度学习项目都适用属于零成本避坑。5.2 CUDA 内存不足导致内核中断现象跑第一张图正常第二张图时 Jupyter 内核直接卡死或者终端报CUDA out of memory。原因眼底彩图原图经常超过 2000×2000若预处理没有统一缩放到模型输入尺寸整批图像直接进 GPU显存瞬间占满部分项目代码里还会同时驻留多个模型对象。解决循环推理时强制batch_size1每张图跑完释放中间张量logits model(input_tensor) # 处理后释放 del logits, input_tensor torch.cuda.empty_cache()如果还是爆显存用nvidia-smi -l 1盯一下 GPU 占用确认是不是别的进程占了显存Docker 用户则先确认启动命令里有--gpus all。5.3 血管掩膜输出全黑或全白现象血管分割结果存成图片后全黑偶尔全白中心凹热图也没有明显峰值。原因最常见的写法错误是直接把 logits 当成 01 概率保存。logits 里很多负值转 uint8 后直接变成 0输出自然全黑全白多半是通道顺序颠倒或者预测的是背景类。解决推理时先过 sigmoid再二值化最后转 uint8prob torch.sigmoid(logits).squeeze().cpu().numpy() mask (prob 0.5).astype(np.uint8) * 255 cv2.imwrite(vessel_mask.png, mask)存图后确认一下前景和背景有没有反如果反了用cv2.bitwise_not翻过来即可。建议用包里的样本 JPG 先跑一次mask 里能看出细血管再换自己的数据。5.4 Jupyter 内核和实际环境不是同一个现象命令行 pip 装完包notebook 里 import 还是报 ModuleNotFoundError重启内核也没用。原因notebook 走的 Python 内核可能还是 conda base而 pip 装进了 retina 环境VS Code 下还会出现右下角解释器选错的情况。解决把当前项目环境注册成 notebook 专属内核conda activate retina python -m ipykernel install --user --name retina --display-name retina之后在 notebook 的 Kernel 菜单里手动选择 retina 内核。装包也统一在激活环境的终端里进行别开第二个终端又装到 base。5.5 模型权重加载报 mismatch现象加载.pth或.h5时提示Missing key(s)或Unexpected key(s): module.features...。原因训练时用了nn.DataParallel包装权重键名前多了module.而现在代码定义的模型是单卡结构键对不上反过来也会出现少前缀的问题。解决加载时过滤键名raw_state torch.load(weights.pth, map_locationcpu) new_state {k.removeprefix(module.): v for k, v in raw_state.items()} model.load_state_dict(new_state, strictTrue)用map_locationcpu是为了避免无 GPU 机器加载时直接报设备错误strictTrue 如果还报 missing就要检查网络 head 的类别数或通道数和权重训练时是否一致。6. 进阶与验证把项目改造成综合评估工作流6.1 把三个任务的输出合成一张诊断报告图跑通单个任务之后最值得做的是把三个输出画在同一个画布上对照fig, axes plt.subplots(1, 4, figsize(24, 6)) axes[0].imshow(rgb) axes[0].scatter([fx], [fy], cred, s30) axes[1].imshow(vessel_mask, cmapgray) axes[2].imshow(hm, cmapjet) axes[3].text(0.5, 0.5, fDR Stage {dr_label}, fontsize24, hacenter)画完先看红点是否落在黄斑区域、血管 mask 是否对得上原图血管走向。如果中心凹点和血管图明显错位说明坐标反算少除了一组尺度如果 DR 文本和眼底学生判断明显矛盾先查类别索引映射有没有错位。这一步能挡掉大部分“看起来跑通了实际全错”的情况。6.2 用 TTA 和五折交叉验证评估真实水平毕设答辩最怕被问“这个效果是不是过拟合刷出来的”。常见做法是测试时增强 TTA同一张图做水平翻转再推理一次把热图或分类概率平均。中心凹检测只需要多写几行flipped torch.flip(input_tensor, dims[3]) hm_orig torch.sigmoid(model(input_tensor)) hm_flip torch.flip(torch.sigmoid(model(flipped)), dims[3]) hm_final (hm_orig hm_flip) / 2.0参数说明dims[3]对 [B, C, H, W] 的宽轴翻转翻转后的热图必须翻回来才能和原图坐标对齐。数据评估建议按五折交叉验证分组同一病人的多张眼底图必须放进同一折防止数据泄漏。6.3 面向毕设和课题的扩展方向如果课设需要一个创新点不需要另起炉灶直接在现有血管分割 head 旁边再加一个 head做渗出或出血检测就行。输入预处理、共享 encoder、后处理流程完全复用只改损失函数里的类别数和输出通道数很快就能把系统从“血管分割DR 分级”升级成“多病种综合评估”。这也是我推荐这个源码包的原因它的结构留有明显二次开发空间。这次拆项目给我最深的体会是深度学习眼底项目难的不是模型结构而是跑通后坐标是否对齐、mask 有没有被类型截断、权重能不能对上键名。从那以后我每次拿到新的眼底影像源码都强制先用样本图把四个输出拉在同一个画布上对照一遍确认没毛病再深入看网络细节。这个习惯帮我挡掉了不少翻车希望也能帮到你。本文还有配套的精品资源点击获取