今天将分享3D 腹部 CT 的分层式医学 VQA 基准之腹部器官全分割挑战赛实现版本为了方便大家学习理解整个流程将整个流程步骤进行了整理并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。一、DeepTumorVQA2026介绍近年来医学视觉语言模型VLM已从 2D 图像理解演进到 3D 体数据推理并进一步发展出可调用分割、测量、知识库等外部工具的AI Agent但配套的评测基准却呈现碎片化格局VQA-RAD、PMC-VQA、OmniMedVQA 只覆盖2D识别3D-RAD 补上了 3D 却缺乏工具增强评测MedAgentBench、AgentClinic、MedChain 等 Agent 基准则要么局限于纯文本 EHR 场景要么无法隔离定量证据这一瓶颈。更关键的问题是几乎所有既有基准都将模型能力压缩为一个总体准确率分数掩盖了模型在哪个环节失败、为何失败。例如两个总体准确率相近的模型可能一个是识别薄弱、另一个是推理薄弱但单一分数无法区分这种差异也就无法为模型改进提供可操作的指引。此外高级问题的正确答案可能来自语言先验或捷径而非真实视觉证据缺乏对中间证据链的校验机制。DeepTumorVQA 的设计理念正是借鉴 CLEVR 系列的组合式诊断思想但将其落地于真实临床工作流通过干预式归因intervention-based attribution来定位失败环节。二、DeepTumorVQA2026任务基准遵循肿瘤诊断的临床证据链将3D CT推理分解为复杂度递增的四个层级共 42个临床子类型——Recognition识别9 个子类型原子级视觉实体检测判断肝脏、肾脏、胰腺、结肠病灶、肾囊肿、脾大、PDAC、PNET 等是否存在为二分类题Measurement测量5 个子类型定量属性读取包括器官体积、器官 HU 值、病灶体积、HU 比值、肿瘤负荷百分比为四选一数值题Visual Reasoning视觉推理16 个子类型将识别与测量原语进行空间组合如病灶计数、定位、双侧不对称比较、多器官负荷对比Medical Reasoning医学推理12 个子类型在组合证据之上融入临床知识阈值、分级标准如脂肪肝诊断肝/脾 HU 比、脂肪变性分级、脾大分级、PDAC vs. PNET 鉴别、门脉高压、肾脏占位定性等每个子类型都有确定性程序串起底层原语。这一分层的关键性质是高级问题独立可评分但其真值证据链定义在低级原语之上从而既能区分有根据的推理与依赖捷径的答案也能通过各层级的表现落差定位能力断点。三、DeepTumorVQA2026数据集基准构建于 9262 个腹部 3D CT 体数据之上汇总自 17 个公开数据集、覆盖 88 家医疗中心涵盖多样的患者人群与扫描协议。标注由 23 位放射科医生完成经多轮共识在 3D空间中标注了 11319 个病灶并为每个体数据提供覆盖 43个解剖结构的共识分割掩码QA生成所需的元数据器官体积、HU 值、病灶计数等均从验证过的掩码中确定性计算得出整个476K问题的生成在单核CPU上10分钟内即可完成保证了可复现性。数据集共包含 476K 个问答对其中 428K 用于训练、48K 用于测试训练/测试按患者级划分、零重叠正式评测子集为从测试集平衡采样的 10000 道选择题对应 991 个 CT 体数据在该规模下 95% 置信区间约 ±1.0%保证大于 2 个百分点的差异均具统计显著性。每个子类型基于10个预定义模板生成问题答案由子类型专属的逻辑程序从元数据确定性计算。数据下载https://huggingface.co/datasets/tumor-vqa/DeepTumorVQA_2.0四、技术路线在前面的文章中已经介绍过腹部全器官及病灶分割基于CADS分割模型的全身器官分割。如果大家觉得这个项目还不错希望大家给个Star并Fork可以让更多的人学习。如果有任何问题随时给我留言我会及时回复的。