PI-CAI2022——多模态MRI前列腺癌分割挑战赛

今天将分享多模态MRI前列腺癌分割完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

一、PI-CAI2022介绍

诊断前列腺癌很困难（即使是放射科医生）。前列腺癌 (PCa)是男性最常见的癌症之一。全世界每年有 100 万男性接受诊断，300,000 人死于 PCa (csPCa) 。多参数磁共振成像 (mpMRI) 在前列腺癌的早期诊断中发挥着越来越重要的作用，并且在活检之前被欧洲泌尿外科协会 (EAU) 推荐(Mottet et al., 2021 )。然而，目前阅读前列腺 mpMRI 的指南（即PI-RADS v2.1 ) 遵循半定量评估，要求大量专业知识才能正确使用。此外，前列腺癌在 MRI 中可以表现出广泛的临床行为和高度异质的形态。因此，评估容易受到读者间一致性低（<50%）、次优解释和过度诊断的影响（Rosenkrantz等人，2016年，Westphalen等人，2020年）。与 mpMRI协议不同，双参数 MRI (bpMRI)不包括动态对比增强成像——从而降低了成本，消除了使用对比剂带来的任何不利影响的风险，并缩短了检查时间（Turkbey等人，2019年）。因此，尽管提供的诊断信息比 mpMRI 少（deRooij等人，2020 年），但bpMRI更适合大批量、基于人群的筛查（Eklund 等人，2021 年。

由于前列腺癌形态异质性，区分csPCa是有挑战的。(ab) T2 加权成像 (T2W)、(cd)高 b 值扩散加权成像 (DWI) 和(ef)表观扩散系数 (ADC) 图构成了两个不同患者的前列腺 bpMRI 扫描，其中黄色等高线表示 csPCa 病变。其中一名患者的 csPCa 从两端开始发育（上排），而另一名患者则受到单个、相对集中的 csPCa 病变的折磨，周围环绕着感知上相似的良性前列腺增生 (BPH) 结节（下排）。概率密度函数（右）揭示了所有三个 MRI 通道中恶性和非恶性前列腺组织强度分布之间的很大重叠。

二、PI-CAI2022任务

PI-CAI主要包括两个子研究：

AI 研究（大挑战）：向所有参与团队和整个研究社区公开提供1500 bpMRI 检查（包括其临床变量：患者年龄、 PSA 水平、带注释的多中心、多供应商数据集。团队可以使用此数据集开发 AI 模型，并提交他们训练有素的算法（在 Docker 容器中）进行评估。在开放开发阶段结束时，所有算法都会根据它们在隐藏的 1000 次不可见扫描的测试队列中的表现进行排名。在封闭测试阶段，组织者对排名靠前的人进行 5 种 AI 算法使用 5000-6500 bpMRI 扫描的更大数据集（包括来自私人数据集的额外训练扫描）。最后，在隐藏测试队列（通过严格的统计分析）上重新评估它们的性能，以确定 bpMRI 中 csPCa 自动 3D 检测和诊断的前 3 种 AI 算法（即大挑战的获胜者）。

读者研究：50+国际前列腺放射科医生使用来自隐藏测试队列400对于每个病例，放射科医生在两轮中完成他们的评估。起初，仅使用临床变量 + bpMRI 序列，可以与受过相同训练的 AI 进行头对头比较。然后，使用临床变量 + 完整的 mpMRI 序列，可以在 AI 和当前临床实践之间进行比较 ( PI-RADS v2.1 )。总体而言，本研究的目的是评估普通放射科医师在 MRI 中检测和诊断 csPCa 的表现。

最后，PI-CAI旨在将在重大挑战中开发的最先进的 AI 算法与参与读者研究的前列腺放射科医师进行基准测试，以评估现代前列腺 AI 解决方案在 csPCa 检测和诊断方面的临床可行性在核磁共振成像中。

三、PI-CAI2022数据集

PI-CAI 挑战的完整数据集包括一组 9000-11,000 次前列腺 MRI 检查，这些检查来自三个荷兰中心 { Radboud University Medical Center (RUMC)、Ziekenhuis Groep Twente (ZGT)、University Medical Center Groningen (UMCG) }和一个挪威中心{挪威科技大学 (NTNU) }。所有四个中心的机构审查委员会都放弃了对患者知情同意的要求，以便 在这项挑战中对所有匿名临床数据进行回顾性科学使用。所有患者检查均针对疑似携带 csPCa 的男性（例如，由于PSA水平升高、 DRE发现异常）。只有没有治疗史或既往ISUP ≥ 2 发现的患者才被纳入。所有患者检查包括诊断报告中报告的基本临床变量{患者年龄、前列腺体积、PSA 水平、PSA 密度}、基本采集变量{扫描仪制造商、扫描仪型号名称、扩散 b 值}和bpMRI扫描，使用获取基于Siemens Healthineers或Philips Medical Systems的带有表面线圈的扫描仪。成像由以下序列组成：轴向、矢状和冠状T2 加权成像 (T2W)；轴向高 b 值 (≥ 1000 s/ mm² )弥散加权成像 (DWI)；轴向表观扩散系数图 (ADC)。

成像：每个患者病例至少有三个成像序列：轴向 T2W、轴向 DWI 和轴向 ADC 扫描（即以_t2w.mha、_hbv.mha、结尾的文件_adc.mha）。此外，它们还可以具有这些可选成像序列中的任何一个、两者都有或没有：矢状和冠状 T2W 扫描（即以_sag.mha,结尾_cor.mha 的文件）。没有患者病例将包括动态对比增强 (DCE) 序列。

临床/采集变量：PSA ⁰、前列腺体积⁰、PSA 密度⁰、患者年龄^、MRI 扫描仪制造商^、MRI 扫描仪型号名称^和高 b 值 DWI/HBV 扫描的扩散 b 值^，将可用每个案例的每个 AI 算法。⁰ 可用，如果在临床常规期间报告值；¹ 如果在临床常规期间不存在，则由放射科专家回顾性计算；² 如果在临床常规期间不存在，则根据 PSA 和前列腺体积计算；^始终可用。

公开训练和开发数据集（1500 个案例）：成像数据已通过以下方式发布：zenodo.org/record/6624726，注释已通过以下方式发布和维护：github.com/DIAGNijmegen/picai_labels

私人训练数据集（7500-9500 例）：由主办方独家使用，在封闭测试阶段，以大规模数据重新训练排名靠前的 5 种 AI 算法。请注意，在此再训练期间也将使用公开训练和发展数据集。

隐藏验证和调整（100 例）：用于在开放开发阶段启用模型选择和调整的实时公开排行榜。

隐藏测试队列（1000 例）：用于对 AI、放射科医师进行基准测试，并在封闭测试阶段。

公开训练和发展数据集和私人训练数据集中每个案例的成像序列（T2W、DWI、ADC）未共同注册。尽管绝大多数都相当一致，但也有几个案例存在重大偏差。我们希望所有参与者在他们认为最合适的情况下（如果认为有必要）在他们的算法设计中处理这个问题，以激励自动配准方法或 AI 模型的开发，这些方法对未对齐序列的训练是不变的。我们认为这是使用数千个案例开发 AI 模型的唯一方法，因为手动注册在规模上过于劳动密集。但是，我们可以确认，隐藏验证和调整队列和隐藏测试队列中每个案例的所有序列都将由组织者共同注册（假设我们只想评估诊断性能，从而尽量减少外在因素）。认为必要时，使用ITK-SNAP v3.80（用于 3D 平移和旋转的六个自由度的刚性变换）执行手动配准。

人类专家衍生的注释

在 RUMC、UMCG 或 NTNU 的 3 名放射科专家之一的监督下，由 10 名训练有素的调查员中的一名或 1 名放射科住院医师描述体素级 csPCa 病变注释和/或记录患者级 csPCa 结果。每个注释都是使用所有可用的 MRI 扫描、诊断报告（放射学、病理学）和整体前列腺切除术样本（如果适用）得出的。使用ITK-SNAP v3.80创建病变轮廓。

在公开训练和发展数据集中共享的 1500 个病例中，1075 个病例具有良性组织或惰性 PCa（即它们的标签应该为空或全为 0），425 个病例具有 csPCa（即它们的标签应该具有值为 2 的病变斑点, 3, 4 或 5 )。在这 425 个阳性案例中，只有 220 个案例带有由人类专家得出的注释。其余 205 例阳性病例尚未注释。换句话说，picai_labels/csPCa_lesion_delineations/human_expert中提供的注释中只有 17% (220/1295)应该有 csPCa 病变注释，而其余 83% (1075/1295) 的注释应该是空的。这是有意的，因为在私人训练数据集的规模上注释所有病变实际上是不可行的。因此，我们鼓励参与者开发可以解释或弄清楚如何在公共培训和发展数据集中使用非注释案例的方法。人类专家衍生的 csPCa 注释已通过picai_labels 存储库以两种格式提供：

原始注释——每个病例的所有轴向 bpMRI 序列（T2W、DWI、ADC）都用于定位和注释 csPCa 病变。然而，根据注释者/中心及其偏好，一些注释是在 T2W 图像的空间分辨率和方向上创建的，而其他注释是在 DWI/ADC 图像的分辨率和方向上创建的。无论哪种方式，对于此文件夹中的每个注释，所有病变描述（如果有）将始终清楚地映射到 DWI/ADC 成像中的观察结果。

重采样注释——对于给定的案例，我们希望所有提交的 AI 模型都能预测与 T2W 图像具有相同空间维度和分辨率的 csPCa 检测图。因此，我们还转换并提供了与此处对应的 T2W 图像相同尺寸和空间分辨率的所有原始注释。

人工智能衍生的注释

在 RUMC，我们使用半监督学习策略（Bosma et al., 2022）处理无注释的训练案例。我们已经使用这种方法为公共训练和开发数据集中的所有 1500 个病例发布了 AI 派生的 csPCa 病变注释。参与者可以选择将这些 AI 派生的注释用于非注释训练案例，也可以使用他们自己的方法。以类似的方式（见算法），我们还发布了AI预测结果中所有 1500 个病例的 AI 衍生的前列腺全腺分割）。

四、技术路线

4.1、方案1——在T2W上进行前列腺癌分割

1、提供的标注有采样到T2W分辨率的Mask，所以直接在T2W上进行病灶分割。

2、提取采样的mask和T2W图像，提取T2W的ROI区域，去除背景，采用固定阈值，形态学操作和最大连通域得到ROI区域。

3、有效标注数据只有220例，统计ROI图像平均大小是（589x478x24），将图像缩放到固定大小（320x320x32），将数据划分为训练集（200）和验证集（20），将训练数据扩充5倍，并对图像采用均值为0，方差为1的方式进行归一化处理。

4、搭建VNet3d网络，使用AdamW优化器，学习率是0.001，batchsize是1，epoch是100，损失函数采用二分类的dice+ce。

5、训练结果和验证结果

6、验证集分割结果，左图是金标准，右图是预测结果

4.2、方案2——在T2W、ADC/DWI上分别进行前列腺病灶分割

T2W病灶分割

1、提供的原始标注既有是T2W分辨率的，也有ADC/DWI分辨率的，所以只采用T2W序列的标签进行训练，分析得到有111例标注数据。

2、提取原始mask和T2W图像，提取T2W的ROI区域，去除背景，采用固定阈值，形态学操作和最大连通域得到ROI区域。

3、有效标注数据只有111例，统计ROI图像平均大小是（376x376x20），将图像缩放到固定大小（320x320x32），将数据划分为训练集（101）和验证集（10），将训练数据扩充5倍，并对图像采用均值为0，方差为1的方式进行归一化处理。

4、搭建VNet3d网络，使用AdamW优化器，学习率是0.001，batchsize是1，epoch是100，损失函数采用二分类的dice+ce。

5、训练结果和验证结果

7、验证集分割结果，左图是金标准，右图是预测结果

ADC/DWI病灶分割

1、提供的原始标注既有是T2W分辨率的，也有ADC/DWI分辨率的，所以采用ADC/DWI序列的标签进行训练，分析得到有109例标注数据。

2、提取原始mask和ADC/DWI图像，提取ADC的ROI区域，去除背景，采用固定阈值，形态学操作和最大连通域得到ROI区域。

3、有效标注数据只有109例，统计ROI图像平均大小是（234x234x26），将图像缩放到固定大小（256x256x32），将数据划分为训练集（99）和验证集（10），将训练数据扩充5倍，并对图像采用均值为0，方差为1的方式进行归一化处理。

4、搭建VNet3d网络，使用AdamW优化器，学习率是0.001，batchsize是1，epoch是100，损失函数采用二分类的dice+ce。

5、训练结果和验证结果

6、验证集分割结果，左图是金标准，右图是预测结果

通过上述两组实验对比可以看到，在实验一中直接在T2W下的分割结果没有后面分别在T2W和ADC/DWI下的预测结果好，可能原因是前列腺癌在不同模态下显著性是不同的。

为了方便大家更高效地学习，我将代码进行了整理并更新到github上，点击原文链接即可访问。由于之前都是使用tensorflow1.14的进行代码实验开发的，为了方便pytorch的朋友们也可以复现实验结果，我将tensorflow版本的代码翻译转换成pytorch版本的。

如果大家觉得这个项目还不错，希望大家给个Star并Fork，可以让更多的人学习。如果有任何问题，随时给我留言我会及时回复的。