论文部分内容阅读
智能诊疗是国家目前的重大战略需求,需要现代医学、数学、生物和信息科学等多学科深度交叉和融合。医学图像精准分析是实现智能诊疗的基础与前提,而精准分析离不开数学的建模、算法和理论分析。医学图像分割是其中的核心技术之一,主要任务是从医学图像中提取出对诊断有帮助的感兴趣区域,如病变、器官及其周边组织等,这些在临床中有广泛的应用价值,譬如器官和病变的量化分析、疾病的诊断和进展评估、术前规划等等,同时也是配准和三维重建的前提。从方法学角度,变分偏微分方程模型和深度学习是两类最主要的分割方法。基于变分模型的方法把图像分割建模为能量泛函极小化问题,可以在能量泛函中显式地刻画目标边界、先验以及整体信息等,其不足是对超参数较为敏感以及难以从数据中自动学习特征。根据能量泛函中主要依赖的图像信息,已有的变分模型可分为基于边界的、基于区域的和混合变分模型。基于深度学习的方法直接学习从图像到分割标注的端到端映射,能自动从数据中学习目标的特征表达,但其缺乏对目标整体信息的刻画、结果可解释性弱和需要大量训练数据。本文针对目前医学图像分割中存在的问题,通过融合这两类方法的优势,提出了一系列更加精确、鲁棒和高效的分割方法和算法。本文贡献包括以下四个方面:1.针对全卷积神经网络无法有效捕捉目标整体信息的不足,我们融合基于边界的变分模型和深度学习,提出一种测地活动轮廓能量引导的水平集函数回归的深度学习网络。通过全卷积神经网络直接回归分割目标的水平集函数,可以把目标像素之间的依赖关系嵌入到学习过程中,使得网络对小的孤立误分割更加敏感。此外,在损失函数中引入测地活动轮廓模型能量泛函,网络在学习过程中会端到端地极小化该能量泛函,进而引导分割结果逼近目标真实边界。在四个MR和CT图像数据集上的大量实验表明,我们所提的方法比六个当前先进的分割方法获得了更加精确的分割边界,同时显著减少了孤立的误分割。2.针对实践中仅有少量标注样本的现状,我们融合基于区域的变分模型和深度学习,提出一种区域自适应活动轮廓模型正则的半监督学习框架并应用于新冠CT病变分割,可以充分利用无标注数据提升分割性能。已有的半监督学习方法主要通过生成伪标签的方式来利用无标注数据,但这些伪标签往往精度不高,会降低后续学习过程中网络的性能。我们引入区域自适应拟合的活动轮廓模型来优化这些伪标签,可以显著提升伪标签的质量。模型数值求解过程中采用了基于示性函数的快速算法,比经典的水平集方法有更高的计算效率,更适合处理大规模图像。分别在我们建立的新冠CT基准数据集和集成国内外860个病例的大规模数据集上的分割实验表明,该方法能获得比不使用无标记数据和已有的不对伪标签优化的半监督学习方法更精确的病变分割结果。此外,我们基于860例早期新冠CT图像建立了首个新冠发病位置图谱,从中发现左右肺下叶背段和后基底段是早期新冠病变的高发区域。3.针对水平集方法求解测地活动轮廓模型计算效率低的问题,我们对测地活动轮廓模型提出了一种基于示性函数的近似表示,并设计了一个基于卷积和阈值运算的快速算法。相比基于水平集函数的测地活动轮廓模型,我们所提的基于示性函数的模型减少了超参数数量,不再需要引入额外的正则项来维持轮廓演化过程中的稳定性。此外,水平集方法每次迭代都需要求解一个偏微分方程,而我们设计的求解算法主要运算仅包含卷积和阈值,计算过程更加简洁和高效。最后我们从理论上分析了算法收敛性,证明了总能量在迭代过程中持续下降,不依赖于自由参数的选择。在合成图像、超声图像、CT图像和MR图像上的大量实验表明,我们的方法能获得与水平集方法相当或者更好的分割结果,而所需要的迭代步数和时间实现了数倍到数十倍的加速。4.针对多模态医学图像分割中如何发掘并利用不同模态互补信息的问题,我们融合混合变分模型和深度学习,提出一个包含边界项、区域项和先验项的混合变分模型并应用于头颈癌PET/CT图像分割,充分利用多模态信息提升了分割精度。我们首先采用多通道的U-Net将两个模态图像同时输入到网络中获得初始分割结果,然后设计了一个基于集成方法的不确定性指标来量化分割结果的质量,进一步提出混合活动轮廓模型对不确定性高的病例进行优化,模型能量泛函中包含基于CT图像的边界项、基于PET图像的区域项和基于多通道U-Net预测的先验项。针对所提模型,我们设计了迭代卷积阈值快速算法,并从理论上给出了算法的收敛性分析。该方法在医学图像分析顶会MICCAI 2020举办的头颈癌PET/CT分割国际挑战赛中获得了第二名(DSC得分0.752),与第一名(DSC得分0.759)无统计显著性差异,显著优于第三名(DSC得分0.735)等其它方法的分割结果。