乳腺癌是女性发病率最高的癌症,对女性健康造成了巨大威胁。钼靶影像是乳腺癌筛查中最常用的影像方法,具有方便、快速的优点;而病理图像是乳腺癌确诊和分级的最可靠方法,具有准确度高的特点。当前乳腺癌影像的诊断主要由医生人工进行,受医生个人经验、工作状态以及主观判断等因素的影响,乳腺癌诊断的效率和精度仍然有待提升。随着人工智能、医学影像处理技术的不断进步,乳腺癌的计算机辅助诊断系统成为了研究的热点。组织病理切片中,有丝分裂细胞数目是乳腺癌诊断的重要指标;钼靶图像中,肿块是乳腺癌的常见表现形式。当前这两个问题的计算机自动诊断方法仍存在诸多不足。为了满足实际应用,需要诊断算法在精度和速度上都达到更高水平。因此,本文针对病理图像有丝分裂细胞检测以及钼靶图像肿块诊断问题,结合深度学习的图像分析理解技术,在以下四个方面展开研究:(1)提出了一种基于深度神经网络的特征描述子。该神经网络特征取自全卷积网络的中间层输出,兼具良好的全局语义信息和局部细节信息;此外,特征保留了图像的空间结构,因此可高效提取区域特征,非常适合于物体检测任务。本文将神经网络特征与传统AdaBoost分类器相结合,并通过特征近似的方法构建了多尺度图像特征金字塔,实现了准确高效的多尺度物体检测。通过在特定数据集上进行网络训练,神经网络特征可以自动学习到该数据集的特征分布。因此,与手工特征相比,所提出的神经网络特征无需背景知识,可应用于不同数据、不同任务,具有很好的普适性。该方法在自然图像和医学图像上均得到了验证。在Caltech行人检测数据集上,该方法获得了当时顶尖性能;在2012 MITOSIS分裂细胞检测数据上,方法同样取得了较高的检测性能,证明神经网络特征可以很好地描述乳腺分裂细胞的特征。(2)提出了一个将候选区域提取网络和候选区域分类网络进行联合优化的分裂细胞检测网络,实现了网络的全局优化以及细胞的端到端的检测。两个子网络之间共享卷积特征,可以学习到最优特征表示。在每个子网络内同时完成分类和回归任务,通过多任务学习,两个任务互相促进,共同对网络参数进行优化。针对细胞尺度和形态的变化,本文设计了合适的网络参考框和图像尺度。通过迁移学习和合理的数据扩增,实现了在小规模数据上的深度网络学习。本文设计了一个结合深度检测网络、分割网络、验证网络的细胞检测系统。基于知识迁移,该系统使用强监督数据学习到的分割模型对弱标注数据的检测模型提供监督,将前者的知识和能力迁移到后者上。在检测网络的结果上,本文训练一个验证网络,为整个系统引入了难例挖掘机制,提升了对易混淆细胞的判别能力,减少了误检。在2012 MITOSIS数据集上,该算法的检测性能(F1值)比之前最好的方法提高近1%,比之前最好的深度学习方法高4.4%。在弱监督数据集2014 MITOSIS上,该算法和最好方法仅有0.5%的检测性能差距。此外,本算法对一幅图像的检测速度为0.4秒-0.7秒,具有很高效率。(3)为了提升弱监督分裂细胞数据集上的检测性能,本文提出一种基于同心圆损失函数的深度分割网络训练方法,并基于分割网络的预测图检测分裂细胞。同心圆损失函数的设计依据细胞及标注的特点,小圆内表示正样本像素;环状区域表示未知类别像素,指不确定的样本,不计算损失值。通过在弱标注数据上挖掘尽可能多的正样本像素,该损失函数可在弱标注数据上训练准确的语义分割模型。分割模型的预测图通过高斯滤波以及自适应二值化分割处理生成候选连通域。本文对候选连通域定义了平均分割得分和面积两个特征,根据特征准确快速地对分裂细胞进行筛选。该算法在多个弱监督分裂细胞检测数据集上均取得了最高性能,在2014MITOSIS/AMIDA13/TUPAC16三种数据集上,该算法的检测性能F1比之前最好的方法分别提高8%、6%、1.7%。在强标注的2012 MITOSIS数据上,方法也达到了一流的检测水平。同心圆损失函数具有较强的泛化能力,其在肿块分割任务上也取得了与强标注结果相近的性能。(4)提出了一种对乳腺钼靶全图进行肿块分割、检测以及图像恶性诊断的方法。当前肿块分割研究普遍在人工挑选的肿块区域内进行,需事先完成肿块定位,工作量大,临床价值不高。本文基于深度分割网络,直接对全图进行恶性肿块分割,无须事先检测肿块区域。通过在网络中更好地利用上下文信息,得到了更准确的肿块分割结果。通过对分割连通域计算恶性程度,实现了肿块检测。结合肿块分割和检测结果,基于多示例学习最大值池化和特征融合的平均池化,本文设计了多种全图肿瘤良恶性表达,从而实现了图像恶性诊断。本文通过最大池化以及平均池化等方式对同一侧乳房的多个视角图像进行融合,显著提升了全图诊断结果。此外,本文通过引入良性肿块类别,提高了模型对肿块良恶性的分辨能力,减少了由良性肿块造成的误检。本算法在标准数据集CBIS-DDSM上同时完成了肿块分割、检测和全图诊断三个任务,并且均取得了优异性能,构成了一套完整的基于肿块的乳腺癌自动诊断系统。