基于图神经网络的乳腺超声图像小样本分类和生成研究

来源 :四川大学 | 被引量 : 0次 | 上传用户:wllzjw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
乳腺癌是最为常见的癌症之一,早期发现并及时治疗可大幅提高患者存活率。因此,对于乳腺癌的早期诊断十分重要。相较于钼靶、CT等方式,超声检测因其安全性、便捷性、灵活性等优势被广泛应用,针对乳腺超声图像的辅助判别模型也逐渐被重视。不同于海量的人脸、自然图像数据,典型、准确且有效的医学图像金标准数据是极其有限的,同时,罕见疾病数据和新发疫情的早期数据亦是极度缺乏的,此类状况都极大地限制了深度学习等强大模型的能力。并且现有的小样本学习研究未针对实际场景问题进行设计和解决。因此,针对有限数据量的医学图像小样本学习研究十分关键。论文从乳腺超声图像和小样本学习角度出发,结合人类对于此类图像的认知和小样本思维模式,设计了多类特征提取模块获取图像中重要的识别信息,并在度量思想的基础上,引入了图神经网络来泛化和概括样本类别特征,从而指导在少量数据情况下的乳腺超声图像识别和生成工作。本文的主要工作内容如下:1.构建了能够概括类别信息且计算更为高效的图神经网络模型。图神经网络中的消息传播能力能够较好地表述关系信息,但此类研究较少。论文在基于度量学习思想的图神经网络中,顶点和边分别表示样本特征和其间的相似度。优化了多层图神经网络的更新处理,从而突出少量样本中包含的类别特征,并提高图更新模块的独立性。引入Dropout边操作缓解过平滑问题,加入图池化处理降低图计算的时空复杂度,使多层图神经网络的计算和优化更为有效。此图神经网络模型具备从少量数据中学习和概括类别信息的能力,可直接嵌入至分类和生成等相关方法中。2.提出了基于图神经网络的多特征聚合的小样本分类方法。尽管小样本分类研究越发完善,但针对实际场景中的小样本研究较少。基于此问题,本文利用多类特征提取模块从超声图像的边缘细节和肿瘤轮廓角度挖掘重要的识别信息,并结合原图提取图像中丰富的判别特征,以此构建图神经网络。经由多层图神经网络的更新以突出少量样本中包含的类别信息。充分考虑图神经网络中蕴含的信息,利用每层图的顶点和边值,并从样本特征和样本间关系角度获取完整的度量特征,将多维度量特征进行聚合得到最终的相似度矩阵,最后根据其完成肿瘤分类。3.提出了基于生成对抗网络并引入图神经网络和真实数据特征的小样本生成方法。为根据实际的少量样本来生成数据以用于下游任务,本文采用生成器和判别器结构,引入图神经网络学习和提取少量样本中包含的类别信息,以生成相应类别的图像数据。设计了特征引入模块,借助真实图像数据补充相关细节信息。设计了相关损失函数以保证模型进行有效训练,提高生成图像的质量。论文选取了四个乳腺超声图像数据集,分别进行了小样本分类和生成实验,并且通过相关消融实验验证了方法中各个模块的作用。在分类准确率上,本文方法平均领先于第二优的模型约2%;本文方法的生成图像在FID(Fréchet Inception Distance)和IS(Inception Score)值上表现较好,且生成图像引入至分类模型中使准确率相应提高了约0.5%。实验结果表明本文的小样本分类和生成方法取得了较好的效果,验证了本文模型的有效性。论文将小样本学习的成熟理论内容与模型框架引入和应用至实际场景中,充分提取乳腺超声图像中重要的识别信息,基于度量思想并结合小样本学习和图神经网络提出了适合于少量数据的乳腺超声图像分类和生成方法,为实际小样本问题的相关研究提供了思路和途径。
其他文献
人脸图像生成是指利用计算机合成出满足需求的伪造人脸图像,比如黑白照片上色,由模糊人像生成清晰人像等,在各个领域有广泛的应用前景。近年来,随着深度学习技术的迅猛发展,利用深度卷积网络、生成对抗网络等神经网络生成模型生成人脸图像成为了研究热点。利用人像生成技术生成去妆容人像的需求可以分为以下两类:一、去妆算法有面向人眼视觉效果的需求,包括卸妆效果滤镜的娱乐应用、人工参与的身份检查等。二、去妆算法有面向
染色质交互作用是不同染色质间发生的交互现象,影响基因遗传调控等机制。染色质交互作用测量的人工实验成本很高精度很低,且难以在不同细胞类型间迁移使用。主要存在的问题包括:(1)基于组蛋白修饰数据和DNA序列预测染色质交互作用研究鲜少见于文献,目前染色质交互作用预测的相关性结果不高,组蛋白修饰样本缺少对空间位置、数据归一化等特征处理影响的研究,针对不同类型细胞染色质交互作用迁移预测方法不够完善难以推广;
机器阅读理解是自然语言处理领域中的一个重要研究方向,它要求机器通过阅读文本回答问题。以往的机器阅读理解模型大多专注于单文本检索,这些模型只能根据单个段落回答问题,但是在实际问答场景中往往需要通过对多个段落进行推理才能获取问题的答案。为了解决这个问题,多跳推理问答任务被提出。多跳推理问答是机器阅读理解的子任务,该任务旨在跨多个段落进行推理查找给定问题的答案,具备知识推理的能力。目前已有很多模型在多跳
神经形态视觉传感器是一种模拟生物视网膜的仿生传感器,这种新型的视觉设备由光感受器阵列组成,每个光感受器单元异步产生事件,将场景的光强变化编码为无帧的时空事件流。这种传感器有低冗余、低时延、高时间分辨率、高动态范围等优点。由于事件流与传统图像在数据格式上有本质不同,传统图像处理方法无法直接应用与事件流数据。研究构造适合事件流数据的视觉处理方法,是神经形态视觉的一大研究课题。脉冲神经网络以脉冲传递信息
脉冲神经网络受生物大脑结构与计算模式所启发,基于离散稀疏的脉冲信号实现异步计算模式与信息传递,能够被部署在专用神经形态芯片上以极低功耗运行,具有实现高效智能计算的潜力。然而由于专用神经形态硬件芯片在计算以及存储等方面的资源有限,对于需要被部署在其上的脉冲神经网络算法和模型的数值精度、计算模式都有一定要求。为了降低脉冲神经网络算法和模型在硬件上部署的难度,适应硬件芯片的实时应用场景,本文从脉冲神经网
随着物联网技术的快速发展,无线传感器网络被广泛地应用于生活生产。但由于传统无线传感器网络中的传感器节点通常采用电池供电,有限的电池容量使得节点能量问题已成为影响无线传感器网络生存时间和系统性能的主要瓶颈。近年来,无线能量传输技术的发展为解决无线传感器网络中传感器节点的能量问题提供了新思路。利用无线能量传输技术,研究者们提出了无线可充电传感器网络,即在传统无线传感器网络中引入移动充电装置对传感器节点
肺癌是全球当前最常见的疾病之一,而淋巴结的评估在肺癌诊治中占有重要地位。肿大淋巴结的存在被认为与肺癌淋巴结转移密切相关。医生通常依据CT影像中淋巴结情况和/或侵入性分期方法对患者淋巴结转移做出评估,并根据评估结果选择对应的治疗方案。因此,淋巴结的检出和分期影响到患者病情发展、疾病诊断、治疗方案选取和随访等一系列进程。但是由于医疗资源的缺乏和患者数量的庞大,人工阅片使得医生工作强度大,患者等待时间长
结直肠癌是最常见的消化道恶性肿瘤之一。结直肠息肉是结直肠癌的主要癌前病变,对结直肠息肉的早诊早治能够有效的阻断结直肠癌的发病进程,改善结直肠癌患者的生存预后。结直肠镜诊疗技术是临床实践中结直肠息肉诊断的主要手段。但由于存在多种因素不同程度影响了结直肠镜检查的质量和效果,给结直肠息肉甚至早期结直肠癌的检出带来严峻考验。结直肠癌的确诊以结直肠息肉活检细胞的病理检查为依据。结直肠病理的检查是结直肠癌确诊
近年来,随着计算机技术的不断发展,生物电信号的自动识别任务引起了大量学者进行研究。生物电信号自动识别的主要应用场景便是辅助医生进行诊疗,目的是使得计算机可以自主、高效地对生物电信号所反应出的人体疾病、异常做出判断。但在实际应用中,生物电信号的数据标注任务成为了一项大的难题。由于生物电信号本身不易被常人看懂,需要非常有经验的医学专家花费大量的时间进行标注,这极大的浪费了人力资源与时间资源,使数据集的
随着移动智能手机的普及,手持拍照成为日常生活中非常重要的一部分。然而,传统的相机传感器无法捕获自然场景中的高动态范围(High Dynamic Range,HDR),专业的硬件设备也由于其高昂的价格难以普及。目前主流的高动态范围成像(High Dynamic Range Imaging,HDRI)技术主要是通过软件层面实现,即利用算法将低动态范围(Low Dynamic Range,LDR)图像恢