基于自学习的深度偏标记学习算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:ghtianli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,海量数据唾手可得。在数据监督信息准确的情况下,传统机器学习已经在诸多领域取得了丰硕的成果。然而,在很多现实场景下,很多数据的监督信息是不准确的。往往会出现监督信息存在噪声、缺失监督信息或者监督信息存在歧义性等等问题,给这些数据标注完全正确的标签会非常耗时耗力。因此,如何在弱监督信息条件下有效地进行学习建模已成为机器学习领域的热点研究课题。偏标记学习(Partial Label Learning,PLL)是一类新颖的弱监督学习框架,主要解决样本监督信息不明确时的学习建模问题。由于监督信息存在不确定性,目前对于偏标记学习的研究主要集中在传统的机器学习方法上,使用深度学习技术来处理该问题的工作较少。考虑到自学习技术(self-learning)可以丰富数据的监督信息,深度学习技术可以提高了模型的表达能力,本文重点研究了基于自学习的深度偏标记学习算法,主要包括以下内容:1)阐明了偏标记学习的定义及应用场景,解释了与其他弱监督学习范式的区别及联系;概括了偏标记学习的研究现状,介绍了已有的经典偏标记学习方法,并对这些方法进行追根溯源,客观地探讨这些方法的优点和不足之处。2)提出了一种基于时序集成技术的深度偏标记学习算法(Deep Discriminative CNN with Temporal Ensembling,D~2CNN)。该算法以深度卷积神经网络为主干架,增强了模型的表达能力。为了提高模型的鉴别能力,我们在损失函数中设计了一项基于熵的正则化项。通过优化该项,模型的预测值会更加具有区分性。除此之外,基于自学习的思想,我们提出一种时序集成技术。运用该技术可以精炼出模型输出中的有效信息,作为额外的监督信号指导模型的训练,从而使模型训练得更加准确。该算法在各类模糊标记图像数据集上均能取得当前最好分类准确率。3)提出了一种基于网络协作机制的渐进式偏标记学习算法(Network Cooperation with Progressive Disambiguation,NCPD)。在该算法中,我们首先将样本的复杂程度考虑在内,先学习简单样本随后学习困难样本,设计了一种渐近式的学习策略。该策略减少了样本的假正性标签给模型带来的负面影响。更进一步的,为了缓和训练过程中由于监督信息不明确造成的错误累计问题,我们提出了一种网络协作策略。在该策略下,我们同时训练两个网络并使其在训练过程中彼此交互。通过该交互过程,两个网络会减少各自的样本分类错误,因此模型的最终分类准确率会得到提升。我们在多种数据集上进行实验,该算法在这些数据集上均能取得令人满意的效果。
其他文献
水下目标识别技术是开展水下作业的重要保障,在军用和民用领域都发挥着重要作用。根据信息获取方式的不同,水下目标识别技术分为水声探测技术和光视觉探测技术。相较于水声探测,光视觉探测具有探测目标直观、分辨率高、实时性能优良等诸多优点,具有广泛的应用前景。然而,水体及水中杂质对光信号有着强吸收和强散射作用,严重破坏了水下光视觉探测的清晰度,限制了水下目标识别距离。因此如何有效降低水体及水中杂质对光信号强吸
纳米金属因其独特的结构特征和众多优异的力学和物理性能,在过去的三十年间受到了材料科学界和工业界的广泛关注。至此,材料学者们已经发展出一系列的纳米金属材料制备技术,涵盖“自上而下”和“自下而上”的路径,由此得以深入研究纳米金属的新颖物理化学现象和揭示其复杂的结构-性能关系。目前,纳米金属领域的研究仍然面临一些重要问题,其中包括超细晶/纳米晶金属普遍因缺乏加工硬化能力而拉伸塑性不佳;人们对塑性变形引起
糖尿病是一种代谢疾病,患者的身体因无法产生足够的胰岛素从而导致血液中葡萄糖浓度升高,并引起各种并发症。世界卫生组织发布的一份报告表明,近年来糖尿病的发病率一直在迅速增加,正成为一个严重的全球医疗保健问题。在糖尿病的预防和治疗中人体血糖浓度的准确检测起着十分重要的作用。因此,快速、经济、可靠地检测血糖浓度已成为该领域的研究重点。到目前为止,用于葡萄糖浓度检测的葡萄糖传感器经历了四代的发展,第四代无酶
摩擦磨损广泛存在于工业,科技以及日常生活中,造成严重的资源和能源浪费。离子液体凭借优异的物化特性可以在传统润滑剂无法适用的苛刻工况下使用,在润滑剂领域受到广泛的研究。当离子液体在固体表面处形成纳米厚度液膜时,固体近表面处离子液体的性质,即结构和作用,与体相离子液体迥异,此时主要依据连续介质力学和材料体相性质的宏观摩擦学已无法适用,需要从纳米尺度分析微观结构-作用变化及其对纳米摩擦性能的影响。离子液
搅拌摩擦焊属固相连接技术,具有热输入低、焊接变形小、接头质量高等优点,被用于有色金属及异种金属的焊接。铜(Cu)、铝(Al)等属工业常用有色金属,Cu/Al复合结构广泛用于电力、能源等领域。采用搅拌摩擦焊能够获得性能优良的Cu/Al异种金属结构,但目前针对Cu/Al异种金属搅拌摩擦焊的研究往往只针对单一方向,缺乏系统性。因此,本文针对Cu/Al异种金属搅拌摩擦焊展开系统研究,从温度场特征、焊接特性
在过去几十年间,含能材料领域的研究人员合成了许多高能量密度材料(HEDM)。由于对含能材料不仅有能量要求,在生产、运输和应用过程中还有安全稳定性和环境友好性等要求,因此,近年来,以杂环为基本骨架的能较好地满足这些要求的含能化合物引起了人们的广泛关注。本论文选取五元杂环中兼具高能量和高稳定性的1,2,4-噁二唑环和1,2,3-三唑环为基本骨架,设计合成了系列含能化合物及其含能离子盐,并对它们的结构和
在现代社会,人们的物质生活和经济水平不断提高,对物质的追求也逐渐成为人们生活的方向标。但是,物质化的经济追求也封闭了人们通向灵魂的大门,人们在对工具理性的追求中遮蔽着、异化着生命的成长,生命成长迷失方向,导致人们在日益富裕的物质生活中越发感受到生存的困顿——诸如环境污染、资源枯竭、能源短缺、气候恶化、瘟疫发生、人的精神荒芜、社会风险增加等。所以,现代人已被放逐的心灵迫切需要回归到生命存在本身。因为
自动驾驶技术一直是人工智能领域研究的热点之一。传统模块化方法受限于驾驶环境的复杂,难以做出系统性设计;基于监督学习的深度神经网络方法通过学习人类驾驶记录,虽然可以模仿出人类驾驶动作,但受限于驾驶记录的广泛性,泛化能力不强;深度强化学习方法通过智能体与环境交互不断进行学习,在仿真环境下可以探索到各种可能发生的情况而无需数据集的支持。因此本文结合深度强化学习,采用端到端方法对自动驾驶系统进行研究并实现
干涉系统中使用光纤光源能够有效滤除波前高频噪声,获得高质量球面波。常规光纤光源的发散角往往较低,使得基于光纤光源的干涉仪体积庞大,干涉图背景均匀性差。为了提升干涉仪光纤光源的输出光束发散角,本文提出了一种基于大数值孔径少模光纤的干涉仪大发散角光源技术。研究了光源发散角特性与光纤参数的理论关系,使用更大数值孔径小纤芯直径的光纤可有效提高光源输出发散角,提高干涉图背景均匀度。受限于光纤制造工艺,大数值
随着海洋资源的不断开发以及领海问题的日益突出,水下目标探测、水下环境监测和海上军事侦察等问题受到了更加广泛的关注,但由于水中介质对光的吸收和散射作用,造成所获取的强度图像出现对比度低、清晰度低、细节丢失及颜色失真等问题,降低了图像的应用价值。高光谱偏振成像技术将目标的空间信息、光谱信息和偏振信息的探测技术融于一体,能够以纳米级的光谱分辨率获取目标每个空间位置上的偏振信息,为后续的目标检测提供更加丰