基于类别模糊数据构造和注意力正则化的半监督图像分类研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:tom0101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于数据量的增长、运算能力的提升和训练算法的创新,深度神经网络已经成功地应用于许多实际场景中。然而,这样的成功在很大程度上依赖于大量昂贵的有标签数据。为此,研究人员提出了同时利用少量的有标签数据和大量的无标签数据来促进深度神经网络学习的半监督学习方法,并且在众多任务中都取得了出色的效果。针对有标签数据数量有限的问题,本文提出了两种半监督学习方法来缓解深度神经网络对有标签数据集的依赖。针对现有半监督学习方法通常忽略了所构建的训练目标存在不可靠性的问题,本文第一个工作提出了基于深度协同自适应半监督图像分类模型(Deep Co-Adaptation model,DCo A)。该模型由多个组成网络通过调整其对无标签数据的预测结果来进行协同学习。为实现该思想,将附加的自适应模块并入每个组成网络中,以学习从自身的预测到配对网络的预测之间的转换概率矩阵。因此,组成网络之间可以交换训练经验,而不会对训练目标的不可靠性过于敏感。为了进一步加强协同学习,鼓励每个网络产生与集成预测结果一致的预测,同时抵抗针对其自身及其配对网络的对抗性干扰,使得组成网络之间能够相互增强。针对分类模型在监督信息有限的情况下总是倾向于学习到最有区别度的特征以至于可能专注于不重要区域的问题,本文第二个工作提出了一种基于类别模糊数据构造和注意力正则化的半监督分类模型(Class-Ambiguous Data construction and Attention Regularization,CADAR)。该模型包括两个模块:(1)随机区域插值模块用于构造复杂且有效的类别模糊数据,以便可以在决策边界附近规范模型的行为。并且在训练阶段通过聚合分类网络的参数来对无标签数据产生稳定且准确的训练目标,随机区域插值模块可以应用于无标签数据和有标签数据。(2)注意力正则化模块用于约束原始数据和合成数据产生一致性的注意力激活图,引导模型发现与对象相关的重要空间区域并从中获取可靠的信息。在多个半监督学习基准数据集上进行了广泛的实验,验证了本文所提出的模型的高效性。
其他文献
江西省是中国的东南省份,吴头楚尾的地理区位使得江西省有着优良的历史文化传统,在新中国的发展历程中,江西省的发展较为滞后,经济发展和城市化建设都不如周边的湖南、湖北、广东等省份,但这也为江西的民居建筑保留提供了非常有利的条件,江西村落中的民居建筑群保留条件较好,是研究民居建筑的优秀土壤。吉泰地区位于江西的中部腹地,是赣文化的核心区,赣文化的本质是基于商周至宋明各朝代本土文化和移民文化的叠加,吉泰地区
随着汽车工业的迅猛发展,废旧轮胎所引起的环境污染和资源浪费等问题亟待解决,如何环保高效地回收废旧轮胎成为人们研究的热点。胶粉的生产过程基本不产生二次污染,可使废旧轮胎的循环利用率接近100%,已成为废旧轮胎再利用的主导方向。然而胶粉具有致密的三维网络结构以及惰性的表面,使其实际应用受到限制。本文利用氮氧自由基对胶粉进行改性,通过直接反应成型得到可重复加工的全胶粉弹性体材料,以及在丁苯橡胶中大量填充
ZnO压敏电阻由于其优异的非线性I-V特性和高能量吸收能力,被广泛用于电气和电子电路中的过电压保护。随着电子产品向着为微型化、集成化的方向发展,多层片式氧化锌压敏电阻器(Multilayer Varistor)受到越来越多的关注。本文对低温烧结氧化锌压敏陶瓷材料展开了研究,以期用于制造低成本、高可靠、纯银内电极多层氧化锌压敏电阻器。氧化硼对氧化锌压敏陶瓷有很好的促进烧结作用,由于氧化硼、硼酸或硼酸
绿道是我国具有特色的环保建设项目之一,它能集约利用土地,整合生态、历史、游憩等资源,提升宜居质量。但因高密度老城区的复杂性,绿道实践发展受阻。本文选取广州市YX区为研究对象,针对绿道项目实施过程中存在的问题,集中探讨前期规划阶段中规划建设方案与建设实施阶段中工程管理模式的问题。前期规划阶段中规划建设方案的问题,根据不同尺度进行分析可分为绿道网络层面的绿道选线布局问题与单项绿道层面的使用者满意度问题
多层陶瓷电容器(Multilayer Ceramic Capacitors,简称MLCC)是一种重要的电子元件,广泛应用于各类电器电路中。随着多层陶瓷电容器应用领域的进一步拓展,对其性能也提出了更高的要求。如在国防军工、航空航天和汽车发动机等恶劣条件下使用的电容器,需要更高的使用温度上限和更好的温度稳定性。高端MLCC器件正朝着小型化、高容量化及高温稳定化的方向发展。BaTiO3陶瓷具有较好的介电
肌肉保水性反映的是肌肉组织保持水分的能力,它直接或间接影响肉的嫩度、色泽、多汁性等感官特性,可作为评定禽肉肉质高低的重要指标,此外,它对肉制品加工过程中的产量、结构和色泽也有较大的影响,直接决定肉品质量和肉品制造加工者的经济效益。鸡胸肉作为消费量第一的家禽肉制品,因蛋白质含量较高、脂肪含量较低的优良特性被认为在健康方面优于红肉,受到越来越多消费者的喜爱与认可。然而,常常由于加工过程的过度烹饪,在保
电主轴是数控机床的关键部件,当电主轴出现故障时,将影响机床整体运行的安全性和可靠性。因此,开展对电主轴故障诊断的研究具有重要意义。本文对电主轴进行了分析研究,对采集到的数控滚齿机电主轴振动信号,分别采用传统的故障诊断方法和基于深度学习的故障诊断方法进行研究。主要研究内容如下:(1)搭建电主轴故障诊断实验平台,在此基础上进行电主轴故障诊断实验,获得三种类型的电主轴振动信号,并对振动信号作了初步的分析
无人船是未来我国捍卫领海主权,保卫海洋安全的重要工具,同时在水域监测、商用养殖、科学考察、水上设备监测等领域也起着越来越重要的作用。视觉感知具有快捷、直观、信息量丰富等优点,已逐渐成为无人船一种不可取代的感知手段。其不管是在无人船的避碰、海上结构物的运维,还是目标物的巡检等方面都发挥着不可替代的作用。目前,无人船的视觉感知技术研究主要集中在水上障碍物识别上,而对于水下障碍物,特别是同时具有水上和水
随着我国经济社会的快速发展,电力行业的规模也不断在扩大,电力企业传统的管理模式造成大量浪费,增大了投入成本,为了控制成本,为了能在如今激烈的市场竞争中保持活力,需要引入新的管理理念与模式。全生命周期管理理念起源于管理专业中全生命周期成本管理,后者通过建立全生命周期成本估算模型,综合设备全生命周期各个阶段包括购置、运维、报废等等产生的成本,从全局角度出发从长远经济效益考虑使得该成本模型最低从而降本增
神经影像技术能够以非侵入的方式对大脑结构和功能进行成像,通过分析该类影像数据可获得大脑结构形态与功能连接等信息。如今神经影像技术正不断发展,帮助神经信息学研究者通过多种角度分析并探寻更深层次的神经精神疾病病理机制,实现神经精神疾病的辅助诊断。尽管如此,神经影像数据模式分析研究的成果产出和转化仍然受制于一系列亟待解决的矛盾:(1)有限的数据和计算资源与数据驱动机器学习的支撑需求;(2)有限的时间精力