基于对比学习与标签重分配的小样本学习方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wnijiushisb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习技术近年来得到了飞速的发展,被广泛的应用到生活的方方面面。然而,当可供模型训练样本很少时甚至只有几个时,模型的性能往往表现很差,不能满足人们的需要。为了解决这种困境,人们提出了小样本学习方法。小样本方法大都可以分成两阶段的训练过程,即在基类数据集进行预训练的过程,和在新类数据集上评估小样本分类任务的过程。本文将这两个阶段的学习特点综合在一起展开研究,分别提出了改进措施,其主要贡献如下:(1)基于对比学习的特征提取网络。以往的小样本学习方法在基类数据集上训练的网络存在提取到的特征不够紧凑,在新类数据集上泛化能力不强等问题。针对此问题,本文在标准交叉熵损失的基础上引入了一种基于对比学习的多相似度损失,通过在特征空间中将同类图片的不同变换相互拉近,不同类图片的不同变换相互推远,模型能够学习到一个更加紧凑的特征空间,并且增强在新类数据集上的泛化能力。(2)基于Kmeans聚类的标签重分配算法。由于小样本任务的支撑集样本很少,如果支撑集采样到异常样本会严重影响分类的性能,相反,查询集的样本数相对较多能够形成比较好的团簇结构。针对此问题,本文提出了三种不同的簇信息的利用策略,能够减轻支撑集异常样本的干扰,辅助查询集样本的标签预测。(3)我们在常见的小样本基准数据集上进行了丰富的实验,实验结果表明将以上两种方法结合在一起,本文方法能获得更紧凑的特征空间,并且在多个数据集上的5-way-1-shot分类任务中能够取得与当前最优的方法相当的分类性能。
其他文献
水资源作为生态环境的重要组成部分,对其进行统筹管理,构建健康的水循环系统是水环境领域的重要发展目标。作为城市水循环系统的核心,供水厂是城市用水的源头,其在处理原水的过程中,往往涉及众多复杂的处理工艺,工艺内部大量的物化反应过程以及不同工艺之间的复杂交互使得水处理工艺整体调控优化面临瓶颈。机器学习模型的快速发展,为解决水处理工艺效能预测与优化提供了新的技术路径,但目前尚缺乏系统全面的模型评估方法。为
学位
广州拥有海陆交接、水陆兼便的交通优势,是重要的商业经济中心和外贸港口城市。商业贸易与工业生产的物流及存储需要催生了仓储空间,而仓库作为仓储实体,是支撑广州发挥强大贸易辐射能力和贸易转运职能的基础。仓储空间的形成与演变既是广州工商贸易发展、城市物资流转的切实需要,也是反映广州城市发展历史的重要方面。当前,随着城市中产业结构的调整、交通运输方式的转变,许多在过去曾发挥重要作用的生产性仓储活动逐渐衰落,
文字作为人类社会信息传承的载体,广泛存在于我们的日常生活之中,对于场景理解有着非常重要的作用。随着计算机技术的飞速发展,越来越多新的应用场景需要文字识别技术的支持。深度学习的发展为解决文字识别问题带来了许多新的技术,其中注意力机制就是一条全新的思路。本文基于深度学习和注意力机制,对单字识别和序列文本识别一些热点问题提出了新的解决方案。本文的研究与创新主要包括:1.对注意力机制在文字识别任务上应用场
景观特征评估被认为是辅助区域景观决策的重要工具,欧洲地区已经开展过多尺度、多层次的景观特征评估实践,充分展示景观作为管理工具在区域空间管治的应用前景。但迄今为止,国内尚未进行过市域尺度的景观特征评估相关工作,亦未尝试应用于区域空间的管理实践中。在此背景下,基于省域的工作基础,研究如何进行市域景观特征评估工作的本土化实践,以及景观成果的转化应用能否满足空间管治的需求。作为探索性的应用研究,本文主要包
大中型体育场馆的定位是体育场馆设计前期策划中的核心工作之一,场馆定位的准确性将对后续场馆的设计建造以及运营使用的效果带来持续影响。而随着我国交通基础设施的不断建设与体育产业的不断发展,交通区位与交通基础设施条件将在体育场馆的运营使用中扮演着越来越重要的角色。在交通网络多样化复杂化的发展背景下,更精准认知把握交通设计条件是进行场馆规划选址、新场馆建设策划、场馆交通优化设计等方面工作的重要基础。因此本
近年来,随着智能机器人的发展,机器人的工作方式从单个机器人逐渐转为群体机器人协作完成任务的方式。因此开展移动机器人群体选择、交互和感知推理等技术的研究具有重要作用。本文的主要研究内容包括以下三个方面:(1)三维手势识别与交互技术:采用Leap Motion作为手势传感器捕捉控制者手部信息,作为人-群体机器人人机交互输入数据;基于支持向量机(Support Vector Machine,SVM)对静
相比其他类型的公共建筑,公众对博物馆空间有着更高的审美要求,在当代博物馆空间中,服务对象从展品转向观众,观众的视觉体验与心理感知越来越受到重视,博物馆空间也越来越开放与自由,呈现多义性发展的趋势。随着博物馆空间多义发展,公共楼梯不再是简单的交通构件,作为集艺术与技术于一体的建筑元素,公共楼梯成为表现博物馆空间效果的重点设计要素。本文以空间多义性为研究背景,重点对博物馆公共楼梯在空间多义性影响下的设
随着人类社会的快速发展,电动汽车及各种便携式电子设备的迅速普及,人们对二次电池的需求也愈发强烈。锂离子电池具备体积小、输出电压高、无记忆效应、能量和功率密度高等优点,因而其成为了主流的二次电池。目前的商业石墨负极由于其低的理论容量(372 m Ah g-1)已逐渐不能满足实际的发展需求,因此,发展高容量且低成本的新型负极材料变得尤为重要。以转换反应为主的镍基过渡金属负极材料由于其较为可观的理论容量
随着大城市土地利用由增量扩张转向存量挖掘,传统土地储备制度难以应对大规模城市存量土地再开发需求,储备对象的转变引发了储备方式的转变;因此,面向存量土地再开发的土地整备被提出了,其结合了土地储备与土地整理两方面特点,即通过土地归并、收购、置换、入股等方式进行权属调整及分割,并对调整后的土地以规划为依据实施整体征地拆迁、土地清理及前期开发完成土地储备的全过程。本研究以广州市“片区全面改造与国资企业统一