【摘 要】
:
近年来,以深度学习为代表的机器学习方法在算法、理论和应用等方面都获得重要进展,极大地助推了人工智能技术发展的热潮。依靠海量、高质、带标记数据和大规模计算资源的支撑,深度学习技术展现出了超强的性能优势。但是其在量少、质差、缺标记数据的任务上,仍然表现不佳。人类可以通过学习不同任务来学习方法论的共性,在只有少量信息的情况下快速学会新的技能或者适应新的环境,这种非凡的知识重用能力(学会学习)是人类智能的
论文部分内容阅读
近年来,以深度学习为代表的机器学习方法在算法、理论和应用等方面都获得重要进展,极大地助推了人工智能技术发展的热潮。依靠海量、高质、带标记数据和大规模计算资源的支撑,深度学习技术展现出了超强的性能优势。但是其在量少、质差、缺标记数据的任务上,仍然表现不佳。人类可以通过学习不同任务来学习方法论的共性,在只有少量信息的情况下快速学会新的技能或者适应新的环境,这种非凡的知识重用能力(学会学习)是人类智能的重要组成部分。因此,旨在解决学会学习问题的元学习,被认为是实现通用人工智能的关键之一。元学习的核心目标是通过少量数据快速适应新的任务,以及在将机器学习应用于现实问题时,实现端到端的自动调整超参、模型设计的高度自动化机器学习。相对于传统机器学习方法挖掘单一任务中大量数据的内在规律来实现模型在该数据集中的泛化,元学习通过挖掘不同任务中的共有有效方法论来实现模型对于这一类任务的泛化。元学习作为一个近年来新兴的研究热点,其独有的方法论优势有着广阔的理论研究价值和应用前景,并取得了众多突破性的进展。本文以元学习的知识重用和泛化能力为核心,围绕元过拟合、任务设计这两个主要挑战展开研究,主要的研究内容包括以下几点:(1)本文在面对元强化学习中陷入局部最小(鞍点)这一元过拟合问题时,考虑到使用噪声可以帮助神经网络逃逸局部最小(鞍点),并结合人类利用先验知识进行探索这一思维方式,提出了一种基于先验知识重用的元强化学习探索算法(Exploration with Structured Noise in Parameter Space,ESNPS)。该算法有效地利用以前的搜索经验作为结构化噪声,通过参数空间对模型进行扰动,在新任务中实现了具有先验知识的引导性探索。特别地,据我们所知,这是第一次使用已学习到的策略网络的元参数作为参数空间中的结构化噪声。大量的实验验证了构建具有先验知识的结构化噪声的有效性,ESNPS在测试任务中展现出了良好的引导性探索,并超越了所对比的一组对比方法。(2)本文从元学习任务的多样性需求出发,提出了一种从无标记数据集中构建任务的无监督元学习方法(Constructing Unsupervised Meta-learning tasks with Clustering and Augmentation,CUMCA)。CUMCA利用无监督嵌入学习和数据增强方法来满足类别区分性和类别一致性这两项要求。但是增强数据会引入偏差和弱多样性问题。因此,CUMCA把内外层循环的数据进行了交换。随后,本文提供了一个理论分析来解释为什么MAML外循环比内循环对增强数据更敏感,并且在实验中详尽的分析了在不同训练模式中使用这两种数据的效果,以及应该使用多少组生成的增强数据才能获得更好的性能。再者,为了解决增强数据有偏差且多样性不足的问题,本文提出了一种新的数据增强方法:基于先验的混合(Prior-Mixup),该方法利用额外的样本作为先验对原始样本进行扰动,并且不变更标签。在公开数据集上,CUMCA击败了其他的无监督元学习方法以及无监督嵌入学习方法。(3)本文考虑到现有的元学习推荐系统全都忽略了关键的元记忆过拟合问题,从而引起了泛化能力差、性能不佳等问题,提出了一种基于跨域元增强的内容感知推荐(Cross-domain Meta-augmentation Method for Content-Aware Recommendation,Meta CAR)方法。该方法利用数据增强的方法来构建互斥任务。互斥任务是指数据一样但是标签不一样的任务,是解决元记忆过拟合问题的关键。Meta CAR利用跨域组件学习一个先验,并结合目标域已观察到的用户-项目对来生成有意义但和真实数据有区分的增强数据。然后,利用增强数据和真实数据分别构建互斥的任务,从而避免模型元过拟合。大量的实验证明了Meta CAR方法优于多种不同类型的对比方法,并且相对于其他元学习推荐方法取得了大幅度的进步。
其他文献
有机荧光探针作为荧光方法的主流工具之一,因操作简便、灵敏度高、生物低毒性、可修饰性强等多种固有优势而被广泛开发并应用于分子示踪、手术导航、生物检测等生物分析领域。相较于传统的“常开”型荧光探针,由某种离子、分子或者生理参数触发而开启可视化信号的激活型荧光分子在成像效果上体现出明显的低背景、高信息量的可观优势。另外,近红外成像窗口因其生物自体荧光弱、组织伤害小等特点而成为荧光探针发射范围调控的主要目
循环肿瘤细胞(CTC)是从肿瘤原发灶或者转移灶中脱离进入到血液循环系统中并在外周血中游离的肿瘤细胞。近几年的研究表明,CTC中不同基因表达情况对肿瘤转移和复发具有重要的意义,然而目前的研究仅局限在对单个癌症类型的基因表达中。不同肿瘤类型的CTC有其独有的特征,同时也具有共性。因此,在泛癌层面分析并识别肿瘤特异性特征和共同特征可能对肿瘤的诊断和检测具有重要意义。另外,目前高通量测序技术为人们研究CT
随着畜牧业生产消费需求的增加,全球畜牧业需在有限的环境资源下饲养更多的动物。精准畜牧业可望在实现低成本高效率生产方面发挥着重要作用。在奶牛精准养殖中,面临着基于机器视觉技术对复杂环境下奶牛局部关节区域检测研究匮乏、奶牛区域检测模型鲁棒性和适应性差以及奶牛视频行为识别模型不完善等问题。针对上述问题,本文采用图像处理技术、计算机视觉技术以及深度学习方法,以实现自动高效精准的奶牛监测为目标,对奶牛腕关节
潮滩湿地是发育在全球海陆过渡地带的一种滨海生态系统,它为人类社会提供了多种宝贵的生态系统服务,同时它对支持海岸带生物多样性具有不可替代的作用。人类圈围潮滩为社会经济发展提供了必不可少的土地资源,但不合理的开发活动会间接提升海洋灾害对人类生存的威胁。健康的潮滩湿地生态系统对海岸带地区实现联合国可持续发展目标具有重要助益,因此,潮滩湿地生态修复已成为近期国内外学者关注的热点。但目前仍缺乏研究明晰如何在
生物种群可以通过迁移、表型可塑性和进化来应对变化的环境。理解生物种群能否适应环境变化是进化生物学的核心问题。城市建设会造成严重的栖息地丧失和碎片化,这些影响在水生系统中尤为明显。比如城市建设会降低河流网络的连通性,形成许多小微水体,增加生境异质性。本研究的主要目的是探究城市化造成的生态环境变化是否会引起栖息在其中的生物种群产生微地理适应。主要包括以下内容:城市建设引起的水体富营养化和蓝藻水华正在全
电池在当今新能源技术的发展中非常引人关注。其中,锌空电池具有安全可靠,能量密度高,结构简单,价格便宜,绿色环保等优点,十分符合当前新能源电池的发展需求。锌空电池电化学反应中的电能并不能100%的转化为化学能,很大一部分是由于阴极过电势大造成的,所以研究具有优异电化学氧还原反应(oxygen reduction reaction ORR)和析氧反应(oxygen evolution reaction
2-12μm中红外波段涵盖了极多分子的特征吸收谱线和基本振动带,同时也包含了3-5μm和8-12μm两个大气传输窗口。因而该波段激光在大气遥感、工业及环境检测、生物医学和国防军事等方面具有极大的应用潜力。至今,已有包括分子气体和化学激光器、基于稀土离子和过渡金属掺杂的固体激光器、半导体激光器、光纤激光器以及光参量振荡器等方法可实现中红外激光输出。相比较而言,光纤激光器和光参量振荡器占据更多的优势,
党的十九大报告中首次提及“在现代供应链等领域培育新增长点、形成新动能”,党的十九届五中全会进一步提出“将提升产业链供应链现代化水平作为加快发展现代产业体系,巩固壮大实体经济根基”的重点任务。由此,发展现代供应链,提升供应链管理水平已经上升到国家战略高度。事实上,当下我国企业的供应链管理仍存在诸多不足,粗放式管理和精细式管理方式并存,传统管理和数字化管理模式并举,供应链管理水平有待进一步提高。因此,
甘蓝因其营养价值丰富、产量高、耐储藏,在我国各地广泛种植。商品化处理能够有效提升采后甘蓝品质和经济附加值,已成为其产业的发展趋势。然而,目前采后甘蓝上料、定向排序、根茎剪切等整修工序以人工为主,生产效率低、劳动强度大,且生产成本较高。因此,针对上述问题,本文分别从总体方案、根茎剪切特性、自动定向方法、根茎精准剪切方法及样机性能试验等方面,开展了采后甘蓝自动精准整修装备及关键技术研究,为采后甘蓝分级
电子对抗效能研究是定量分析电子对抗问题的关键方向之一。通过构建电子对抗效能评估理论体系,可实现电子对抗系统及电子对抗行动效能的评估与预测,同时为获得最大效能的电子对抗系统或行动提供最优方案,在军事决策中具有重要的科学价值与研究意义。目前,电子对抗效能评估理论体系不完善,研究方向不明确,至今缺乏有效的解决方案,远远不能适应信息化战争中电子对抗作战能力提升与电子对抗装备建设发展的迫切需要,已成为制约电