基于不变性的泛化分析

来源 :南开大学 | 被引量 : 0次 | 上传用户:hjy2673237
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会逐渐朝自动化的方向发展,对于模型的稳定性也愈加重视,并希望实现在某个环境中训练的模型在另一环境中也能有良好的表现,即模型具有分布外泛化的能力,与常用的已知域标签或域间的分布相似等假设不同,本文使用基于因果不变性的方法,通过对目标函数增加惩罚项来减小特征间的依赖关系,从而降低过拟合与虚假相关性的现象,增强深度模型的泛化性能,该方法称为IRM模型。本文首先介绍研究背景与意义,回顾现有的模型泛化的方法,并对图片分类中常用的卷积神经网络的基本原理与相关技术进行了详细介绍。在预处理阶段利用MNIST与Wildcam数据集构造出不同场景下的数据分布,共衍生出4种分布不一致的情况,分别为存在虚假相关的CMNIST数据集、数据分布相似的RMNIST数据集、具有不同对抗级别的MMNIST数据集以及样本量较少的Wildcam数据集,然后通过深度学习框架Pytorch,采用目标函数为ERM的CNNs网络、目标函数为IRM的CNNs网络与经典的领域自适应的方法DANN网络三种算法对反映不同环境的数据集进行分析,并使用交叉验证等两种评估方法计算测试集的分类准确性,作为不同算法泛化性能的体现,最后总结了IRM模型的适用范围,再使用LIME方法对不同方法识别到的特征进行可视化展示。分析的结果表明,IRM模型适用于训练环境与测试环境中数据分布差异较大、存在虚假相关以及样本量较少的场景,这时相关指标在测试集上的表现良好,而对于数据分布差异较小或者独立同分布的场景,由于IRM模型的惩罚项引入了额外的复杂度,因此效果不如CNNs网络。对CNNs与IRM模型进行可视化分析发现,虽然二者皆关注了一些环境因素,但IRM模型同时可识别出真正感兴趣的特征,即动物的形状。
其他文献
浮萍(duckweed)作为一种新型的生物质能源植物,具有生长速率快,淀粉含量高,木质素含量低的优势,且不与人争粮争地,是一种在生物能源研究方面的理想实验材料。提高浮萍的淀粉含量是生产生物乙醇的关键,可通过改变浮萍的生长速度和淀粉积累能力来实现。本论文主要通过在浮萍科(Lemnaceae)浮萍属(Lemna)的L.turionifera 5511株系(文中通称浮萍)中过表达浮萍淀粉合成路径中的关键
草酸钙是植物体内一种重要且常见的生物矿物,具有调控植物体内离子平衡、提高植物的抗逆性、加强植物组织机械支持、降低植物被取食的适口性等生物学功能。前期研究表明,不同分布区植物体内的草酸钙含量会因环境不同而存在显著差异,植物草酸钙对干旱、盐渍化生境均有一定敏感性。然而,如果遇到高温情况,植物草酸钙对高温变化是否具有敏感性?如果不同植物群落建群种近距离同地分布,它们体内的草酸钙含量是否还会存在差异?为了
胚胎干细胞(Embryonic Stem Cells,ESCs)是囊胚期内细胞团(Inner Cell Mass,ICM)细胞在适当的条件下体外培养得到的一类细胞,其具有无限自我更新和分化为胚胎三个胚层的能力,在研究胚胎发育、细胞治疗、组织修复和再生等方面应用广泛。近年来的研究表明超级增强子(Super Enhancer,SE)作为细胞类型特异性的大型顺式调控元件,在调控ESCs多能性和自我更新中
目的:观察基于“筋骨调衡,以筋为先”手法治疗退行性腰椎失稳症临床疗效,为“筋骨调衡,以筋为先”理论对手法治疗的指导作用提供依据,提高手法治疗退行性腰椎失稳症的疗效。方法:将符合纳入标准和排除标准的75例退行性腰椎失稳症患者,按照随机数字表法将75例退行性腰椎失稳症患者随机地分为3个不同的治疗组:A组25例,单纯采用腰背肌功能锻炼治疗;B组25例,采用口服塞来昔布胶囊联合腰背肌功能锻炼治疗;C组25
Levan-型果聚糖是一种果糖均聚物,其被酸水解后可生成Levan-型低聚果糖益生元。由于果聚糖具有多种优异特性而应用于医药、工业、食品和化妆品等领域。Bacillus amyloliquefaciens LL3能同时以蔗糖为底物合成γ-PGA(γ-聚谷氨酸)和Levan-型果聚糖。为了提高果聚糖产量,本研究以敲除γ-PGA合成酶的突变株NK-ΔLP为亲本菌株进行代谢途径优化。从两个角度对NK-Δ
Atl1与Atl2属于Atlastin家族成员,Atlastin是一种Dynamin GTP酶,Atl敲除会导致分化细胞中管状内质网形态缺陷,内质网同源膜不栓连,并且内质网中货物蛋白运输受阻。此外,Atl1全身敲除的小鼠发育正常,但是Atl2全身敲除的小鼠小脑发育异常,并且会在E10.5左右胚胎致死。在神经系统中特异敲除Atl2会发生小鼠小脑萎缩,并且体型明显偏小。这表明Atl2的敲除会影响小鼠胚
重金属污染已成为全球性的环境污染问题,给人类健康和生态系统带来巨大威胁。基因工程和合成生物学的迅速发展,为人工修饰甚至从头设计重金属捕获元件提供了便利,推动了合成微生物在重金属污染治理领域的应用。合成微生物的使用能够有效降低重金属污染治理的成本,极大提高生物修复的工作效率。磁性纳米粒子(MNPs)因其超顺磁性和磁性分离特性,广泛应用于环境污染治理。本研究基于合成生物学和化学工程技术,构建了合成细菌
随着经济发展和全球化的不断推进,各行各业竞争日益加剧,企业需要审时度势,在市场上获得竞争优势,才能实现长足的进步与发展。而竞争优势主要来源于企业的核心能力。核心能力是企业生存与发展的重要推动力,能够影响企业战略决策、发展前景、经营深度与广度。企业应以培育核心能力为目标,充分发挥财务战略对能力的构建作用,制定并实施相关财务战略从而实现企业的价值增值与可持续发展。本文选取海运业的代表企业中远海能作为研
乳酸菌是利用碳水化合物进行发酵并产生乳酸的一类细菌,作为典型的革兰氏阳性菌,因其不形成内生孢子且不产生内毒素等有害物质,成为了公认的食品级安全微生物。相较于干酪乳杆菌、植物乳杆菌等乳酸菌,乳酸乳球菌(Lactococcus lactis)中精确的基因组编辑更为复杂。本文首先对乳酸乳球菌的基因组编辑方法进行了优化,接着在L.lactis NZ9000基因组上缺失三个片段后所得的菌株L.lactis
随着不断调整经济结构,深入推进供给侧改革,为了实现产业结构的市场化调整的顺利开展,推动市场资源的优化配置的进程,资本市场中企业并购事件日益增多,并购带来的风险逐渐显露。文化娱乐产业由于人们生活水平的提升以及科学技术的推动也迎来了更为广阔的市场。影视传媒、游戏产业、互联网产业等轻资产企业快速发展与壮大,越来越多的轻资产公司加入了并购队伍。然而,轻资产企业无形资产占比较大且大多数为非上市公司的这些特征