论文部分内容阅读
深度领域适应属于深度迁移学习的一部分,主要用来解决标注数据不足的问题,是一种比较前沿的机器学习方法。传统迁移学习,通过共享特征子空间或浅层表示调整源域实例权重等手段实现知识迁移的能力。而深度领域适应则把领域适应模块嵌入深度网络,使得网络模型能够学到更多的可迁移特征。目前,深度领域适应潜力巨大且适用广泛,但依然存在一些问题需要探索和研究,如负迁移、领域适应界限等。为此,本文从提高领域适应效果降低负迁移现象提出了三种解决方法,分别如下:第一,针对在深度领域适应现存方法中出现的负迁移及欠适配等问题,提出一种新的网络模型,主要解决无监督领域适应问题。该方法融合了特征分布与领域对抗两种技术,使其共同作用于网络模型,提高模型的领域适应能力。所提方法基于卷积神经网络实现,在网络的全连接层进行特征分布匹配,使用MMD衡量领域间的特征分布差异,同时在卷积层后搭建两层全连接网络作为领域判别器进行领域对抗。综合大量实验,该模型在分类精度上优于目前一些有代表性的方法,证明了所提方法能够提高深度网络模型的领域适应能力。第二,针对无监督领域适应问题,基于现存相关性对齐方法不能充分衡量领域间差异的缺点,提出了新的改进方案,所提方法利用熵最小化与特征分布对齐共同作用来增强深度网络的领域适应能力。首先,通过对源域和目标域的二阶统计量进行最优对齐,不同于当前的欧几里得方法,该方通过使用测地线流形手段对源域目标域的协方差矩阵进行对齐;其次,针对超参数的选择问题,通过引入熵最小化,提出了一种新的交叉验证方法,使得超参数的选择更加准确。第三,针对第一种所提模型在训练过程中出现波动以及超参数选择困难等问题,提出一种可行的解决方法。该方法基于ResNet-50,使用MK-MMD匹配池化层和分类层的特征分布,实现了多层匹配的目的,同时添加了两个领域判别器,每个领域判别器只采用含一层隐藏层的全连接网络,从而降低了模型的复杂度,使整体网络轻型化,防止过拟合现象的发生。最后,加入熵最小化模块,为超参数选择提供指导性作用。本文使用多种数据集对以上方法进行实验、对比和分析,证明了所提方法能够学习到更多的领域不变量表示,同时大大降低了训练波动性,提升了分类准确度,有效提高了网络模型的领域适应能力。该论文有图21幅,表8个,参考文献119篇