论文部分内容阅读
当前,深度学习为人工智能的发展注入了新的活力。作为深度学习领域典型的特征学习算法,深度自编码神经网络得到广泛的研究,其最大优势在于通过多个隐含层组成的深度模型逐层自发地对数据进行特征提取,并广泛应用于图像识别、医学诊断、情感分析等领域。本文主要研究基于深度自编码神经网络的特征学习方法,并将学习的特征应用于分类识别领域。本文的研究主要从以下三个方面展开:(1)针对深度自编码神经网络(DAE)在微调过程中受内部协变量迁移导致梯度传递缓慢问题,提出一种基于自适应平衡的深度自编码神经网络(DSBAE)。本方法首先通过DAE预训练以获得各编码层的初始化参数;随后将各编码层与平衡层嵌套组成DSBAE,利用平衡层可学习的尺度缩放系数和平移变换系数对编码层特征进行正则化处理,以自适应地纠正特征空间;将处理后的特征输入非线性激活层进一步抽象特征;对平衡层以及编码层的参数利用梯度下降法进行微调,以提升训练效果。DSBAE有效解决深度自编码神经网络的内部协变量迁移对特征学习的影响。为检验所提方法的有效性,将DSBAE应用于手写体数字分类,并与DAE以及其他多组算法对比,实验结果验证了所提方法的分类准确率有明显提升。(2)针对深度自编码神经网络(DAE)提取特征的泛化性和鉴别性不足的问题,提出一种标签和能量约束的半监督深度自编码神经网络(LESDAE)。首先,提出基于统计物理学的能量项来约束网络,以拟合样本数据的概率分布,提高网络的泛化性能。同时,根据标签约束项,计算标签误差来有针对地调整网络参数,增强提取特征的鉴别性。为检验所提算法的有效性,将LESDAE应用于手写数字分类,通过与DAE以及其他多组算法对比,验证了LESDAE具有较好的分类准确率。(3)针对固定学习率导致低效的特征学习问题,提出一种可变速学习的深度自编码神经网络(VLSDAE)。该网络首先基于批量数、代数和阶段数的多尺度训练误差来反映宏观训练效果,同时,基于各神经元的权重更新相关性来描述微观训练效果,通过融合宏观及微观的训练效果描述方法来计算学习率变化系数,以更新下一阶段的学习率值,从而自适应地更新学习率,提高特征提取的效率。本文建立了基于VLSDAE算法的人脸识别框架,并应用于人脸识别,验证VLSDAE在具有较好的鲁棒性的同时,实现较好的识别准确率。通过将VLSDAE应用于手写体数字分类,并与DAE以及多组算法对比,验证了VLSDAE能够在较小训练误差的前提下获得较高的分类准确率。