论文部分内容阅读
随着信息技术的快速发展,深度学习成了一个热门的话题,自动编码机作为深度学习中较典型的模型之一也得到了广泛的研究。自动编码机作为一种有效的特征学习算法,能够提取数据的本质特征。本文主要将自动编码机提取的特征用于识别及分类,通过识别及分类应用的准确率判断自动编码机的特征学习能力。本文主要从以下三个方面研究:(1)手写字体识别技术是字符识别领域中的一个重要分支。由于手写字体的边缘轮廓差异大,特征比较明显,本文提出了一种雅克比稀疏自动编码机(Jacobian regularized sparse auto-encoders,JSAE),通过在自动编码机中加入稀疏约束项,使得改进后的自动编码机提取出手写字体数据的隐藏结构,通过在自动编码机中加上雅可比正则项,使得改进后的自动编码机有效描述数据点的边缘特征,提高自动编码机算法的特征学习能力,更准确地提取出样本的本质特征。因而通过加入约束项和正则项提高了手写字体识别的准确度,该算法在MNIST、USPS和Pen Digits手写字体数据集上都有较好的分类准确度。(2)针对传统的深度自动编码机进行反向传播调整权值时时间复杂度高、易产生梯度消失的问题,提出了一种用极限学习机优化的深度自动编码机(ELM optimized deep auto-encoder,DAEELM),用极限学习机的思想和相关计算代替反向传播的过程,因为极限学习机具有训练速度快,泛化能力强的特点,用极限学习机优化的深度自动编码机可以有效避免迭代训练时间长的问题。同时,还考虑标签信息,有针对地调整网络的参数,将调整后的网络结构应用于分类。最后将极限学习机作为分类器连接到最后一层编码层后,代替传统的Softmax分类器,避免了Softmax分类器微调整个网络的过程,大大缩短训练的时间。该算法在Pen Digits、USPS和ISOLET数据集上都有较好的分类准确度。(3)半监督自动编码机结合了监督和无监督的优点,具有广泛的应用前景。它通过无监督学习提取潜在的抽象概念,提取出有鉴别性的特征,提高结构的泛化能力,同时通过监督学习提取出可以描述出给定类别标签的特征,提高分类准确度。因而在本文中提出了一个稀疏和标签约束的半监督自动编码机(a semi-supervised auto-encoder using sparse and label regulations for classification,SLRAE),具体包括在结构中添加稀疏约束项和标签约束项。稀疏约束项使得大部分神经元被抑制,只激活少量神经元,这种方法确保SLRAE获得更加局部和有效的信息。标签约束项通过监督学习有针对地提取出描述给定类别标签的特征。该算法在6个UCI数据库、USPS数据库以及MNIST数据库上都有较好的分类准确度。