相比于浅层网络,深度网络拥有更为有效的函数表征能力,可以为高度非线性且高度变化的函数学习到一种紧凑的表示。深度学习算法通过预训练和微调解决了深度网络的训练问题,使得它拥有了优秀的泛化能力,因而被广泛地应用于诸多领域。作为一种无监督的特征检测模型,自编码器常常被用来完成预训练,从而能为深度网络的训练寻得一个较好的初始值。本文主要研究自编码器在深度网络中的应用,通过改善自编码器的性能以及充分利用预训练过程中获得的分层特征来提高深度网络的分类性能。主要的工作内容如下:提出了基于平滑l₁范数的稀疏自编码器。从哺乳动物大脑视觉系统的感受野来看,为自编码器引入稀疏性可以改善特征的性能。通常,自编码器中稀疏性的产生来自于KL散度的引入,但稀疏表示理论认为,l₁范数能够诱导出很好的稀疏性。为了解决l₁范数在零点不可导的问题,我们使用“inf-conv”平滑技术得到了该范数的平滑版本。实验表明,使用基于平滑l₁范数的稀疏自编码器代替基于KL散度的稀疏自编码器来完成预训练,可以得到分类性能更佳的深度网络。提出了基于稀疏自编码的特征集成学习。一方面,使用上述稀疏自编码器完成预训练时可以得到多个抽象级别不同的特征;另一方面,多分类器的集成学习可以有效地改善单分类器的识别率和稳定性。考虑到以上两点,我们使用预训练获得的分层特征来训练多个分类器,并通过对这些分类器的输出结果进行集成来得到最终的预测值。实验结果表明,所提出的集成方法是有效的。