深度信念网络(DBN)是深度学习的主要模型之一,目前已广泛应用于语音识别、手写字体识别、人脸识别等机器学习领域。DBN作为一种有效的特征提取方法,能够提取数据内在的抽象特征,相比于原始特征,更具判别性。本文针对DBN的网络结构自动调整方法进行了研究,主要研究内容有以下三个方面:(1)由于DBN的训练状态受网络结构的影响,可根据网络的训练状态来调整结构,因此提出一种基于动态增减枝算法的DBN模型(DDBN),通过隐含层神经元的权值、激活概率以及网络的能量评价网络的训练状态。DDBN首先利用权重距离(Weight Distance,WD)计算各隐含层神经元的权值变化幅度,同时提出一条单调递减的凹曲线作为约束条件来找出权值变化明显的不稳定神经元,并在其周围增加隐含层神经元来提高网络的特征学习能力;进一步地,通过计算各神经元激活概率的标准差来测量该神经元所提取特征的离散程度,从而找出判别能力低的冗余神经元并移除,以得到较紧凑的结构;最后通过能量函数评估网络的稳定性。DDBN通过判断网络的训练状态自动构建网络结构,有效解决了DBN的结构确定问题。在MNIST和USPS数据集上进行图像分类测试,结果表明DDBN比现有的DBN结构调整方法具有更好的分类效果。(2)为了提取更具判别性的特征,需要增强神经元的判别能力。由于神经元的判别能力受网络结构的影响,本文提出一种基于Fisher准则的DBN模型(FDBN),通过优化网络结构增强神经元的判别能力。FDBN首先根据Fisher准则的思想,计算所有训练样本在各隐含层神经元上的类间离散度和类内离散度,通过这两项的比值得到神经元的Fisher值,Fisher值越大,说明神经元提取的特征更具判别性;然后在迭代训练中根据神经元的Fisher值及增长率的变化评估神经元的判别性能,并以此增加神经元或移除冗余神经元;此外,根据当前网络的分类效果,使用贪婪算法调整FDBN的网络层数。FDBN在评估神经元判别性能的过程中利用了标签信息,有针对地调整网络结构,有利于提取更具判别性的特征。最后,在MNIST和USPS数据集上进行手写体数字识别测试,并与多种现有方法对比,结果表明FDBN始终达到最好的识别准确度。(3)针对DBN的隐含层层数难以确定的问题,提出一种基于深度趋势的DBN模型(DTDBN)。首先根据中心极限定理和信息熵理论分析DBN的权值随深度增加的变化趋势问题,得到权值分布会逐步趋向于正态分布,并且权值越接近正态分布,网络的特征提取效果越好。进一步地,通过对权值做正态性检验判断其正态分布服从率,并以此判断是否需要增加隐含层。DTDBN根据网络的深度变化趋势,利用权值的正态分布服从率有效地调整网络深度,提高网络的表达能力。最后,构建了一种DTDBN人脸识别模型,并在ORL人脸数据库上进行实验分析,证明DTDBN具有较好的分类准确率。