深度学习作为机器学习技术的研究热点,其核心是特征学习,通过多层神经网络结构在大量数据中获得不同层次的特征信息,从而有效地解决分类、回归等问题。然而对于部分应用场景,可采集的训练样本集规模较小,若直接进行训练,得到的模型可能产生严重的过拟合现象。因此我们希望利用小规模数据集训练一个高性能的深度神经网络分类/回归模型,尽可能消除由于训练数据量不足带来的拟合缺陷。针对上述问题,本文首先提出了一种基于隐变量模型的特征泛化算法,解决训练数据不足导致模型过拟合的问题;其次提出了两种基于特征泛化层的网络优化方法,用于提升模型的训练效率以及分类准确率。特征泛化算法的核心在于生成模型的构建以及优化目标的确立。基于隐变量模型,本文在深度神经网络中构建一个特征泛化层作为生成模型,此层结构包含一对双向的参数化映射,构成数据空间与隐变量空间的变换关系。算法采用多目标协同优化的思路定义两个目标函数,分别最小化特征泛化层的生成误差与整个网络的分类误差,反向传播阶段两个目标函数分区域对参数进行更新。本文选取不同规模的样本对网络进行训练,实验结果显示添加特征泛化层后,DNN模型的分类准确率在MNIST数据集上的增幅为0.42%-33.33%;Chars74k自然图像数据集上增幅为2.25%-15.5%;Chars74K合成字符数据集上增幅为2.5%-21.25%。仿真结果验证了该算法有利于提升深度网络模型的泛化能力,可以减轻小规模数据训练时存在的过拟合现象,相较于其它使用生成模型增强数据的方法,简化了网络复杂度,提高了训练效率。多分支并行前向传播方法旨在优化模型的训练效率以及收敛性。考虑到网络中特征提取层输出的数据是由多张特征图复合成的矩阵,本方法采用数据分流处理的思路为每张特征图建立独立的泛化分支,降低数据复杂度。网络的生成目标函数由多分支加权平均构成,更加均衡地反应特征泛化层的整体性能。双通道自适应矫正方法旨在提升模型的分类准确度。通过误差衡量,逐级对泛化通道内的特征图进行自适应矫正,将后续特征提取节点输出中存在的生成误差控制在合理的范围内。同时将所有节点的误差累加到网络的目标函数中作为约束项,使生成的特征图更符合原始数据的抽象属性。MNIST数据集上得到的实验结果显示:双通道自适应矫正方法优化后的模型分类准确度最高提升了4.09%;多分支并行前向传播方法优化后的模型训练效率大幅提高,单次迭代耗时仅为前者的45%(25)65%。定性与定量的实验验证了本章两种优化结构的有效性及适用性。