深度学习的飞速发展为人类生活的方方面面提供了很多便捷,人们希望能对深度学习有更多的了解,从而能够更好地利用且改善神经网络。通用逼近定理认为一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数的隐藏层,那么只要给予网络足够数量的隐藏单元,它就可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel可测函数。但是现实中如果我们只使用具有一层隐藏层的网络去获取目标特征的话,结果经常不尽如人意,本文的目的是通过逐步加深网络来反复的修正特征,直到得到的属性特征趋于稳定,并且可以获得一个令人满意的识别结果。本文所进行的实验属于图像识别领域,实验采用的数据集包括MNIST、Fashion MNIST、CIFAR10、CIFAR100,实验中利用的方法是贪婪逐层预训练,具体来说是训练好基础网络后保留基础网络的参数,然后再逐步加入新的网络层,并对新的网络结构重新训练,以此类推,直到最后获得稳定的属性特征。实验中选取的骨干网络为残差网。在使用贪婪逐层预训练的技术进行逐层添加的过程中,新加入的残差块会导致最新网络的全连接层接收的特征图数量是上一网络全连接层的两倍,也就是说最新网络的全连接层参数是上一网络全连接层参数的两倍,所以如果继续直接使用上一网络的全连接层会造成维度不匹配的情况。本文提出了两种想法来解决这个问题,方法一是新网络的全连接层一半参数使用上一网络全连接层的参数,另一半参数使用随机初始化来补全,方法二是保留上一网络除了全连接层以外所有层的参数,然后利用随机初始化为新网络全连接层的全部权重赋以新的初值。在CIFAR10数据集上,本文用以上两种方法分别做了实验,第一种方法的TOP1精度可达82.3%,第二个方法TOP1精度可达81.5%,所以第一种方法更加优秀。除此之外,本文根据前辈的经验从三个方面对逐步加深网络实验从精度方面进行了改进,包括使用三层卷积来增加感受野,使用池化层来下采样和加入SEblock,并通过消融实验表明这些方法对最后的精度都有所提升。在最后,使用上述的所有技巧和方法一构建新的网络,结果为在CIFAR10数据集上随着残差块的逐块添加,最后的TOP1精度逐渐提高,分别为0.769,0.841,0.842,0.843,成功的将属性特征进行了逐步修正,从而使结果逐步提升。