近年来,深度学习和神经网络广泛的应用到了我们的生活之中,其中归一化技术作为推动深度学习的发展起到了举足轻重的作用。其通过将网络中的输入进行归一化从而减少神经网络中的梯度爆炸和梯度消失问题,但是神经网络在添加归一化操作后网络的学习成本依旧很高,需要花费大量的计算机资源进行计算。为此,本文提出了深度网络结构归一化,并从网络结构和数据结构两个角度进行了探索。1.从网络结构层面出发,本文提出了深度网络结构化的权重归一化（Deep Structural Weight Normalization,DSWN）,通过将网络结构度量注入到权重归一化中来确保神经网络的数据传播。在DSWN中提出了两种新的结构度量方法,利用不同的惩罚矩阵对每个网络权重施加正则化。一种是稀疏化度量（Sparsity measurement,DSWN-SM）,在该度量中,我们将L1,2权重正则化应用到结构化的权重归一化模型中,以促进网络权重之间的特征竞争,从而实现剪枝并获得稀疏网络。另一种是神经元度量（Neuron measurement,DSWN-NM）,它利用权重的列向量的L2范数来提高或降低中间神经元的重要性,从而加快了网络的收敛速度。我们在全连接网络和卷积神经网络对多个基准图像数据集进行了大量的实验,并与现有的稀疏性和权重归一化方法进行了比较。结果表明,DSWN-SM能够在保证精度的同时减少网络中的参数,DSWN-NM可以提高网络性能的同时加速网络的收敛速度。2.从数据结构层面出发,本文提出了深度网络去相关层归一化（Decorrelated Layer Normalization,DLN）研究方法,针对卷积神经网络（Convolution Neural Network,CNN）,所提方法通过对单个样本所有通道中加入白化（Whitening）操作,在保留原有网络层归一化的基础上进一步减少了输入特征之间的相关性,使得通道上的数据特征表达具有独立同分布的特点,从而降低了输入数据的冗余并最终提升层归一化的泛化性能。在CIFAR-10,CIFAR-100数据集上的实验结果证明本论文所提方法与其他归一化方法在小批量样本场景下相比能够提高2%~4%的图像分类准确率。3.在提出的结构归一化算法的基础上设计并实现了图像识别系统,通过该系统直观的向读者展示本文所提方法的优越性。此系统主要由用户管理模块、网络训练模块、图像识别模块三个功能模块构成。经过多次图像分类结果表明,该图像识别系统构建了方便交互的功能界面,实现了所需功能,验证了所提出的结构归一化算法的有效性。