深度神经网络已经在多个人工智能应用领域中表现出强大的性能,包括图片识别、目标检测、语义分割、语音识别和自然语言处理等。其中,深度神经网络的模型设计和训练是获得高性能模型的关键因素,得到了学术界和工业界的广泛关注。然而现有的深度学习技术仍然存在以下几个亟待解决的难点问题:首先,现有的深度神经网络往往包含非常多的计算操作和复杂的连接,其中存在大量的计算冗余,不仅增加了模型的计算开销还会限制模型的性能;其次,神经网络结构复杂,其设计或搜索空间往往非常大,难以充分探索整个空间设计出高性能的网络结构;再次,深度神经网络的计算代价高昂,当计算资源有限时难以满足实际应用场景的要求;最后,深度模型的训练非常依赖训练数据,当数据分布变化时会严重影响训练的稳定性。针对上述挑战,本文采取的研究方案如下:1)针对神经网络结构中包含大量计算冗余的问题,提出了神经网络结构自动优化算法,以定位任意给定的网络结构的冗余部分并进行优化。具体而言,提出了一个网络结构变形器,将任意网络结构作为输入并逐一检测其中的计算操作是否是冗余的,并用计算开销更低的计算操作替换这些冗余操作,以达到网络结构优化的目的。为了更精准地优化网络结构中的冗余计算操作,进一步提出了基于图卷积网络的决策模型,用图表示网络结构并提取其中复杂的连接关系。所提出的方法能够在人工设计的和自动搜索到的网络结构上大幅度提升模型性能。2)针对网络结构搜索空间大难以探索的问题,提出了面向超大搜索空间的网络结构搜索算法,利用课程学习中渐进式的学习方式逐步探索搜索空间。为此,首先分析了影响搜索空间大小的关键因素,发现增加网络结构中的计算操作种类数量比增加节点数量能够更平缓地增大搜索空间,为渐进式网络结构搜索提供可能。在此基础上,提出了基于课程学习的搜索策略,通过逐步引入新的计算操作构建一系列由小到大的搜索空间,并以渐进式的方式逐步探索搜索空间。所提出的方法在多个图片分类数据集上能够找到高性能的网络结构。3)针对深度模型的计算代价难以满足实际需求的问题,提出了面向不同计算资源预算的网络结构生成器,实现为任意计算资源预算自动生成满足约束的网络结构。为此,学习一个由模型性能和计算开销构成的Pareto边界,该边界由不同计算开销对应的最优网络结构构成,在预测时只需要根据所需的计算资源预算在Pareto边界上搜索即可。为了学习这个Pareto边界,进一步提出了针对不同计算资源预算的网络结构评估器,准确评估网络结构生成器所生成的网络结构。在多个不同硬件设备上,所提出的方法都能生成满足计算资源约束的网络结构。4)针对深度模型由于对数据敏感导致的训练不稳定问题,提出稳定的归一化方法及一套相应的训练算法,以降低训练过程对数据分布变化的敏感性。为此,提出了基于记忆的批量归一化方法,将过去最近的多个数据批次作为记忆,在其上计算用于归一化的统计量,以减小单个批次数据对训练的影响。基于所提出的批量归一化方法,进一步提出了一个双前向传播训练算法,在每一次迭代中执行一次额外的前向传播使得每个归一化层的统计量保持最新状态,以此缓解由于模型更新造成的分布偏移问题。使用基于记忆的归一化层构建神经网络,并使用所提出的训练算法训练深度网络可以大幅提升模型的泛化能力。上述研究内容有助于降低神经网络的设计难度,提升神经网络的训练稳定性,以推进在实际应用中面向硬件设备的模型部署。研究成果有望丰富深度学习和自动化机器学习等研究领域的相关理论和关键技术。