近年来,深度神经网络在计算机视觉和自然语言处理等领域的性能不断超越传统算法,成为新的研究热点。虽然深度神经网络拥有强大的性能,但是同时也有计算复杂度高、内存存储需求大的问题,这使得它们难以应用在计算资源有限的嵌入式设备上。现代深度神经网络中往往都有很高的冗余度,如何有效的降低网络的冗余提升计算效率是一个十分有意义的问题。针对这个问题,研究人员提出了许多神经网络压缩与加速算法,深度神经网络二值化是其中一个重要的研究方向。二值化深度神经网络将常规神经网络中的32位浮点权重和激活值压缩成1位,大幅度减少了网络存储所需空间以及浮点计算次数,但同时导致了网络准确率的降低。本文针对二值化神经网络所导致的准确率下降的问题提出三种训练策略。本文首先提出了在Softmax函数前加入可学习缩放层的方法,以解决二值化神经网络在大规模分类任务中优化困难的问题。然后,本文对二值化神经网络激活值和权重造成的网络瓶颈问题进行了探究,提出一个适用于二值化神经网络的网络结构优化策略,以进一步提升二值化神经网络的性能。最后,本文通过使用两种网络蒸馏的方法,利用教师网络模型来辅助训练二值化的学生网络模型,以进一步提高二值化神经网络的预测准确率。本文在AlexNet、ResNet-18等网络模型上实现了所提出的训练策略,并且在公开数据集CIFAR-10与ImageNet上得到准确率超过了之前学者所达到的水平,这验证了本文所提算法的有效性。