以深度神经网络为代表的深度学习最近发展迅速,并实际运用在图像识别、语音识别和自然语言处理等诸多领域。然而有研究指出深度学习还存在一些问题,其中可能会造成重大安全问题的对抗样本问题引起了学术界广泛关注。对深度学习对抗样本问题进行深度而全面的探讨,不仅有助于解决潜藏的安全隐患,也利于促进深度学习理论的研究,具有重要的理论和现实意义。本文针对深度学习对抗样本问题,对深度神经网络和对抗样本进行深入地理论研究和实验分析,并将知识蒸馏应用于深度学习对抗样本问题,提出了一种新的对抗样本的防御策略,并且在对抗样本的应用上基于对抗样本和知识蒸馏提出一种新的模型集成方法。本文的主要工作和成果如下:1.针对对抗样本问题,提出一种基于对抗训练和知识蒸馏的防御方法,两阶段对抗知识迁移。此方法先将对抗样本作为训练数据进行对抗训练得到鲁棒性强的复杂的教师网络,完成将对抗知识从数据迁移到模型;其次利用教师网路对干净样本和对抗样本输出的软标签进行知识蒸馏,得到鲁棒性强的学生网络,完成将对抗知识从模型迁移到模型。2.针对对抗样本的应用,提出一种基于知识蒸馏和对抗样本的集成方法。影响模型集成的要素有模型准确性和模型差异性,而知识蒸馏后的模型虽然提高了模型准确性但却降低了模型差异性,所以简单将知识蒸馏后的模型进行集成并不能有效率地提高模型集成性能,这是以往研究没有指出的。本文提出基于对抗样本知识蒸馏的模型集成方法,此方法在初步训练好的模型的基础上,利用对抗样本和干净样本进行知识蒸馏,可以在损失较小模型差异性代价下提高模型性能,再将知识蒸馏后模型进行集成提高模型集成性能。本文针对深度学习对抗样本问题,对深度神经网络和对抗样本问题进行了全面的总结,并提出一种新的防御对抗样本的防御策略和一种基于对抗样本应用的神经网络集成方法,并通过实验验证了所提出方法的有效性。许多研究人员针对深度神经网络的对抗学习完成了重要的工作,但仍存在较多问题,在今后的学习研究中,针对对抗样本形成的原因和对抗样本的应用可能会成为新的研究热点。