在近些年中,深度卷积神经网络有了迅速的发展,它已经应用于多个领域,包括图像分类、物体检测、语义分割等等。随着在这些任务结果精度的提升,网络的结构也越来越复杂,占用空间也越来越大。然而,实际应用中,比如应用在手机等设备上,我们往往无法提供足够的计算资源和存储空间给这些重量级的网络模型。所以模型压缩成为了深度神经网络发展的一个重要研究方向,本文研究了一种名为知识蒸馏（knowledge distillation）的模型压缩方法,并提出了两种创新的知识蒸馏形式,取得了领先目前该领域研究水平的成果知识蒸馏的主要思想是使用一个结构简单的学生模型（student）向一个结构复杂的教师模型（teacher）进行学习。通过知识传递过程,让学生模型的结果尽可能接近教师模型,如果可以让这个过程无损失的进行,那么,我们可以认为将教师模型压缩成为了一个小型的学生模型。本文对于知识蒸馏过程进行了详细的实验探究,指出在知识传递过程中起关键作用的是神经网络中进行降采样过后的特征层。同时提出将神经网络进行拆分的方法,分成骨干网络和任务分支网络两部分,指出我们只需要保证骨干网络从老师模型学习到足够的知识,任务分支可以通过骨干网络的结果,进行调整和再训练。并利用这些性质,提出了分阶段进行知识蒸馏的策略。同时,引入一个辅助学生模型进行学习的助手模型（Assistant）来辅助学生模型进行学习。主要思想为,考虑到直接进行知识蒸馏,学生和老师之间可能存在误差,使用助手模型来学习模拟误差的分布,最后在使用数据进行验证时,同时使用学生和助手两个模型进行测试。在助手模型的帮助下,可以对于原本的学生模型进行修正。