深度神经网络中的结构化模型压缩算法研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jhson47
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习技术获得了飞速的发展,并逐渐应用在计算自视觉、自然语言处理等诸多领域。卷积神经网络作为深度学习的一个主要研究分支,在很多的分类、检测和分割等任务上都取得了优于传统方法的表现效果。然而,卷积神经网络的成功是通过庞大的参数组合形成的,多种多样的卷积核相堆叠保证其能提取出丰富多样的有代表性的特征。这也就表明了卷积神经网络的运行需要很好的硬件条件做支撑,这种硬件限制使得神经网络只能停留在实验室中,无法运行在存储量和运算能力较低的移动设备上。实际上网络存在大量的参数冗余,本文针对深度神经网络的模型压缩与优化加速展开研究,主要工作有:针对迭代剪枝容易产生累积误差的问题,提出了一种基于敏感度的逐层剪枝算法。我们首先考虑单个卷积层对整体网络性能的影响程度,定义了卷积层敏感度的概念,定量衡量每个卷积层的敏感度。基于此,不同剪枝率下的剪枝次序将会按照当前状态下的低敏感度卷积层到高敏感度卷积层进行,并且跨层剪枝之间采用了贪心剪枝的方法。该算法能够大大减少单层剪枝之后对网络的损耗,并且后序迭代剪枝也能在一个较高水平的网络性能上进行,避免了迭代剪枝误差放大的问题。在LeNet-5和AlexNet网络模型上,我们的算法在压缩率和加速比等相关指标上都有所提升。针对剪枝在致密网络模型上容易产生滤波器误删的问题,我们提出了一种基于二维图像熵的多级滤波器剪枝算法。我们从滤波器的物理意义出发,定义了基于输出特征图二维图像熵的滤波器重要性评价标准,定量的衡量了每个滤波器的特征提取能力。相比于滤波器范数和参数稀疏度等评价标准,输出熵的评价标准衡量更为准确,且得到的评价指数更有区分性。另外,为避免冗余度较低的致密网络误删现象的产生,我们采用了柔性剪枝的算法,使得迭代之后误删的滤波器能够在模型重构阶段恢复其关键性的参数,保证模型可复原性。最后,我们在典型网络模型上验证了多级剪枝算法与相关算法的实验对比,在LeNet-5上能够达到60%以上的剪枝率,且识别率下降不超过1.00%,在VGG-16上能够达到78.5%的参数缩减和54.5%的浮点运算缩减,并且能够有效减少32.1%的显存占用。另外作为模型剪枝算法的补充,我们采用K-means聚类的后端量化算法对剪枝后的模型进行压缩,进一步减少了75.0%的本地存储空间。
其他文献
研究了聚乙二醇(PEG)溶液共混改性聚羟基丁酸酯(PHB)。DSC、WAXD及力学性能实验表明,PHB/FEG共混物经溶液成膜后,PHB相和PEG相的非晶相部分是热力学相容的,少量PEG的加入,能提高PHB相
模拟考试是高考前学生考试训练的重要环节,模拟试题的设计与评价是试题命制人员与教师需要深入研究的课题,但查阅相关文献资料发现研究人员普遍是研究高考试题命制的方法、技
在包装印刷油墨制造和包装印刷过程中加加减减的“技术堆砌法”和通常在油墨配方设计上采用的“特性粘度法”和“平衡溶胀法”,已远远不能适应现代包装印刷技术的要求。这里介
随着网络规模日益庞大,网络的拓扑结构也随着用户的增加而变得越来越复杂。尤其在专用局域网管理过程中,系统管理员需要在掌握网络运行数据和状态基础上分析处理问题,保证专用网络信息服务质量。网络拥塞是众多网络故障中最为常见的一种。专用网络在解决网络拥塞诊断过程中,传统解决手段主要依靠费时的人工方式进行。这些促使网络拥塞诊断引入新的技术。本文针对专用网络拥塞诊断问题开展研究,通过收集网络数据信息进行关联规则
微型扑翼飞行器(Flapping-wing Mav)是一种以自然界中扑翼方式飞行的鸟类或昆虫为模仿对象的新概念飞行器,以其相对于固定翼或旋翼飞行器特有的重量轻、体积小、机动性强、飞行效率高、反侦查能力强等特点在军民领域具有广阔的发展前景,因而成为新的研究热点。在微型扑翼飞行器的设计中,实现复杂运动模式的飞行机构一直是研究的重点。本文以高效的模式和实现该运动模式的机械结构为研究重点,主要内容包括:以