基于参数修剪和共享的深度神经网络模型压缩方法研究

来源 :东南大学 | 被引量 : 1次 | 上传用户:adward006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络由于计算量大和参数存储成本高,使得在计算和功率资源有限的嵌入式系统上部署困难。本文基于参数修剪和共享的方法基础上,针对深度神经网络压缩的问题展开研究,着力于提高深度神经网络的压缩率,降低卷积层中的计算成本。主要研究工作如下:首先,介绍了深度神经网络压缩技术的发展现状,总结了压缩网络的典型方法,即参数修剪和稀疏、权值量化和参数共享、矩阵分解。介绍了深度神经网络的基本原理和基本结构,包括前馈神经网络、反馈神经网络和BP神经网络。对实验所采用的卷积神经网络的卷积层、池化层和非线性层进行了具体研究,以及介绍了典型卷积神经网络模型。其次,对比分析了基于参数修剪的两种主要方法,即非结构化剪枝和结构化剪枝。具体研究了基于非结构化剪枝的迭代剪枝和基于泰勒展开准则的结构化剪枝的两种深度神经网络压缩方法。介绍了神经网络参数共享的四种基本方法,随机化参数共享、基于哈希函数的参数共享、基于结构化矩阵参数共享和基于向量量化的参数共享。对比分析了单次修剪再训练、迭代修剪再训练和密集-稀疏-密集再训练的三种网络再训练策略。然后,将动态修剪网络权重方法和参数共享方法相结合。一方面在参数修剪的基础上,强调了以动态方式修剪网络。具体地,通过在修剪过程中引入剪接操作,最大程度保留网络中重要的权重连接,避免修剪过程中存在的误操作,从而保证了模型的精度和减少了模型的学习时间。为了进一步提升精度,在修剪过程中加入正则化。基于CIFAR-10数据集的AlexNet网络通过L1正则化精度提升了0.4%左右。另一方面,在参数修剪完成后通过K-Means方法量化权重,使得参数共享,加大深度神经网络的压缩。这种方法对基于ImageNet数据集的AlexNet网络实现了52倍的无损压缩。最后,提出了结合深度神经网络滤波器剪枝的混合修剪压缩方法。一方面,通过动态方式修剪滤波器,使得网络中修剪后的滤波器在模型训练过程中继续参与更新,保证了模型在修剪过程中的容量,从而稳定了模型的精度。由于模型修剪和训练步骤同时进行,省略了一般滤波器修剪过程中的微调程序,从而节省了模型的学习时间。该动态滤波器修剪方法对基于CIFAR-10数据集的ResNet-110网络实现了40.8%的卷积运算加速,而且只有0.3%的精度损失。另一方面,对动态滤波器剪枝后的网络进行动态权重修剪和参数共享,进一步删除冗余的参数和降低参数存储成本。该混合修剪压缩方法对基于MNIST数据集的LeNet-5实现了105倍的压缩和70%的卷积运算加速,对基于CIFAR-10数据集的AlexNet网络实现了38倍的压缩和73%的卷积运算加速,并且没有造成精度损失。
其他文献
目的:观察温针灸跷脉八脉交会穴治疗髓海不足型痴呆的临床疗效,并为临床痴呆的治疗提供疗效确切的新方法。方法:采用随机数字表法将自愿参与本课题的60名符合研究条件的患者
尼氏真绥螨Euseius nicholsi(Ehara et Lee)隶属于植绥螨科Phytoseidae,是一种重要的捕食性螨类,主要捕食二斑叶螨(Tetranyus urticae)、柑橘全爪螨(Panonychus citri)、苹果
在油气田开发过程中,压力试井是获取地层动态参数的有效手段之一。目前,压力数据在试井中应用十分广泛,但温度试井理论同样具有很高的研究价值。一方面温度数据具有较高的测
耗能梁段作为一种基本构件,可以减轻整个结构的损伤并且耗散地震能量,在高层或超高层偏心支撑钢框架结构以及剪力墙中的钢连梁构件有广泛的应用。它可以改善整个结构的延性、
本文完成的主要工作是设计并实现了一种生成式对抗网络中的生成器结构——Inception-transRes Nets,可以作为生成式对抗网络及其多种衍生模型的生成器的实现结构,应用在多种大小不同的图片数据集上。Inception-trans-Res Nets主要使用卷积与转置卷积构建,使自身具有稀疏连接的结构,在扩展神经网络的深度和宽度的同时保持适中的参数量;通过并联多个尺度的转置卷积,使同一个网络
自催化反应由于未知的意外引发和短时间内大量热量和气体的放出,所以其热分解过程通常被认为是及其危险的。热安全性评价的目标在于确定热失控的临界条件以及发生热失控前所
随着经济全球化的发展,以及我国“走出去”政策和“一带一路”倡议的提出,我国对外直接投资规模不断扩大,作为产业转移、资源重新配置的重要途径,对外直接投资的发展给我国制造业企业带来了新的机遇和挑战。因此,探讨如何顺应对外直接投资的发展趋势,利用政策引导制造业转型升级具有重要意义。为了探讨对外直接投资对制造业结构升级的影响,本文先对对外直接投资、制造业结构升级等核心要素概念进行界定,并阐述了与对外直接投
球形检测器是供水管道漏失检测的重要技术装备,其在管道内部稳定运行会受到管内流体状态的影响,为保证漏失检测球能在有压供水管道底部平稳滚动,研究了球形检测器管内运动特
由于海上漂浮式风机缺乏刚性结构基础以及受到远比陆上风机更大的风-浪外部载荷的影响,海上漂浮式风机的运行环境比陆上风机和定桩式海上风机更为恶劣,如何使得漂浮式风机在
目的:在督脉理论指导下,探索何种方法能改善阿尔茨海默病并发尿失禁,以求提高患者的生存质量,在一定程度上减轻照顾者负担。方法:符合纳排标准的62例AD尿失禁患者,均以Excel