面向卷积神经网络的结构化剪枝和硬件加速方法研究

来源 :中原工学院 | 被引量 : 0次 | 上传用户:dll4718133
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,以卷积神经网络为代表的深度学习方法取得了巨大进步,并被广泛应用于各种计算机视觉任务,如自动驾驶、工业缺陷检测和智能安全等。可随着识别和检测性能的不断提高,模型容量也在不断增加,因此对计算设备的存储空间、效率和功耗的要求也在不断提高。神经网络结构化剪枝通过剔除模型中的冗余特征,以达到压缩和加速效果,但是目前的方法还存在自适应能力差、步骤繁琐和计算复杂度较高等问题。因此本文对结构化剪枝进行深入研究,提出了一些创新性的方法,最后提出了基于FPGA的硬件加速方法实现剪枝模型的部署。具体研究内容与创新点包括:(1)基于K-Medoid相关性权重聚类和灵敏度分析的结构化剪枝算法。该方法解决了逐层均匀比例剪枝,导致卷积层次优压缩、残留大量冗余参数和自适应能力差等问题。首先逐层将预训练模型的滤波器及其关联性权重在不同剪枝比例下进行KMedoid聚类以获得相似性低的簇;再通过批归一化层重校准技术对聚类获得的剪枝结构进行精度校准,从而构建模型精度损失的灵敏度曲线;最后基于该曲线,在设定的压缩率下进行二分搜索计算全局剪枝率,并逐层对权重进行K-Medoid聚类以获得最终要保留的滤波器。在多个公开数据集的实验表明,该方法可以取得很好的压缩比和加速比。(2)基于二维熵特征评估和快速自适应滤波器选择的网络修剪。尽管现有的剪枝方法已经有很好的性能提升,但仍存在计算复杂和易产生次优剪枝结果的问题。该方法首先使用特征图包含信息量作为理论指导来衡量相应滤波器重要性,以简化复杂的搜索穷举过程。然后,逐层对信息熵进行标准化,并使用该值一次性计算每层的重要性分数。此外,利用剪枝率与卷积层重要性之间的负相关关系,构造了稀疏约束方程。在此基础上,采用Nelder-Mead搜索算法快速、自适应地确定剪枝结构。最后根据剪枝率和二维熵继承重要权值,并通过微调恢复模型性能。在CIFAR-10/100和ILSVRC-2012数据集上的大量实验表明,该方法可以在减少许多FLOPs和参数时仍达到相当高的精度,超过目前一些先进的方法。(3)快速子网络评估的PSO自动剪枝算法。针对目前结构化剪枝方法步骤繁琐,效果依赖于设计者的专业经验,提出了该方法。首先,由于深度网络模型结构复杂,直接搜索最优子网络结构是代价昂贵,所以本研究将网络模型表示为结构向量,并提出剪枝步长来压缩搜索空间;然后在设定稀疏约束下利用粒子群优化算法来寻找最优子网络结构,其中引入自适应批归一化评估策略来加速粒子的寻优速度;最后在多个流行的卷积神经网络模型上进行的广泛实验表明,该算法比传统的通道剪枝方法和一些基于自动剪枝的方法具有更好的性能表现。(4)面向FPGA动态定点量化和并行化设计的CNN硬件加速方法。针对庞大的计算量使得深度卷积神经网络难以部署在资源紧张、功耗灵敏的嵌入式设备上的问题,提出了基于动态定点量化和并行化设计的CNN硬件加速方法,以验证剪枝网络在其上的性能。首先采用动态定点量化技术对网络模型进行稀疏化压缩处理,从而降低网络模型计算位宽。其次,针对计算密集的卷积层,设计矩阵分块策略及多位宽流水线并行设计充分挖掘计算并行度,提高数据复用率;另外,使用二维池化分离策略将二维池化分解为两次并行一维池化,大大减少了寄存器的使用;最后以K-Medoid相关性权重聚类和灵敏度分析的结构化剪枝方法为例,将获得的硬件友好的剪枝网络部署在FPGA硬件加速器上。实验从精度、资源使用和功耗效率方面,证明了基于FPGA的CNN硬件加速的可行性和高效性。本文从硬件设备友好的结构化剪枝出发,提出了一系列神经网络修剪算法,解决目前剪枝框架步骤繁琐,次优剪枝和计算复杂度高等问题,并设计了一个基于FPGA的CNN硬件加速器。这些工作对实现深度神经网络的工业缺陷检测和智能安防的信息技术领域的应用具有积极意义。
其他文献
随着信息技术的快速发展,互联网金融正以前所未有的速度渗透进高校校园之中。网贷平台为大学生日常资金需求提供了快捷的渠道,但是由于不少平台缺乏有效监管,使得大学生很容易成为不法校园贷的侵害对象。以石家庄学院学生为调查对象,从学生基本信息、经济情况、消费状况、信贷产品接触使用及认识情况和征信意识等几个重要维度入手进行实证分析,再结合实地访谈综合分析不同维度对大学生的影响。研究发现,校园贷的发生是产品供给
近年来,化学化工类实验室科研安全事故时有发生,造成了一定的人员伤亡和社会影响。如何科学地开展安全教育工作,是一个具有挑战性的课题。发生安全事故时,通过做好安全防护及应急处置,可有效避免或减轻财产损失和人员伤亡。高校应该重视这些“事故案例”,着重事故原因分析,利用实验室视频系统收集实例,在实验课、系所的安全教育培训环节中充分利用这些鲜活素材,使之发挥警示作用,有助于师生安全意识的培养,印象更加深刻,
2021年广东省药品监督管理局开展了天然胶乳橡胶避孕套专项监督抽检工作,该专项监督抽检的依据是产品技术要求?、GB/T 2828.1-2012和GB/T 2828.4-2008。针对本次专项监督的抽检情况、不合格项目情况等方面进行分析,总结并提出相应的建议。
两种互不相溶的流体互相驱替的现象在自然界和工业领域中有着重要应用,也是界面流体力学关注的重要问题。在驱替的过程中,界面由稳定弯月面状态到失稳发生润湿转换,其中包含了移动接触线的动力学和固体基底表面的三维效应,对其机理的探究可以助力工艺技术的快速提高。本文通过实验的手段对复杂几何壁面上的两相驱替问题进行了研究,主要的工作和研究成果如下:(1)实验研究了部分浸润的水平圆形毛细管中的润湿转换问题,主要关
在我国经济体系中,农村经济占据重要地位,农村经济发展对我国国民经济发展具有积极的促进作用,对解决“三农”问题有重要影响。随着国家对农村经济发展的重视度不断提升,我国农村经济实现了快速发展,农民收入不断提高。在新时代背景下,农村经济要想保持良好的发展势头,需要不断强化管理。因此,相关管理部门要重视农村经济管理,不断优化农村经济管理措施,为我国农村经济的发展贡献力量。
朋克艺术作为上个世纪七十年代在全球兴起的一场艺术创新活动,其中既有青年人对现实生活的不满,又能看出很多人们对于未来世界的没好憧憬。与其它设计风格不同的是,这种设计风格更加注重设计作品与人之间的情感交流。在进行设计过程中,朋克设计元素所受到的约束力不是很大,很多设计元素都可以直接拿过来使用。朋克元素在服装设计上的应用,特别实在奢侈品服饰设计中的运用十分广泛,如何更好地通过朋克元素设计出更加符合人们心
通过公司蓬勃发展过程中出现的诸多老大难工程项目反思技术管理的重要性。结合公司技术部及项目部在施工全过程周期的各阶段角色的不同,具体的分析如何做到有效技术管理及公司与项目开展有效技术管理的具体措施。
<正>我们的口号是"大家一起谈恋爱",在一座城市掀起一场轰轰烈烈的爱情浪潮。态度影响思路,思路决定出路。一家成功的影楼或者工作室,往往具有一定的影响力和市场号召力。如果想在影楼行业走得更远,就必须富有活力和感召力,必须跟上85后、90后的恋爱步伐,敢想敢做,爱就爱了。
期刊
在网络信息化时代,企业为优化内部管理,提高市场竞争力,就需要顺应时代发展的趋势,推动企业管理的信息化建设。本文分析了网络信息化时代下的企业管理优势,并针对企业管理存在的问题,提出了应对策略,希望能帮助企业抓住网络信息化时代的机遇,实现企业的高质量发展。