基于密度峰聚类的卷积神经网络剪枝算法

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:qq120110023
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络在图像领域的成功得益于其层数和神经元数的增加,然而这使得深度卷积神经网络部署于资源有限的硬件设备时会受到模型计算成本的制约。为解决该问题,本文针对深度卷积神经网络的轻量化问题展开了研究,主要研究工作如下:本文将卷积核剪枝引入到卷积神经网络中,利用剪枝算法对模型参数进行轻量化操作,而传统magnitude-based权重剪枝方法只着眼于卷积核权重值本身,没有考虑到卷积核之间的关联。在大比例剪枝的情况下,很容易造成卷积核空间结构的破坏,从而导致剪枝后模型精度的大幅下降。考虑到卷积神经网络模型中各卷积核在提取图像特征时呈现出一定的类别性,相似的卷积核会从相似的角度提取特征,这就构成了信息的冗余。本文通过Activation Maximization(AM)算法仔细探究卷积核的类别性,提出一种基于密度峰聚类的剪枝算法。该算法基于密度峰聚类利用卷积核的权重参数尽可能提取卷积核之间的相似性信息,将各卷积层中的权重结构相近的卷积核划入相同的簇。随后在每个簇内采用Average Percentage of Zeros(APo Z)从激活值角度反向对卷积核进行重要性排序,移除重要性较低的冗余卷积核。相较于传统的magnitude-based权重剪枝方法,所提方法能够更有针对性的选取冗余卷积核,在尽可能大的提高压缩比例的同时避免对某些簇的过度修剪,从而保证剪枝后特征提取的多样性。在全卷积神经网络上的实验表明,本文方法在维持较小精度损失的前提下,实现了较高的模型参数压缩比。同时,在相同压缩比下,本文方法相较于APo Z等经典magnitude-based剪枝方法有更好的表现。
其他文献
本文以科技管理信息系统目标为切入点,简单阐述科技信息系统需实现信息数字化、工作智能化要求,以此为基础,提出基于MVC模式的科技管理信息系统设计架构,从而为相关工作者提供参考,提高系统可用性。
为了实现高强度级别水电工程用钢的工业应用,研究了800 MPa级高强水电钢的焊接性能,分析了预热温度、焊接方式对不同厚度规格钢板冷裂纹倾向和焊接接头力学性能的影响。结果表明:当焊接预热温度为70℃时,可以保证钢板不出现冷裂纹且具有良好的焊接工艺适应性。采用两种焊接方式的焊接接头力学性能均满足标准要求。
任弼时是中国共产党第一代领导集体的重要成员,是延安时期确定的中共中央五大书记之一,他长期致力于对加强党的领导的探索,形成了丰富的探索内容,取得了加强党的领导的突出成效,为新民主主义革命时期中国共产党的发展壮大做出了重要贡献。任弼时对加强党的领导的探索主要有四个动因:一是马列主义领导理论的内在要求,三年旅俄学习经历对他后来的理论发展和实践工作产生了深远影响,使得任弼时深刻认识到了加强党的领导的必要性
目前我国对LNG低温储罐內罐X7Ni9 (9Ni钢)材质壁板焊接通常采用焊条电弧焊(SMAW)、埋弧焊(SAW)、氩弧焊(GTAW)等焊接方法,对于对接纵缝通常采用SMAW和GTAW的焊接方法 ,对接环缝采用SAW和SMAW的焊接方法 。因SAW焊具有机械化程度高、效率高、焊工人员需求少、质量稳定等特点,所以除了内罐无法使用SAW的环缝以外,其余焊缝全部采用SAW方法焊接。因此在壁板环缝的焊接过程
目的:探究在胎膜早破患者护理中施行卡片式健康教育法的效果。方法:选取本院2019年3月至2020年3月收治的80例胎膜早破患者为研究对象,根据护理方式的不同分为观察组和对照组,各40例。对照组接受常规护理,观察组在对照组基础上接受卡片式健康教育法。比较两组患者护理前后焦虑、抑郁评分、产程、产后并发症发生率、新生儿并发症发生率及护理满意度。结果:两组患者护理前焦虑、抑郁评分比较,差异无统计学意义(P
以利他为核心的志愿服务是与社会发展和社会文明进步相关的重要事业。目前,我国很多大学生投入到志愿服务的行列当中,特别是新冠疫情期间,大学生志愿者不惧风险、“逆行”而上,众志成城,为疫情防控做出了重大贡献。本研究按目的性抽样选取云南省高校中具有代表性的综合类、理工类、民族类、师范类的四所高校开展大学生参与志愿服务的动机研究。主要研究方法是问卷调查和深度访谈。本研究在借鉴前人研究的基础上,将大学生参加志
伴随信息化时代的发展,软件开发模式也在实际应用中逐渐成型和完善,现今开发项目越来越大,而各种开发模式的优缺点也凸显出来,开发者们经过不断的技术优化和改进,已经逐步发展出基于MVC模式的三层架构的框架,并且开发出了一系列的框架技术,让软件开发工作变得越来越轻松。
期刊
传统观点认为"殷人尚白",传世文献也屡见"殷人尚白"的记载。从甲骨刻辞和考古资料可知,殷人尚白观念至少表现在四个方面:一是用白色牺牲祭祀祖先。在白色牺牲之中,尤以白牛作为祭祀祖先的最佳祭品。二是对白马予以特别关注。在甲骨刻辞中有以进贡白马为主题的记录,还有特别卜问白马健康及马驹颜色的记录。三是制作白色的祭祀礼器。青铜器的原色以白色为主,器型丰富,纹饰多样。白陶成器条件繁难,存世量极少。殷人的尚白观
试验研究了厚壁管线钢多丝埋弧焊接工艺,优化设计了钢级X70、厚壁36.5mm直缝埋弧焊接钢管的内焊四丝、外焊五丝的多丝埋弧焊接工艺参数,并成功开发出应用于X70Φ1016×36.5mm深海用大口径厚壁直缝埋弧焊管的生产线试制。试验检测结果表明,试制钢管的焊缝强度达676MPa,-40℃冲击韧性平均121J,0℃下CTOD的平均值为0.54mm,焊接接头的各项性能完全可以满足深海工况对海底管线的苛刻