【摘 要】
:
卷积神经网络在各类计算机视觉任务中都有成功的应用,但是随着网络参数的增多,卷积神经网络需耗费大量的计算资源,因此很多对网络模型进行压缩和加速的方法被提出。网络剪枝是一种常见的网络压缩方法,滤波器剪枝(Filter Pruning)和通道剪枝(Channel Pruning)通过完整地移除网络中冗余的滤波器或特征图通道以达到压缩网络的目的;除此之外,权重剪枝(Weight Pruning)和卷积核剪
论文部分内容阅读
卷积神经网络在各类计算机视觉任务中都有成功的应用,但是随着网络参数的增多,卷积神经网络需耗费大量的计算资源,因此很多对网络模型进行压缩和加速的方法被提出。网络剪枝是一种常见的网络压缩方法,滤波器剪枝(Filter Pruning)和通道剪枝(Channel Pruning)通过完整地移除网络中冗余的滤波器或特征图通道以达到压缩网络的目的;除此之外,权重剪枝(Weight Pruning)和卷积核剪枝(Kernel Pruning)以更精细的模式对网络中的冗余参数进行剪枝,被剪枝的单位多为卷积层权重中独立的权值而非完整的滤波器。然而上述剪枝方法大多会存在网络准确率下降较大或剪枝后的稀疏模型不易配置等问题,给网络的压缩工作造成困难。为了解决上述剪枝方法中存在的问题,本文试图利用分组剪枝算法对网络进行压缩和加速。分组剪枝是从传统网络剪枝方法中发展而来的新型剪枝模式,该方法通常利用某种分组标准对卷积层中的滤波器进行聚类分组,然后在各个滤波器组内进行传统剪枝操作,最后将剪枝后的稀疏参数结构重构成稠密的组卷积(Group Convolution)参数结构。组卷积结构已得到充分的研究和发展,可在各类硬件软件平台中高效运行,因此分组剪枝通常可以在几乎不损失网络准确率的前提下对网络进行有效的压缩。但是现有分组剪枝算法通常使用随机分组或传统的聚类算法对滤波器进行聚类,无法获取滤波器数据间的相关关系,从而无法将滤波器分入合理的组内。除此之外,现存分组剪枝算法通常使用传统的剪枝策略对分组后的滤波器进行剪枝,并没有针对分组结构提出更合理的剪枝策略,这将会进一步导致网络的准确率下降。综上所述,本文进一步提出三种新型分组剪枝算法,使分组剪枝算法能够充分利用滤波器间的相关关系对其进行更合理地分组,并针对分组结构设计剪枝策略,从而在不影响模型准确率的情况下对卷积神经网络进行压缩和加速。具体地,文中将针对分组剪枝算法中的分组与剪枝两个问题提出三种新型分组剪枝算法。其中,第一个方法为基于核主成分分析的分组剪枝算法(KPGP),该方法利用核主成分分析法对卷积滤波器进行降维,并且针对滤波器的数据特点为核主成分分析法设计了一种混合核函数;在降维后,KPGP算法对传统K-Means算法进行改进,利用变式K-Means算法将降维后的滤波器分成相同大小的组中;随后利用基于范数的剪枝策略对参数进行剪枝。该方法主要证明了基于核主成分分析的分组算法能更好地获取滤波器间的相关关系,将滤波器分入合理的组中。随后,本文提出了基于谱聚类与参数几何特性的分组剪枝算法(CSGP),该方法发现卷积滤波器之间是呈非高斯分布的,研究表明谱聚类更适合对非高斯数据进行聚类,因此CSGP算法中设计了基于谱聚类的分组方式。该聚类方法对传统谱聚类算法进行了微调,利用k-邻近算法构造数据的相似度矩阵,并通过随机游走算法构造拉普拉斯矩阵,最后选择利用变式K-Means算法对拉普拉斯矩阵的特征向量进行聚类,得到分组结果。此外,CSGP算法还提出了基于参数几何特性的剪枝算法以替代传统的基于范数的剪枝策略,可以利用几何特性找出冗余参数,更有效地保留网络的有效信息。最后,本文进一步提出了基于彩票理论和参数相似度的动态分组剪枝算法(TMI-GKP),该方法受前两个方法的启发,发现网络中不同卷积层中的参数通常具有不同的数据特性,因此选择利用动态分组方式代替单一分组方式。TMI-GKP首先利用剪枝算法中的彩票理论(Lottery Ticket Hypothesis)为每一层选择合适的分组方式,然后提出了基于参数相似度的剪枝策略。基于参数相似度的剪枝策略可以找出参数中能够包含几乎所有信息的子集,并利用该子集代替原始参数以达到压缩的目的。实验证明TMI-GKP算法的效果可以超越其它先进剪枝算法。本文通过上述三种不同的分组剪枝算法对现有的网络压缩理论进行了优化,可以在保证模型原本精度的情况下对网络进行压缩和加速。
其他文献
本研究围绕光声成像在克罗恩病中的研究为主题展开并讨论,主要包括四个方面:多光谱光声成像在克罗恩病动物模型中的研究、多光谱光声成像在人体克罗恩病中的研究、弹性-光声成像在克罗恩病动物模型中的研究、内窥式光声成像在克罗恩病中的研究。本工作在介绍理论背景以及前期临床研究的调研工作后,首先讨论了使用多光谱光声成像在克罗恩病动物模型中的研究这一课题。多光谱光声成像实现了光声成像可以提供生物分子含量信息的功能
本论文研究了多种类型的环形纳米光学天线,在可见光波段可实现宽带可调的自发辐射增强,基于角向传播表面等离激元(surface plasmon polaritons,SPP)模式,建立了SPP半解析模型,明确了天线自发辐射增强背后的物理机制。当荧光分子或量子点等辐射源置于纳米光学天线附近时,由于天线谐振效应,辐射源的自发辐射速率将会得到显著提高。由于分子或量子点的荧光发射波长范围通常在几十到几百纳米,
研究背景及目的肝细胞癌(hepatocellular carcinoma,HCC)是肝脏常见的恶性肿瘤,患者的五年生存率较低,主要与HCC的治疗选择有限,强侵袭和转移特性有关。糖基化修饰不仅参与调控癌细胞的生长和增殖,还能调控癌细胞间的粘附作用,促进癌症的转移和侵袭。然而,糖基化修饰参与HCC发展和转移的具体机制尚不清楚。因此,本研究结合蛋白质组学和糖蛋白质对不同临床状态的HCC组织和其上皮-间质
过渡金属活化过硫酸氢盐(PMS)降解有机污染物技术近年来发展潜力巨大。均相催化剂如二价钴离子(Co2+)和非均相催化剂如合成的铜-钴氧化物、零价铁(Fe0)廉价易得、催化效率高、反应条件温和,可以有效激发PMS,产生硫酸根自由基(SO4·-)和羟基自由基(·OH)等活性物质。本研究利用铜-钴氧化物、Fe0和Co2+活化PMS技术,研究多种新兴有机污染物如磺胺类抗生素(SAs)、双酚类化合物和邻苯二
随着互联网技术的飞速发展和信息流量的持续增长,芯片层面的超高速、低延迟、大带宽的硅光子功能器件日益受到关注。但受限于硅的间接带隙半导体属性,其禁带宽度较窄,内部存在多种非辐射复合机制,导致了其发光效率极低,给片上光源的发展和应用带来了极大挑战。硫系材料具有超宽的透过光谱范围、较高的非线性、较低的吸收及丰富的材料组分等特点,能打破片上光源发展受限的局面,从而成为国际研究热点。以此为基础发展起来的片上
铜铟镓硒(Cu(In,Ga)Se2,简称CIGSe)薄膜太阳电池因具有成本低廉、绿色无毒、光吸收系数高、带隙可调、电池转换效率高等特点,受到广泛关注,目前采用真空法获得的最高转换效率为23.35%,是最有发展潜力的太阳电池之一。电沉积法制备CIGSe薄膜具有设备成本低、工艺简单、材料利用率高等优势,是目前研究高效低成本CIGSe薄膜太阳电池的主要方向。然而,电沉积法制备CIGSe薄膜太阳电池的最高
阿拉善地块北缘位于中亚造山带南缘关键位置,东西连接天山-北山造山带和兴蒙造山带,记录了晚古生代古亚洲洋从俯冲到消亡的关键构造演化信息。阿拉善地块北缘诺尔公-狼山构造带发育广泛的构造变形和大规模的岩浆-火山活动。本文在1:5万构造地质填图研究基础上,对诺尔公-狼山构造带的晚古生代侵入岩体、火山岩、侵入构造带变形和未变形的岩脉以及沉积岩石进行系统的岩石学和地质年代学研究,限定这些岩石的形成时代,并对构
伽罗瓦理论的建立带来了代数学在研究对象、内容和方法上的重大革新。为了解决伽罗瓦理论为什么能够建立、又为什么能够由关于代数方程的理论转变为关于抽象代数结构的一般理论这两个问题,本文在原始文献和研究文献的基础上,以理论的核心概念伽罗瓦群为线索,将研究聚焦于伽罗瓦和戴德金的工作,通过考察数学家的研究动机、关键思想的内在联系和遗留问题,系统研究了伽罗瓦理论从伽罗瓦到戴德金的历史发展,取得了如下主要成果:1
铜铟镓硒(CIGS)薄膜太阳电池具有成本低、转换效率高、弱光响应好、性能稳定、及可实现柔性化的优点,是当前国际上最具有前景的薄膜太阳电池之一。而重碱金属的后处理(KF-PDT、Rb F-PDT、CsF-PDT)是提升CIGS电池器件性能的关键因素。CIGS电池的最高效率23.35%就是采用重碱金属CsF-PDT实现的。虽然重碱金属的后处理(Alkali-PDT)在提升CIGS薄膜太阳电池效率方面起
物体6D姿态估计技术是人工智能三维感知领域核心问题之一,旨在帮助机器更好地感知世界的三维信息,是机器人控制,自动驾驶,增强现实应用中的核心技术。近年来受到了研究人员和相关行业从业者的广泛关注。目前的方法大多利用深度卷积神经网络学习图像和物体6D姿态间的映射关系。然而这类方法依赖大量人工标注的图像数据进行学习,不仅标注成本极高,并且容易陷入对单一场景的过拟合,导致在开放环境中性能下降,在实际应用中效