【摘 要】
:
随着大数据和计算机硬件的发展,训练大型深度神经网络(Deep Neural Networks,DNN)已经成为可能。因此深度神经网络近些年受到了广泛的研究,并且应用于人脸识别、图像分类、自动驾驶、自然语言处理等人工智能领域。虽然在这些领域中深度神经网络都有优秀的表现,并且在部分任务中的表现已经能够领先人类。但是大部分深度神经网络模型都存在体积大(模型存储时占用空间大)以及运行所需计算量大的缺点,严
论文部分内容阅读
随着大数据和计算机硬件的发展,训练大型深度神经网络(Deep Neural Networks,DNN)已经成为可能。因此深度神经网络近些年受到了广泛的研究,并且应用于人脸识别、图像分类、自动驾驶、自然语言处理等人工智能领域。虽然在这些领域中深度神经网络都有优秀的表现,并且在部分任务中的表现已经能够领先人类。但是大部分深度神经网络模型都存在体积大(模型存储时占用空间大)以及运行所需计算量大的缺点,严重限制了其在手机等低性能设备上的部署。因此需要对于深度神经网络模型进行压缩,减少模型体积以及运行所需计算量,以利于模型的传输以及模型在低性能设备上的运行。所以研究深度神经网络模型压缩对于模型在低性能设备上的部署具有很大的意义。对于深度神经网络模型存在的缺点,本文对于模型使用模型剪枝的方法,大大减少了模型体积,同时在CPU以及GPU上获得了实际的加速效果。本文的主要研究内容如下:本文提出了一种新的卷积核结构L2-Conv,L2-Conv在前向传播之前将卷积核进行无梯度分离操作,分离为方向卷积核以及卷积核半径。通过对于卷积核半径进行更新,可以拉开模型卷积核的L2范数数值,解决了使用L2范数对于卷积核重要性排序方法的不足。使得模型的重要卷积核和非重要卷积核易于区分,以利于对模型进行卷积核剪枝。使用L2-Conv搭建的模型在cifar10以及cifar100数据集上准确率并不会受到影响,并且在模型部署时不会增加额外的计算量。本文在L2-Conv卷积结构的基础上提出了L2-prune算法,L2-prune算法使用迭代的剪枝方式。L2-prune算法包括本文提出的修剪率设置算法、迭代剪枝时每次修剪率的设置算法以及学习率等超参数的设置方法。修剪率设置算法会根据模型每层的重要性、计算量、体积等因素自动给出模型每层的修剪率,简化了模型的剪枝操作。通过给模型不同层设置不同的修剪率,使模型达到预设的压缩率或者计算量下降率的同时,避免修剪掉重要的卷积核。本文将L2-prune剪枝算法和SFP、FPGM、APOZ等方法进行了比较,在相同修剪率的设置条件下,本文提出的L2-prune剪枝方法在部分模型上相比于对比方法在准确率上有一定的领先,即使没有领先也和最优的算法在同一水平线上。在剪枝实验中,L2-prune可以在无损准确率的情况下,将cifar10数据集上的Res Net56模型计算量减少60%。将cifar10数据集上的VGG16_bn模型体积压缩10倍,并且在GPU上获得2.34倍的加速效果、在CPU上获得3.62倍的加速效果。
其他文献
随着时代的发展,档案利用也被赋予更多的意义和作用。档案馆作为集中保管大量档案的处所,为了使其所保管的档案充分发挥价值就离不开档案利用。为了进一步了解我国地方档案馆档案利用的基本现状,笔者选取了武汉市新洲区档案馆作为调研对象,期望能深入地对我国区级综合档案馆档案利用问题进行系统的调查分析。本文首先对武汉市新洲区档案馆的发展历程、馆藏档案及其他方面的情况进行了简单的概括。在此基础上,以实地走访调研与问
随着工业化、城镇化及农业生产机械化进程的进一步加速,越来越多的农村富余劳动力转移到城市就业,逐渐演化形成了一个极具中国特色的社会群体——农民工。在融入城市的过程中
随着一般医疗监测设备(例如,血压仪、血糖仪等)的逐步普及,医疗卫生监测将不再完全局限于医院等公共医疗服务机构,意味着人们的健康意识越来越强。未来,无线体域网(Wireless body area network,WBAN)作为现有传统医疗监测技术的有效补充,将使医疗卫生监测更加方便。对于家庭而言,基于WBAN的感知系统可以为家庭成员提供实时、被动、无创、高精度的呼吸、心率等生命体征监测。收集这些数
随着互联网技术的高速发展,信息技术的进步与发展俨然已经成为我国社会发展的重要前提,安全性则是信息驱动系统中不可或缺的特性之一,其包含干涉性、匿名性和隐蔽性等。而对于信息驱动系统来说,任何重要信息都不应该被未经授权的用户(称为入侵者)所破坏或者获得。干扰性的概念就是去避免任何的信息泄露,防止入侵者得到任意的秘密信息。现有的通过建立网模型来研究系统干扰性的方法,大多数都是采用全局式的诊断方法,灵活性和
煤化学链气化技术将“无焰燃烧”理论应用于循环流化床,借助载氧体传递煤气化过程中所需氧与热量,实现煤炭的清洁转化。目前,煤化学链气化技术的工业化应用尚未成熟,其中兆瓦级装置的自热运行,载氧体的规模化制备及其反应性能调控等问题仍需解决。针对上述问题,本文首先运用Aspen Plus软件对煤化学链气化的热力学进行分析;通过制备锰基钙钛矿载氧体,进而研究了锰基钙钛矿载氧体/煤化学链气化的反应性能及其循环反
近年来,化石能源的日渐枯竭和环境污染问题的日益严重,使清洁的太阳能备受瞩目。光热转换作为高效利用太阳能的主要形式之一,也越来越受到人们关注。理想的光热材料,应具有高的光热转换效率,同时能有效降低热辐射损失。目前商品化的光热材料主要以黑色金属复合材料为主;但是,该类材料存在腐蚀和光热转换率较低的问题。对此,开发具有耐酸碱性和高光吸收能力的氮氧化物光热材料,成为解决上述问题的可行途径之一。既而,具有宽
贵金属纳米结构中能够形成表面等离子体共振(SPR)效应,这一效应包含表面等离子体激元(SPPs)和局域表面等离子体共振(LSPR)。利用金属纳米结构可以增强一系列光学效应,如表面等离子体增强的光催化、光吸收、光伏效应、和光学非线性过程等。而全无机胶体钙钛矿具有高载流子迁移率,长载流子扩散长度,带隙可调,以及与贵金属纳米晶体的局域表面等离子体共振良好重叠。因此可以通过合成贵金属和全无机胶体钙钛矿复合
目前,大数据在交通领域得到越来越广泛的应用。例如,综合不同区域、不同范围、不同部门的交通大数据,可以及时准确地反映人、车、路随着时间空间的变化情况;利用交通大数据可以优化配置交通资源,实现动态化交通管理,提升道路交通资源利用率;利用交通大数据分析机动车速度、驾驶员行为等可以提高高风险道路辨识的准确性,从而使车辆及时进行避障处理,保障交通安全。在目前交通大数据研究和应用中,存在以下的问题:未将交通大
近年来设计思维越来越多地被工程教育界提及并置于重要位置,斯坦福设计学院、欧林工学院等多所国外院校均已将设计思维投入教学实践中以提高学生的工程认知素养,我国在这方面的理论及教学实践还均处于探索阶段。本文旨在面向工程专业学生特别是大一新生的工程认知教育,通过研发基于设计思维的教学框架与教学工具,意图对工程实践中的创新、协作过程进行引导与监督。本文的主要贡献和创新如下:首先,本文提出了一种基于设计思维工
随着经济的发展和现代信息社会的进步,人们对于通信网络质量的要求也越来越高,卫星网络作为地面网络的补充和延伸,凭借其覆盖面广,可达性强的优势,在现代网络体系中扮演着越来越重要的角色。多路径传输技术通过在多条路径上并行地进行数据传输,能够聚合路径带宽,提高传输效率,在卫星网络中具有广泛的应用前景。但是卫星网络长时延且异构和高丢包率的特点,使得现有的多路径拥塞控制方案和数据调度策略的带宽利用率低,吞吐量