稀疏卷积神经网络加速器设计

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:a619906915
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习理论算法的发展和硬件算力的提升,卷积神经网络被广泛应用在众多领域。然而卷积神经网络的参数量、计算量的增加,使得在嵌入式、移动端等终端设备上部署难度加大。网络剪枝可以有效减少网络模型的参数量、计算量,但是剪枝导致网络连接呈现不规则性,使得现有的加速器难以利用网络稀疏性进行加速。为了改善上述问题,本文提出了能够充分利用网络稀疏性特点的稀疏卷积神经网络加速器。论文的主要工作如下:(1)针对剪枝后网络非零权重数据少的特性,本文对稀疏卷积神经网络进行建模,分析不同数据替换策略下的数据访存量、中间值缓存量。结合输出通道并行,提出输出通道并行的输入特征滑窗优先(Input Feature Slide First,IFFS)数据流。相比于其它数据流,该数据流的数据访存量、中间值缓存量更少。然后,针对剪枝后非零权重不规则特性,本文设计一种稀疏权重编码方式对权重数据进行压缩编码,只保留非零权重数据,并引入列偏移和索引,记录非零权重的位置信息。采用该编码方法,VGG-16网络的卷积层、全连接层整体稀疏权重压缩比达到6.3,有效减少了权重数据的存储空间占用。(2)基于输出通道并行的IFFS数据流和稀疏权重编码方式,本文设计一款稀疏卷积神经网络加速器。该加速器可以利用剪枝和Re LU激活函数带来的权重、特征稀疏性跳过零值运算。加速器的非零检测模块动态检测输入特征,筛选出非零特征传输给稀疏处理单元组,读取出计算所需的非零权重进行稀疏卷积运算。(3)基于Xilinx ZCU104平台实现稀疏卷积神经网络加速器,并对设计空间进行探索,确定稀疏处理单元组最佳配置。实验表明,所设计的加速器对VGG-16的有效吞吐量为140.7 GOPs,功耗5.067 W,能效25.1 GOPs/W,与已有的卷积神经网络加速器相比,功耗降低1.6~4.6倍,能效提升1.1~7.6倍。
其他文献
传统静脉输液是将药物通过静脉经过表皮穿刺输注体内,这种有创疼痛是无法避免的,无痛静脉输液是指在传统操作的基础上,从技术操作干预、药物干预、心理干预上综合减少操作带来的有创疼痛,进而达到减少甚至无痛的效果。研究表明,无痛静脉穿刺技术有助于帮助患儿减轻或消除对医院环境和白大褂医务人员的恐惧、焦虑、抑郁心理症状,当患儿乐于主动接受护理等各项治疗时,才能最大程度发挥医疗效用。3岁以上的儿童已具备基本的语言
针对投资中腐败行为的指控不仅影响国际投资仲裁庭管辖权的确立,而且对案件的实体审理造成显性或隐性影响。总体而言,在“一带一路”沿线国家国际投资仲裁案件中,腐败问题对投资者造成了更多的不利影响。现有仲裁实践存在四个方面的不足:对腐败的认定重事实、轻法律,关于腐败认定的证明标准不统一,腐败是否影响投资合法性的认定不一致,重投资者责任、轻东道国责任的认定。对于赴“一带一路”沿线国家投资的中国投资者而言,如
焊接机器人在使用时,电弧传感跟踪技术和焊缝跟踪控制是完成焊接作业的主要的核心技术。电弧传感器易受到外部因素的影响,在使用时需做好基础研究,构建电弧位置与焊接质量的关系公式,继而提升传感器跟踪效果。现阶段,我国焊缝跟踪控制和电弧传感器跟踪技术正在向集成化、智能化、自动化的方向发展,未来也能够进一步推动弧焊设备的革新。
教学方法是教学过程的重要组成部分,教学方法的使用情况直接关系着教学目标能否顺利实现。为了检验案例教学方法对专业学位研究生实践能力发展是否起到了真实的促进作用,基于2020年全国公共管理硕士毕业生调查数据,采用倾向得分匹配法和有序逻辑斯蒂回归模型,对案例教学在公共管理硕士研究生教育中的使用和评价情况,以及案例教学对研究生实践能力发展可能存在的影响关系进行了探讨。研究发现,案例教学在公共管理硕士研究生
为研究聚酯切片真空干燥工艺对切片含水量的影响,本文利用Fluent软件建立聚酯切片真空干燥模型,对不同工艺条件下切片的含水量进行模拟计算,结果表明,温度越高,初始含水量越高,真空度越高,堆积厚度越小,聚酯切片层平均含水量下降的越快,干燥速率越快,所需干燥时间越少。利用模型得到了不同含水量聚酯切片真空干燥的适宜工艺条件。聚酯切片含水量要达到50 mg/kg以下,初始含水量为2000 mg/kg时,切
基于卷积神经网络的深度学习算法的检测识别精度已远远超过了传统模式识别算法,但卷积神经网络中的卷积、非线性激活等运算,需要巨大的算力才能高效率实现,这使得很多深度学习算法模型难以在算力限制的嵌入式平台上进行部署。以目标检测算法YOLO-V3为例,针对网络的不同层设计了对应的FPGA实现方法,并且特别针对卷积层设计了分片分块并行运算的运算单元,最终在FPGA中实现了一种目标检测硬件加速器。该加速器可充
就聚酯连续生产中怎样提高真空系统运行稳定性进行了探讨,对工艺进行技术改造,重点介绍运行中的真空系统清洗情况以及实施后效果
<正>徘徊在壮丽的山河间,留恋在金黄的田埂上,定格在欢快的笑靥中……在第3届"建设新农村的银行"摄影比赛作品评选现场漫步,一幅幅灵动的画面跃然眼底,新农村这片希望的田野生机勃勃。一串串沉甸甸的果实,一张张质朴可爱的笑脸,一片片金灿灿的麦田
期刊
<正>疫情此起彼伏,远游多被搁浅。于是在城市近郊露营,成了当下人们度假的热门选择。露营也有“前世今生”露营起源于欧美,最早只是拓荒者野外生存的一种方式。后来,露营承担一部分教育功能,成为培养青少年野外生存能力的一种载体。如美国在上世纪的二三十年代,就在大学开设了野营专业工程,并在中小学逐步推广野营活动。
期刊
学位