神经网络加速器中基于相似性检测技术的智能数据缓冲器设计

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:wcs_ly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络是一门十分重要的机器学习技术,它是人工智能领域目前最为火热的研究方向之一。基于神经网络的人工智能技术依靠其强大的特征提取能力,在计算机视觉、自然语言处理等领域都取得了十分普遍的应用。然而,为了增加神经网络的推理准确率,网络结构发展日趋复杂,层数和节点数量日益增大,伴随而来的是参数量和计算量的急剧增加,这对硬件平台的数据带宽和计算能力有较高的要求。基于神经网络计算处理高度并行这一特性,GPU表现得非常出色。但是鉴于近年来人工智能边缘化的趋势,GPU大量的内存访问造成的功耗浪费以及结果暂存增加的物理空间占用使得其在物联网,车载等场景部署困难。近年来学术界与工业界提出了种类繁多的专用人工智能处理器,与GPU不同的处理器体系结构,其主要运用海量相互连接的计算节点实现性能的提升。但该类设计方案未对神经网络算法、数据特性进行分析,仍然存在大量的重复计算,造成了巨大的能耗浪费。与传统设计思路不同,本论文运用基于数据内在特性分析的体系结构设计方法,着力于神经网络的数据特性分析环节。前期研究发现,神经网络算法中输入数据在时间和空间维度上具有大幅度相似性,经过统计约为40%,与图像压缩原理类似,不同帧像素之间存在相关性引起的时间冗余及同一帧相邻像素间的相关性引起的空间冗余。在卷积神经网络中权重共享特性的前提下,该思路的巧妙运用可大幅度降低神经网络实际计算数量,如果能达到预期的40%目标,那对神经网络加速器的研究是非常有意义的。基于此发现,本论文探索一种低成本、高效的网络数据相似性检测方法,并运用该方法设计一套智能的高效数据缓冲模块,其功能可排除大量重复计算,为加速器性能提升做出重要贡献。我们在软件上进行模拟实验,进行算法建模。在python环境里,基于Tensor Flow框架搭建了当前几种主流的卷积神经网络,打印出中间层输出结果进行相似性统计。在c环境里,基于Dark Net框架,修改底层函数文件gemm.c,对卷积之前的输入数据进行预处理,测试对于最大值,最小值,均值等数据特征,定义不同判别阈值对yolo-v3等网络输出结果准确率的影响。硬件上我们把该思想加入现有的ASIC体系结构中,在原有数据缓存模块基础上加入数据特征提取,实时提取出每个滑动窗口数据中的数据特征,加入相似性检测算法和线程复用技术,将与前一个线程数据相似的线程定义为无效线程,对无效线程重新排序并继续缓存数据。引入物理线程映射逻辑线程概念记录线程复用状态,重复上述步骤直至所有线程全部有效,自定义16位编码记录缓存状态作为计算结果重组写回依据,硬件部分全部运用Verilog语言与Questa Sim工具进行开发,通过FPGA验证网络输出结果与之前是否一致。实验中经过测试的两个卷积神经网络分别比之前减少了67%和33%的计算量,其效果与输入数据密切相关,不过也大致达到了预期设定的目标。本论文工作包含数据分析、算法建模、集成电路设计、FPGA验证等环节,目标实现一套完整人工智能计算平台,并通过实验验证所设计智能缓冲模块对计算性能的提升。采用了卷积神经网络数据缓存的线程复用技术,有效提高了数据缓存效率,省去了大量重复计算,降低了总体功耗。本论文的顺利执行对未来人工智能领域数据、算法、硬件协同设计具有重要推动性意义。
其他文献
在现代集约化畜禽养殖中,应激是造成雌性动物卵泡发育障碍,导致繁殖力低下的重要原因。研究表明应激导致的卵泡发育不良可能与应激产生的糖皮质激素有关。糖皮质激素主要成分为皮质醇(cortisol,非啮齿类哺乳动物为皮质醇)或皮质酮(corticosterone,啮齿动物为皮质酮),本文中将其简称为CORT。据报道,机体遭受应激后导致CORT含量激增,使得促黄体生成素(luteinizing hormon
碳(C)、氮(N)和磷(P)是维持植物正常生长和发育所必须的养分元素。同时,植物C、N和P化学计量特征与陆地生态系统C交换以及养分循环密切相关,能够反映出生态系统对于外界环境变化的响应。随着人口增加以及农业技术的日益发展,人们对草地的利用强度愈来愈大,如外源氮、磷养分输入(施肥),放牧和刈割,这些人为干扰均会严重影响陆地生态系统。草地作为陆地生态系统的重要组成部分,对日益增加的人口食物供应有着重要
大型无缝环件广泛应用于火车、船舶、航空航天等工业领域。国家航天重大科技工程——运载火箭所需的关键结构件便是大型铝合金环形件,随着国家航天事业的发展,对高性能大型铝合金环形件提出迫切需求。在环件轧制中,微观组织预报对预测力学性能具有积极意义。由于动态再结晶会影响环件轧制后的晶粒尺寸,这就需要研究大型环件在径轴向热环轧间隙时间内的动态再结晶行为,所以亟需建立动态再结晶动力学模型并确定适合动态再结晶的变
胆碱是反刍动物机体必需的重要营养物质,其参与体内多种代谢过程。胆碱对奶牛生理性能的调控发挥着重要作用,如提高乳品质、促进脂质合成、预防脂肪肝、调控能量负平衡等,但是目前胆碱对反当动物肉用性能的研究较少且结果不尽一致。探索反当动物日粮中胆碱的适宜添加量,对其生长性能、饲料利用率及代谢性能的影响具有重要研究意义。本研究以过瘤胃保护胆碱(Rumen protected choline chloride,
地球是人类的家园。地球的自转运动以及其绕太阳的公转运动是地球运动的重要形式,与人类的生活休戚相关。地球自转是天文学与地球科学相互交叉、相互渗透的一个分支学科。对它的研究除了具有重大理论意义外,还具有明显的实用意义,例如:对地球自转速率变化和地极移动或地极摆动(极移)的研究,关系到确定地面观测站在宇宙空间的精确位置,以及地球参考系在准惯性空间的指向,这是地面精密测绘和空间飞行器跟踪所需要的参数;板块
苹果(Malus domestica Borkh.)是蔷薇科(Rosaceae)苹果属(Malus)多年生木本植物,是世界上主栽果树之一,同时也是我国最主要的果树树种之一。苹果在生长发育过程中会遇到各种生物和非生物胁迫的影响,其中干早胁迫和盐胁迫会导致植株出现氧化胁迫反应,从而抑制植株的生长发育、降低果实品质。非生物胁迫相关基因在响应植物对干旱、盐害等逆境胁迫过程中,发挥着至关重要的作用。已有研究
在过去的二十年中,双极电极(BPE)被广泛应用于化学和生物分析、材料合成、和催化剂筛选等领域。在化学和生物分析及催化剂筛选领域,BPE上的电信号通常用电致化学发光(ECL)、电致变色以及荧光反映出来。其中,ECL以其低背景干扰、操作简单、高通量和可视成像能力等突出优点,是目前应用最广、也是最受欢迎的一种检测方式。而通过对双极电极的阴阳两极进行一定的修饰,可调节双极电极上的电化学信号,从而使得ECL
X射线通导测一体化卫星有任务多样,参数众多,接口丰富等特点。因此传统卫星不能满足X射线通导测一体化卫星的需求。而软件定义卫星是以软件为手段,将传统卫星上由分系统实现的通信,载荷等功能软件化,便于通过软件实现卫星的在轨重构,以此适应不同的任务需求。软件定义卫星的设计理念是将卫星硬件和卫星软件解耦合,设计模块化的硬件,有助于实现软件定义卫星的快速集成与装配,为卫星的产品模块化生产,灵活性配置,快速响应
高光谱图像异常检测技术是高光谱遥感图像处理领域的热门研究课题,相关研究已成功应用至环境监测、稀有植物保护、军事伪装和隐藏识别等领域。然而,受成像平台误差、大气环境等因素的影响,高光谱图像存在背景成分复杂、数据冗余、先验信息欠缺等问题。为缓解或者克服上述问题对异常检测性能表现带来的影响,本文深入分析了高光谱遥感图像的数据特性,设计了两种基于对抗学习的高光谱异常检测算法,分别从无监督特征提取和半监督背
伴随遥感技术的发展,遥感图像被广泛应用到变化检测、遥感解译等领域。但是,遥感图像匮乏、质量不佳以及多样性不足的问题限制了遥感解译等后续研究的性能提升。众多研究表明,数据增强是解决上述问题的有效手段。该方法通过学习训练样本的数据分布,合成逼真的遥感图像,达到数据扩充的目的。因此,本文基于生成对抗网络,构建了两个用于遥感数据增强的图像生成模型,可以生成富有变化的高质量图像,并大大缩短生成时间,为遥感解