神经网络算法及其硬件加速研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:QQ343282482
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络作为机器学习中的一个重要分支,随着深度学习的发展,在计算机视觉,自然语言处理等人工智能领域得到广泛应用,使用基于神经网络的方法在这些领域的表现已经逼近或超越人类。为了获得更加准确的决策,人们使用更大的数据集和更加复杂的网络结构,使得神经网络需要更长的训练和推理时间,传统通用芯片如CPU,GPU等显得效率不足。根据神经网络的特点在芯片体系结构上进行定制设计的专用芯片具有更高的效率,更加适合进行神经网络推理运算。研究神经网络硬件加速器,能从计算能力的提升上为神经网络的应用提供更多的可能。本文首先介绍了卷积神经网络分析了早期三大经典卷积神经网络结构。之后本文分析了深度学习在人脸识别任务中的发展变化,从早期多分类演进为度量学习方法。设计实验,结合Res Net50和经典网络搭建模型,使用lfw数据集训练模型,得到最佳人脸分辨阈值。最后针对卷积神经网络运行特点设计了基于片上网络的卷积加速器,每个路由挂载两个神经网络计算核心,每个计算核心包括一个卷积运算模块,一个后处理模块和一个数据缓存模块。通过功能仿真,得到加速器在1GHz频率下运行人脸识别网络的帧率为3.07,略高于Intel i5-6200U在2.3GHz下的帧率1.35。随后本文介绍了神经网络中的另一大类,循环神经网络。循环神经网络适用于文本,语音等序列数据的处理,被广泛应用于自然语言处理。由于循环神经网络存在长距离依赖问题,本文进一步介绍了门控循环单元网络(GRU)和长短期记忆网络(LSTM),并使用LSTM搭建了三层网络实现了基于Char-RNN的文本生成模型,探究了LSTM在文本生成中的应用。最后针对循环神经网络的数据流特点,提出了基于片上系统的循环神经网络加速器,计算核心包括LSTM控制单元,权值管理单元,门控单元计算模块和记忆单元计算模块。通过功能仿真,得到加速器在1GHz频率下生成100字符所需时间为0.564s,而Intel i5-6200U在2.3GHz下生成100字符所需时间为0.961s。最后本文提出了使用多层感知机模型来进行电路参数自动优化的算法。从人工神经元模型出发,介绍了由人工神经元模型拓扑相连组成的多层感知机,为之后使用多层感知机模型进行拟合提供了理论依据。文章通过对LC振荡器电路进行分析,引出了其相位噪声问题,通过仿真软件得到MOS管面积调制系数和相位噪声的关系曲线,取1MHz处的点作为数据集。通过两步训练,使用梯度下降法来更新输入,最后通过仿真验证了算法的可行性,为神经网络进行电路参数自动优化提供了思路。
其他文献
声表面波(SAW)传感器因其灵敏度高、体积小、稳定性好等特性在日常生活中有广泛的应用,其中对于SAW温度传感器的研究主要集中在低温度区间内,然而随着社会需求的增长,对于一些特殊环境中的温度测量已然变得迫切:如对航天发动机、电厂熔炉等存在高温、宽温区设备的健康监测。而SAW温度传感器在宽温度区间内应用的主要受限于压电衬底材料的温度特性。本文就LGS、CTGS两种压电衬底的SAW温度传感器展开了研究。
各向异性磁阻传感器基于各向异性磁阻效应,包括线性传感器和接近开关传感器。其中各向异性磁性开关传感器由惠斯通电阻桥构成敏感单元,与电路集成在单芯片中,为替代进口芯片,优化开关性能。本论文首先介绍了各向异性传感器历史进程、国内外发展动态以及做开关芯片的依据及价值;接下来简单介绍了各向异性磁性传感器开关芯片的整体电路设计,简述了两个单元模块工作方式及原理。之后在原电路的基础上,对电路进行了原理上的优化,
台风是人类所面对的最严重自然灾害之一。准确估计台风风速(或台风强度)可以帮助人们更有效地进行灾害预测和管理,减少其带来的大量损失。传统台风风速估计方式需要使用搭载风速仪的器具(气象浮标,飞机,船舶等)进行现场测量,难以长时间对广阔海洋区域进行观测且成本过高。卫星遥感探测仪器可以不受气候影响地对台风进行持续观测,但现有方法无法对卫星遥感数据进行有效处理,导致台风风速估计的精度较低。因此,准确台风风速
微波热声成像是一种非侵入式,非电离的生物医学成像技术,在近几年内得到快速发展。它结合了微波成像技术和超声成像技术的优势,提供高对比度、高分辨率和高穿透的成像能力,在乳腺癌、血管成像和脑成像领域均有广泛涉及。在微波热声成像技术中,图像重建算法是极其重要的一环,它直接影响了成像的效率及其结果的质量和可靠性。现有的经典重建算法往往需要在计算效率和重建质量之间进行权衡,并受到硬件设备和数据完整性的影响,产
一些热端部件具有结构复杂、空间狭小等特点而不易使用红外测温、丝式热电偶等常规测温方式进行温度测量,如高速转轴、航空发动机等,同时获取这些热端部件表面温度信息对于监测部件工作状态、热仿真验证等环节又至关重要。因此能够工作在较高温度区间,并且易于与异构部件集成的柔性薄膜传感器在上述极端环境下拥有重要的研究价值和广泛的应用前景。本文以复杂热端部件表面温度测试为研究背景,选取柔性哈氏合金基带作为基底,结合
在目前信息时代高速发展和科技水平发展脚步加快的趋势下,磁场传感器给人类生活带来了便利,提高了生产力的效率,在现代生活发展上也起到了显著的推动作用。在众多传感器中,基于各向异性磁电阻(Anisotropic Magnetoresistance,AMR)的角度传感器是目前在磁性传感器中研究的热门,因为其具备较高灵敏度,能在恶劣环境下工作,集成度高且成本低等优势。随着传感器制备水平的提高,目前商业化Ni
基于物联网技术发展的需求,磁传感器作为一种非接触式感知元器件,已日益不可或缺。其中,基于巨磁阻效应(Giant Magnetic Resistance,简称GMR)的GMR传感器因其尺寸小、功耗低、性能稳定、易于集成等优势,吸引着各国科研人员的广泛关注与研究。本研究针对目前巨磁阻单极开关开关场可调节范围小的问题,提出了双钉扎自旋阀结构,利用交换偏置场易于调整,以可调交换偏置场替代只能在较小范围内改
随着信息时代的到来,物联网技术越来越受到关注。磁传感器作为其应用中重要的载体之一,受到广大科研工作者的关注。磁传感器的压磁系数是一个关键指标,决定了其应用价值和范围,主要是由磁性材料的本征参数所决定。其中,磁电复合材料由于具有较好的磁电耦合特性而被作为磁传感器的磁敏组元。本论文主要研究具有良好的压磁系数的磁致伸缩材料及其与PZT压电陶瓷的复合手段,并对基于得到的磁电复合材料进行了磁敏组元的设计,从
在电磁理论中,格林函数表示单位强度空间某处的点源在一定边界条件下产生的响应(场量)。常用的具有解析形式的格林函数只有在一些特定的边界条件下才能得到,如自由空间格林函数或半空间格林函数等。对于更一般的复杂边界条件,格林函数只能通过数值方法求解得到,即数值格林函数。传统求解数值格林函数的方法包括有限元法、时域有限差分法和矩量法等。利用这些数值方法求解的数值格林函数一般表达为矩阵形式,其运算量与所需存储
近年来,由于声表面波(surface acoustic wave,SAW)传感器具有无线无源、体积小等特点被研究者们广泛关注。特别是在工业生产、航空航天等领域的极端恶劣如高温高压等环境中,SAW传感器拥有广泛的应用前景。但是,极端环境对SAW传感器的稳定性来说是一种挑战,目前成熟的SAW温度传感器最高能够工作在600°C左右,这还远不及上述应用场景下的要求。因此,需有必要研制一种能够稳定地工作于极