面向边缘设备的高能效可重构神经网络片上训练加速器设计

来源 :东南大学 | 被引量 : 0次 | 上传用户:xm1209xm1028
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
片上训练(On-Chip Training)作为一种人工智能(AI)计算加速技术,其主要任务是在芯片内部对人工神经网络进行训练。近几年,越来越多的手机和物联网设备开始搭载人工智能芯片(AI Chip)。目前大多数AI芯片只支持前向推理,内部的神经网络需要在云端训练后部署到片内。然而,越来越多的场景要求AI芯片能够根据私有数据进行本地训练来满足各类用户偏好。由于边缘和移动设备电池电量和计算能力有限,因此需要高能效的片上训练处理器。本文设计了一款高能效的可重构神经网络片上训练加速器,该加速器可以在芯片内部对所部署的神经网络进行再训练。首先,本文最主要的贡献在于提出了一种推理同化的反向传播方法,将反向传播中复杂的卷积方式通过循环重组和分块算法转换为普通卷积的模式,在映射层面解决了反向传播的硬件实现难题。其次,本文根据反向传播中的数据存储特点,提出了一种混合缓存分配方法,相比传统方法能够减少20%到30%的功耗。另外,为了进一步提升系统能效,本文进行了如下几项工作:(1)针对反向传播中固有的稀疏性问题,设计了一种预知稀疏的卷积跳过方法及其相关电路,可以有效降低反向传播过程中的计算量。(2)设计了专门的软件编译器,能够对加速器进行最优硬件参数的搜索,使其保持最佳的能效表现。(3)设计了一种高度可配且支持稀疏性跳过的计算单元,有效减少了计算功耗。最后,为了提升系统性能,本文设计了一种高度流水的片外数据通信方案,并对行静止数据流进行了改进。针对所设计的数据通信方案,本文设计了一种容量可配置的片上存储器,能够根据配置参数调整各类数据的存储空间大小。对于改进的数据流,本文也设计了一种片上网络和配套的路由器和调度器,能够支持高度的并行数据传输并提升系统的吞吐量。本文基于TSMC 28nm工艺进行了可重构片上训练加速器电路的设计与实现,并构建了完整的软硬件验证和仿真平台。仿真结果表明,本文设计的片上训练电路,能够实现卷积和全连接神经网络的前向推理和反向传播功能。能效指标能够达到3.04TOPS/W,面积效率指标能够达到19.2GOPS/mm~2,最高频率可达200MHz。本设计与目前主流的片上训练加速器能效相当,达到了高能效的设计要求。
其他文献
随着科学技术以及经济社会的飞速发展,机器人逐渐深入人类生活的方方面面,推动人类社会生活方式的变革。为适应多种复杂环境的应用,柔性机器人应运而生并不断发展,其中柔性抓取手作为机器人与操作对象之间直接接触的桥梁,使得其在生物、柔性机器人和环境的交互过程中起着至关重要的作用,因而在工业生产、医疗健康、航空航天以及环境监测等领域具有广泛的应用。先进的材料是未来柔性抓取手发展的核心之一,抓取手的抓握动作和触
目前,检测污水中重金属元素的通用方法常会使用有害试剂,且存在受干扰影响大等不足,亟待发展一些更绿色环保、检测快速便捷、成本低廉、精度更高的新检测方法。近年来发展的一些新兴荧光纳米材料有望应用于此,其中银纳米团簇由于具有优良的荧光性能、高效的催化性能、良好的生物安全性等优点,被广泛用于离子检测、反应催化、生物成像等研究。本文以谷胱甘肽为配体,分别采用超声法、紫外法和自然时效法三种绿色合成方法制备了具
真空电子器件受限于其体积、真空封装和高压工作,无法集成化、小型化。随着微纳加工技术的不断发展,真空电子器件的微型化重新进入研究者的视线。先进的微纳加工工艺可以将真空沟道的尺寸压缩至纳米量级,远小于电子在大气下的平均自由程,使以纳米真空沟道为核心的新型纳米真空电子器件,在继承传统真空电子器件优点的同时,大大提高了与固态器件工艺和电路设计的兼容性,有望成为在高速高频、抗辐照、高可靠方面具有显著优势的新
随着器件特征尺寸减小至纳米级别,工艺参数波动对静态随机存取存储器(Static Random Access Memory,SRAM)良率的影响越来越大,为保证一定的良率计算精度,需要考虑的计算参数越来越多,呈现出更高维的特征。典型的基于重要性采样的算法使用高斯分布作为最优采样分布,但该算法在高维场景中存在权重退化的问题。针对现有SRAM良率评估方法的不足,本文提出了基于生成模型的自适应重要性采样算
血液样品是生化医疗领域内重要的处理对象,而处理血液样品时通常需要对样品进行预处理(去除细胞部分/仅保留部分细胞)。传统方法通过离心获得血浆或其它成分,往往面临许多问题,如纯度低、成本高、需要专业操作技术等。本文主要以血液中的目标物作为分析对象,通过微流控技术实现血液样品的预处理,包括血浆分离和循环肿瘤细胞的分选。在结合本课题组已有成果的基础上,深入研究微阀的流量调节技术,通过集成微流量调节阀和惯性
学位
学位
学位
学位
学位