【摘 要】
：
最近,基于Transformer的模型表现出很好的性能。但是由于它所需要的巨大的存储、计算以及资源消耗,使其无法很有效地部署在嵌入式设备上。FPGA因其能量效率高、开发周期快、可重构等优点被广泛应用于加速深度学习算法。然而,FPGA具有非常有限的片上内存,这给模型的部署带来了很大的挑战。此外,各种类型的FPGA硬件设备逐渐涌现。对于具有不同约束要求的Transformer模型,可以将其部署到具有不
论文部分内容阅读
最近,基于Transformer的模型表现出很好的性能。但是由于它所需要的巨大的存储、计算以及资源消耗,使其无法很有效地部署在嵌入式设备上。FPGA因其能量效率高、开发周期快、可重构等优点被广泛应用于加速深度学习算法。然而,FPGA具有非常有限的片上内存,这给模型的部署带来了很大的挑战。此外,各种类型的FPGA硬件设备逐渐涌现。对于具有不同约束要求的Transformer模型,可以将其部署到具有不同计算能力的设备上。在之前的工作中,研究人员对设备问题考虑较少。因此为了最大化利用设备,选择合适的设备也是值得考虑的问题。为了解决Transformer在FPGA上的部署挑战和最佳设备的选择问题,本文首次尝试提出了一种软硬件协同加速框架,它结合了软件层面的模型剪枝技术和硬件层面的FPGA加速设计。该框架在模型剪枝率和硬件资源之间进行权衡来实现协同优化。本文主要的工作如下:第一,本文提出了一个软硬件协同优化的加速框架。用户可以输入约束（时延约束LC,准确度约束AC）、模型和数据集,此框架可以输出一个压缩后的模型,和部署模型的最佳设备。第二,本文的加速框架中提出了一种新颖的对硬件友好的权重剪枝方法,命名为HP（Hierarchical Pruning）。它能够在保证模型准确度的情况下,大幅度降低Transformer模型冗余的参数,从而降低计算量和存储开销。第三,本文的加速框架对稀疏矩阵存储格式进行了优化,新的存储格式为WMark。这种方法结合了剪枝方法HP的矩阵稀疏模式,是由现有的稀疏矩阵存储格式MBR优化而来的。优化之后的格式可以显著减少内存使用量,并且比常用的格式性能更好。第四,本文设计了一个针对稀疏模型的FPGA加速器。这个加速器的设计是基于剪枝方法HP和稀疏矩阵存储格式WMark,解决了稀疏矩阵并行的内存访问冲突问题。实验结果表明,本文提出的权重剪枝方法HP比别人的工作表现出更好的性能。本文优化的稀疏矩阵存储格式WMark可以实现1.5 ×-2.5×的内存使用量降低。本文的FPGA加速器设计比CPU相比可以实现高达37×的加速,与GPU相比可以实现1.9×的加速。本文的加速系统也可以在不同的约束下找到最佳设备。
其他文献
目的:研究鸦胆子对非小细胞肺癌增殖的影响及其机制。方法:通过网络药理学分析获取鸦胆子有效成分及其相关抗肿瘤靶点；利用GeneCards数据库，获得鸦胆子治疗非小细胞肺癌的潜在靶点；借助String在线平台对鸦胆子抗肿瘤靶点进行了蛋白质-蛋白质相互作用（PPI）网络分析；采用噻唑蓝（MTT）实验测细胞增殖；Western blot检测P53、P21蛋白表达水平；流式细胞术检测细胞周期；Annexin
风电占比的不断增加对电力系统安全稳定运行带来挑战，快速、准确的风电功率预测方法至关重要。提出了一种ES-GRU-LSTM模型对风电场群功率进行预测，通过指数平滑法（ES）处理原始数据填补缺失与异常值，提高了功率数据集的可信度和平滑性，并引入训练速度快、结构较简单的门控循环单元（GRU）对预测性能好、准确性较高的长短期记忆（LSTM）神经网络进行改进，比较ES-GRU-LSTM、GRU、LSTM的预
随着近几年GIS设备的广泛投用,其在运行中发生故障的情况越来越多,笔者应用便携式色谱仪及SF6分解气体快速测试仪对现场SF6气体分解物进行了测试,例举了几起500 kV变电站GIS设备故障状态下的SF6气体色谱分析图和SF6气体分解物组分含量数据表,结合实例初步探讨了GIS设备几种不同故障类型与SF6气体分解物之间的关系,为准确诊断GIS设备运行状态提供了宝贵经验,该工作还需今后进一步论证与实践检
本论文主要从方案设计、结构优化和生产工艺控制等方面研究和谈论高速背板连接器传输链路中插入损耗指标的影响因素控制方法和控制方法。
随着星座系统整体规模的不断增大,其服务能力逐步从传统的移动通信服务向宽带互联服务拓展,从而对星座系统的运维与资源管控提出了新的要求。首先分析星座规模、资源动态性、资源故障等因素对巨型星座系统面向性能管理的网络运维与资源管控带来的挑战,从业务预测、资源感知与维护及动态资源切片方面探讨面向巨型星座系统的网络运维与资源管控关键技术,并提出智能的网络管控架构来实现巨型星座系统的轻量级运维与资源管控,为天地
文中结合硝酸库1060铝管工艺管道焊接施工，重点介绍1060铝管焊接质量的具体控制措施，通过细化1060铝管的焊接工艺措施，从焊前、焊中、焊后等多个方面进行全过程焊接质量控制，以减少焊接缺陷的产生，提高1060铝管的焊接质量。
以农村居民人均收入、疾病发病率、意外发生率、人均住院费用、农村基本医疗保险参保率等现有统计数据进行综合分析，研究了在现有医院体制下带来的住院押金负担对农村居民返贫的影响，结果表明住院押金已成为返贫的原因之一。文章提出可由各地医保局建立住院押金垫付基金，借助商业保险的履约保证保险产品为垫付基金兜底，实行“居民统购+政府补贴+结余充实”的运营模式，并通过线上化投保快速普及广大农村居民。
＜正＞患儿女，6个月，因“左膝关节外翻畸形5个月”入院。出生后42 d新生儿筛查时发现左侧膝关节外翻，单侧发病，未伴其他畸形，无家族发病史；我院髋关节超声检查提示左侧发育性髋关节发育不良（Ⅱb型）；于我院骨科行闭合复位、人字位石膏管型固定保守治疗，左侧髋关节α角逐渐恢复正常，治疗后2个月和3个月时复查膝关节X线检查均提示阴性。患儿6个月复查时发现患侧肢体较右侧明显缩短，膝关节外翻畸形未见好转。X线
＜正＞管道是当今世界第五大运输方式,是石油天然气能源输送的主动脉。近年来我国油气管网规模不断扩大,管道的建设施工及管理水平得到大幅度提升。目前,我国油气管网总长度已超过17万km,规模世界第三。根据《中长期油气管网规划》,
我国这几年经济水平有了一个明显的增长，对于各项资源的需求也越来越高。其中油气资源占据主体，油气管道是油气运输的主要介质，对于油气资源的稳定供应有着重要作用，所以确保油气管道完整性是非常有必要的。油气管道焊接对于管道完整性有着一定影响，焊接不到位，很容易出现各种各样的外观缺陷，从而影响管道运行质量。为了油气管道更为稳定的运行，本文就对油气管道焊接常见缺陷和预防措施等相关内容进行了详细概述。