大规模分布式类脑计算系统的通信机制研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:dgwyldgwyl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
虽然在海量标注数据和快速增长的计算力驱动下,以深度学习为代表的人工智能技术迅猛发展并在众多领域得到了实际的应用,但在高准确率的同时,深度学习渐渐暴露出其还存在计算代价大和智能水平弱等许多局限性。基于脉冲神经网络(SNN,Spiking Neural Network)的类脑计算,因其与传统的神经网络相比拥有更高的类脑特性。因此,脉冲神经网络是发展感知计算、发展新一代人工智能、探索自主学习的基础平台。由于大脑规模巨大,其拥有数亿神经元、千万亿突触,如此大规模SNN仿真所需的计算资源远远超过了目前单个计算节点或芯片的计算能力。因此研究人员为了仿真大脑特性,研究大脑机理,以及探究脉冲神经网络,需要构建大规模仿真集群来弥补单节点计算性能的不足。NEST作为一款应用较为广泛的脉冲神经网络仿真器,其大规模分布式计算特性非常适合用来进行类脑计算系统的研究。然而在NEST中虽然对网络通信机制进行了一定程度的改进,使计算效率有所提升,但是由于改进后的集体通信的限制使得通信效率大幅下降。针对这些问题,本文的主要工作及创新点有以下几个方面:第一,针对NEST仿真器进行参数量化,通过分析和实验得出NEST仿真器的通信优化点,为后文的通信研究提供理论支持。第二,针对大规模类脑仿真器NEST的特点,提出了基于SNN子图跨节点优化的神经元重分布算法(Relocation Algorithm,Re LOC),通过分析SNN模型中神经元之间联系的紧密性,实现最低代价的SNN子图切割,然后在仿真前进行神经元重分布操作,减少神经元到其他节点的连接,使进程间通信更加稀疏。并且控制每个节点上神经元的数量,使得负载相对平衡。第三,对NEST本身的通信机制进行了改进,提出稀疏交换,用节点对节点通信取代原本的集体通信,只有需要脉冲交换的进程才进行通信,以此提升通信效率。通过在分布式NEST平台上运行不同应用,实验结果显示,Re LOC算法相比NEST所采用的循环分配机制,其平均稀疏性提升了20%,再配合稀疏交换机制,使得通信数据相比原来的方法减少了约73倍。
其他文献
深度神经网络(Deep Neural Network,DNN)在计算机视觉,语音识别,自然语言处理等方面取得了巨大成功。但是由于其不透明性,使用者往往在得到决策结果时,却理解不了其预测过程,模型究竟学到了什么有效特征,如何做出预测和判断,整个过程是缺乏解释的。可解释性方法的出现改善了模型的输出内容,它会对决策结果进行“解释”。然而这些解释区域却为对抗攻击带来了有利条件。本文发现可解释性方法本能地为
高铁客运枢纽是高速铁路运输网中的关键联结点,同时也是高速铁路与城市之间高效衔接的重要桥梁和纽带。进入站城一体融合发展新时代,高铁客运枢纽不仅作为交通节点,而且起到拓展城市发展空间,优化城市布局,推动城市经济发展的重要作用,成为城市发展提质增效的新引擎、新动力。“十三五”期间,中国的高铁客运枢纽建设得到了快速发展,涌现出一批设计精良、符合时代需要的高铁客运枢纽,例如杭州西站、广州白云站等。但是高铁客
报纸
社交媒体的升级与普及使电影宣发告别"酒香不怕巷子深"的营销时代,同时也为口碑传播带来新的发展机遇。如何运用好口碑营销助力票房成绩,成为近年来影视行业的热门议题。文章以主旋律电影《红海行动》为研究对象,探析其位居中国影史票房第五的口碑营销策略,从而为今后主旋律电影的传播方向提出合理建议。
少数民族文学是新中国人民文学的重要组成部分,其兴起与中国共产党的新民主主义革命思想及《在延安文艺座谈会上的讲话》精神紧密相关,但它的出现不是一蹴而就的。“少数民族文学”相关话语早在20世纪初期至二三十年代伴随歌谣运动、中国共产党早期革命以及对苏联民族理论和文艺观念的翻译就已经出现,但是并未形成固定的话语表述。延安时期,中国共产党注重对少数民族学生的培养,也很关注蒙古族、回族等边区少数民族文化,毛泽
冯·诺依曼结构的计算机在计算人工智能领域等大型问题时会遇到时钟频率和能耗等巨大瓶颈,而类脑计算作为模拟人脑计算行为的计算方式可以打破冯·诺伊曼瓶颈。类脑计算的硬件实现称为神经形态系统,神经形态系统由神经突触电路和神经元电路组成,而忆阻器的电阻可变性与非易失性,与神经形态系统中的神经突触电路功能完美契合。但是,忆阻器实现类脑计算还存在着以下几个问题:现有的忆阻器模型在大规模阵列SPICE仿真时仿真结
目的 探讨甲状腺髓样癌(MTC)组织中叉头盒A1(FOXA1)的表达,及其与临床病理特征和预后的关系。方法 收集2012年2月至2021年7月23例MTC手术患者标本。采用免疫组化染色和实时荧光定量PCR法(q PCR)检测MTC组织中FOXA1蛋白和mRNA表达。分析FOXA1表达与MTC临床病理特征以及预后的关系。结果 FOXA1蛋白表达主要定位于细胞质,19例(82.61%)阳性,其中5例(
背景与目的:前列腺癌严重威胁男性健康,目前对于前列腺癌的筛查方式包括直肠指检、前列腺特异性抗原、影像学检查等,但存在准确性不足、费用偏高等问题;前列腺穿刺活检作为诊断的金标准,是一种有创操作,伴随感染等并发症风险,因此,临床医师需要一定手段对活检指征进行判断。机器学习作为人工智能的组成部分之一,凭借其良好的准确性,在一些预测情景中发挥重要的作用,拥有预测前列腺穿刺结果的潜力。但是随着算法升级,其复
基于系统动力学理念构建平台型企业创新能力系统动力学模型,该模型包含用户价值创造、合作伙伴协同共创与区域创新三个子系统。通过系统动力学建模与仿真,研究了用户、合作伙伴与区域创新对平台型企业创新能力提升的影响。研究发现:不同激励物水平下,用户价值创造对平台型企业创新能力提升影响不同,较高激励物投入水平具有正向促进作用;不同合作伙伴数量下,合作伙伴协同共创对平台型企业创新能力提升影响不同,较多合作伙伴参
目的探讨白术七物颗粒抑制Cajal间质细胞(ICC)凋亡治疗慢传输型便秘(STC)的作用机制。方法利用洛哌丁胺复制STC小鼠模型,将其随机分成对照组、模型组、白术七物颗粒低、中、高剂量组和普芦卡必利组,另设对照组。白术七物颗粒低、中、高剂量组分别灌以不同浓度白术七物颗粒,普芦卡必利组灌以普芦卡必利,对照组与模型组灌胃等体积蒸馏水。HE染色观察结肠组织病理变化,IHC法检测结肠c-kit表达,TUN