面向大规模稀疏图算法的并行处理系统关键技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:neu20063043
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,以数据为中心的应用在当代社会表现出越来越重要的作用。图算法,包括图搜索和图分解,在大数据应用中起着关键作用,具有数据量大,有效数据少,数据分布无规则,处理实时要求高等新的特点。处理器技术的发展在解决“存储墙”问题上进展缓慢,在处理图问题上远达不到其实时性的要求。现有的高性能计算在达到图搜索实时性的前提下,存在功耗高,成本高等不能市场化应用的瓶颈。当前面向图搜索问题的处理平台主要为异构多核分布式处理器,但是可扩展性不好。因此,面向大规模稀疏图问题,探索适合处理图算法应用的分布式并行处理器,具有十分重要的实践意义。本文在重点分析图搜索基础算法Breadth First Search算法和图分解算法Cholesky算法访存和通信特性的前提下,提出了BFS算法可扩展性分析模型及Cholesky算法性能模型,在可重构平台上设计并实现了基于二分查找的虚实地址转换。设计并实现了一个基于图搜索算法的分布式并行处理系统,最后建立了一个参数化性能模型,用于指导Multi-Frontal-Cholesky分解算法向量化实现大规模加速部件的设计。具体而言,本文的主要工作和创新点体现在:(1)建立了面向BFS算法的分布式并行协处理器可扩展性分析模型目前,国际上针对BFS算法的通信模型研究较多,系统可扩展性分析多是初步判断,并未结合存储研究。本文首次将分布式并行协处理系统的通信和存储作为一个整体,研究其存储随着协处理节点增多的性能表现,研究其通信缓冲大小与单节点的性能表现,针对具体问题进行函数拟合确定参数,量化最优缓冲区大小。研究通信和存储结合的处理时间模型,找到存储规模和通信规模的最佳平衡点。(2)设计实现基于二分查找的虚实地址转换虚实地址转换一般由操作系统实现。由于图数据寻址的无规则性使访存失效率较高,采用硬件实现可以加快寻址时间。适应图搜索问题的特点。本文虚实地址间的模式采用块连续地址的直接映射,充分利用片上资源,以数组为单位将地址映射存储在片上存储中,采用流水线实现基于二分查找算法的寻址。将数据的失效划分为数据项失效和数组项的失效,针对BFS算法数组项少,访问数组具有局部性的特点,以数组为单元在线上替换。虚实地址转换采用大页机制,三级页表索引,根据系统结点的数量决定流水线级数,使得寻址时间固定而高效,减少访存,提高虚实地址转换时间,实现处理器基本功能。(3)设计并实现了面向BFS算法的分布式并行处理系统目前,国际上处理BFS算法的高性能计算平台和协处理存在的主要问题是,其不具有可扩展性或扩展性不好。本文设计实现可面向BFS算法的分布式并行处理系统,整体结构为一个以ARM处理器核为主的开发板作为主要处理结点,以及8个以FPGAs芯片为协处理器的从结点。单结点通信带宽达到40Gbps,采用Infiniband网络架构。通过协处理结点开发板高速收发器与Infiniband交换机相连,FPGAs芯片通信接口实现了一个Infiniband协议的转换模块。处理器采用流处理结构,五级流水线,向量交叉多线程。存储采用三级存储,第一级存储为各线程私有寄存器,第二级存储包含流寄存器和片上共享存储,片上共享存储被系统所有线程和进程共享,第三级存储为片下存储DDR3,该系统在Graph500测试集测试下,性能和功耗对比当前最新研究均有一定优势。(4)建立了一个稀疏矩阵Cholesky分解算法的参数化模型Cholesky分解是重要的矩阵分解应用,特别是随着图数据增大,稀疏矩阵稀疏矩阵Cholesky分解算法成为研究热点。本文基于Cholesky分解算法的Multifrontal向量实现算法,为了评估多结点下加速部件性能,建立了一个稀疏矩阵Multi-frontal Cholesky分解算法向量化实现的参数化模型,通过常用矩阵集测试对比,证实了在特定应用中该模型的准确性,预测了规模与性能的关系,从而为加速部件的设计和规模选择提供指导。
其他文献
目的观察血清维生素C浓度对尿酸测定结果的影响。方法选取2017年1-12月福建省武平县医院检验科进行尿酸检测的健康自愿者共268例,按照随机原则分为A、B、C、D组,每组67例。采
考虑一类具有Holling—typeⅢ反应功能函数的捕食-食饵模型,分析正平衡点的存在性和稳定性,并在特定条件下证明正平衡点的全局稳定性及Hopf分支的存在性.
2019年4月11日,美国航天基金会在第35届航天专题研讨会上发布了2019年第一季度《航天报告》。多年来,《航天报告》一直是全球航天活动较权威的指南,以前每年发布一次,从2019
我国政府对网络舆情日益重视,但在回应过程中,仍存在诸多问题。鉴于政府回应网络舆情的效果是多个因素相互作用的结果,本文构建了政府回应网络舆情能力的系统动力学模型。采用Ve
黑衣壮,一个神秘而独特的山居少数民族。黑衣壮是广西壮族的一个特殊支系,主要分布在广西与越南、云南边邻的那坡县,属云贵高原余脉六诏山南缘。黑衣壮来自那坡县12个壮族支系中
为确定驴肉最佳成熟时间,进行了宰后品质随成熟时间变化规律的研究。试验选用12头2岁左右、体重235±3.4kg的德州公驴,分3组,每组4个重复。宰后24h后取驴背最长肌于冰温条件
无花果酒酒精度低,营养价值高,香味纯正,口感细腻、柔和,深受人们喜爱。家庭酿造无花果酒,工艺简单,不需要复杂的设备,产品口感好,有较强的实用性。文章提供了家庭酿造无花果
[通用名称]imatinib,甲磺酸伊马替尼[化学名称]4-[(4-甲基-1-哌嗪)甲基-]-N-{4-甲基-3-[(3-吡啶-2-嘧啶)氨基]苯基}苯甲酰胺甲磺酸
婚丧事只办1场酒,丧事酒席不超过10桌100人,婚事单方酒席不得超过20桌200人,双方合办不得超过40桌400人,不发香烟;倡导酒水单价不超过100元,自办酒席单桌菜品成本不超过1000元,婚庆
报纸
采用专家访谈法和问卷调查法等方法,阐述了高校体育教学中融合微信的优势和担忧,同时也对微信在促进体育教学班级建设、提升体育教学效率、加速体育教学目标实现等方面进行分