基于拓扑重构的分布式图计算关键技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:hehong405
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,网页检索、社交网络、生物信息科学等领域所涉及的图论知识和算法得到了广泛应用和发展。自然生成的图数据规模呈现了爆炸式的增长,让分布式图计算这一领域成为了学术界和工业界的热门研究方向。而对于大规模图数据进行合理的划分与存储,能够减少机器节点间的通信量,是提升分布式图计算性能的研究热点之一。此外,分布式图计算系统在实现分布式计算模型时的实现方式,往往会存在着冗余计算或冗余通信的问题。因此,分布式计算模型的优化及实现,也是分布式图计算系统性能优化的关键性问题。本文深入研究了分布式图数据划分和分布式图计算模型,探讨了分布式图计算系统性能优化技术,重点围绕基于拓扑重构的分布式图分割算法和基于增量变化的GAS分布式计算模型展开了深入研究。本文的主要研究工作包括:一、深入研究并分析了分布式图计算已有的图数据划分算法,在分析其研究成果的优势时,也揭示了其各自的局限性;深入分析了现有的分布式图计算模型及其在实际分布式图计算系统的实现,发现其存在的优点和需要改进的方向。二、针对大规模图计算的低效分区问题,提出了基于拓扑重构的分布式图分割算法。通过对自然生成的图数据进行分析发现,自然图的顶点度数存在分布的不均匀性,这往往导致了大规模图计算的低效分区,使得各个机器节点出现计算负载不均、机器节点间通信开销过大等问题出现。基于拓扑重构的分布式图分割算法能够有效利用图的拓扑信息的方法,可以在分区之前将不平衡图(幂律分布图)转换为更平衡的拓扑结构。具体而言,我们对合并到超顶点的一组(邻近)低度顶点执行聚变操作,并且在被分割的高度顶点上执行裂变使之成为一组子顶点,这样让所有顶点涉及的计算被划分的更为均匀。重构得到的结果可以通过超顶点和子顶点的均匀分配给所有的计算机器节点来进行分区,来进一步提高分布机器节点的计算负载均衡。三、针对现有分布式图计算模型GAS在实际实现时产生的冗余计算与冗余通信问题,提出了基于增量变化的GAS分布式计算模型。通过分析标准GAS模型,及其在PowerGraph上实现的分布式计算过程,发现标准GAS模型在分布式计算过程中在计算和通信过程中会产生冗余开销,我们利用每个顶点每次迭代运算相比前一次迭代运算产生的增量作为传输数据,代替顶点更新数据及激活信息,有效减少运算过程和冗余通信开销。同时对于多维数据,在采用拓扑重构和多维分割集成的图分割算法前提下,优化GAS模型,提供层间通信,保证层间数据的交互与汇总,有效提升分布式图计算系统的效率。四、基于所提出的大规模图数据划分算法和分布式图计算模型的优化,本文在PowerGraph分布式图计算系统基础上实现了一个高效的分布式图计算原型系统TopoX,并通过大量实验验证了TopoX的性能优势。
其他文献
不动产登记错误不仅使真正权利人和善意第三人遭受重大的经济损失,也削弱了不动产登记机构的权威性,同时也影响了登记的公信力。而不动产登记机构造成的登记错误更是加重了对
视觉目标跟踪是计算机视觉领域的基础技术,在现代已经在多个领域有所应用,例如无人机、医学图像处理、视频监控、自动驾驶、机器人等等。由于视觉目标跟踪的训练数据只有第一
互联网的用户普及率越来越高,很多人在社交媒体、电商等平台上发表自己对某个事件或某件产品的看法。因此,网络上涌现出大量的文本数据。文本情感分类是情感分析中的一个核心
发酵乳是指牛乳等动物乳经过巴氏杀菌后,通过添加乳酸菌发酵,使之发生酶解的一类乳制品。由于其有独特的风味且具有保健养生的作用,近年来消费量持续增长。目前在发酵乳生产
目的利用虚拟解剖技术,观察死后尸体的影像学表现,通过将虚拟解剖和传统尸体解剖的特异性诊断指标相比较,并探索性结合新技术、新方法,突出该技术在法医病理学实践中的优势,
黄平苗族泥哨是产于贵州省黄平县的一种民间手工艺品,是取好土而制的民间泥玩具。与其他民间艺术相似,黄平苗族泥哨的程式化艺术表达特性相当明显,这种稳定而固执的艺术符号是文化因袭的必然结果,程式化艺术表达一方面让其不失原初朴拙的意味及鲜明的视觉烙印,另一方面也因不断重复的元素诱导一定的审美疲乏,激起观者复杂的多样感受,在某种程度上助推或制约了黄平苗族泥哨艺术的创新与发展,本文从个人化的视角出发,试图就相
近年来,微博、推特和脸书等在线社交平台迅猛发展,用户量激增,正在冲击传统新闻媒体,成为当今社会人们最重要的一个方便快捷的信息获取来源和传播渠道。人们也研究和依靠在线
目前各类侵害个人网络信息权的违法犯罪行为屡禁不止,对信息主体的现实生活造成极大的影响,个人网络信息保护迫在眉睫。2020年新出台的民法典设专章来保护个人信息权。但是到
伴随当代工业产业的发展,深孔加工被普遍运用在航空航天、军事、汽车等领域,深孔加工精度与加工质量的要求也越来越高。高精度深孔加工成为机械加工领域的难题之一。研究深孔镗削加工发现,极易产生切削颤振的主要原因在于镗杆的长径比大、动刚度小,从而使得工件的表面加工质量和深孔加工精度降低,难以符合生产加工质量要求,而且缩短了刀具的使用寿命。本文以具有约束层阻尼的复合材料镗杆为主要研究对象,将镗杆的动力学模型及
近年来,伴随着大数据技术和人工智能技术的崛起,AI+教育已经成为学术界和产业界共同关注的热点。作为一种能够根据学习者特征提供个性化学习内容的教育产品,智能学习系统被认