面向大数据的流处理器数据通路结构优化

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:oyyc4011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展与应用的深化,各种数据呈爆炸式增长,数据密集型应用的负载特性与传统应用具有很大区别,传统处理器利用时空局部性提升性能的方法将不再适用。因此,针对大数据问题的微处理器体系结构研究成为了学术界关注的热点,流处理器体系结构就是其中值得探索的一个方向。图搜索问题是一类典型的大数据问题,Graph500就采用了BFS算法作为其benchmark。本文面向BFS算法研究面向大数据处理的流处理器体系架构,研究数据通路的测试分析、设计和优化。本文主要从以下几个方面展开研究:第一,通过对混合BFS并行算法的访存行为以及数据摆放方式的研究,发现了在既定的流处理器体系结构下该算法的访存模式。并且基于FPGA和DDR3平台,测试和研究存控在不同访存模式下的带宽表现,接着通过更改MIG内核,定制了一个适于BFS算法的存控访存策略。经过访存策略的选择和定制后,使得混合BFS并行算法在既定流处理器体系结构下的性能得到了51%的提升。第二,设计了一系列该流处理器架构下的性能测试工具与分析方法。为了评估流处理器性能,提出了包括用平均队列长度分析通路堵塞情况、用模块平均时延判断数据通路功能模块性能等一系列分析方法,并依据方法设计了相关测试工具。测试工具以多应用对比并精准定位模块的方式,设计了包括计数标记法在内的多种测试具体实现。设计的测试工具和分析方法在该流处理器结构下有很强的适用性,并且能够通过测试分析确定该处理瓶颈所在。第三,通过研究影响数据通路总控接口带宽的各个因素,设计了一个性能较好且资源开销合适的数据通路总控接口,达到了总控接口高带宽的目标。并且研究了数据通路并行化方式,基于该流处理器架构下,设计了一套拥有包括三级缓存、轮序仲裁等机制在内的高并行度交叉开关。新交叉开关的实现使得处理器整体性能得到了37.5%的提升。第四,根据流处理器体系结构架构特点,设计了相适应的远程访存机制,并依此实现了远程访存接口。使得流处理器可以进行多节点间的远程访存操作,为多节点并行处理大数据问题提供了硬件支持。最后通过Top-down、Bottom-up和混合算法验证了远程访存机制的正确性,性能分别为0.89MTEPs、5.23MTEPs和74.44MTEPs。
其他文献
P2P是英文peer-to-peer的缩写,即对等网络或对等计算。在对等网络系统中每个节点的地位都是相同的,无服务器与客户机之分。随着Napster等P2P系统的出现,人们开始关注P2P技术
随着云计算、物联网、大数据等众多新技术和应用的空前发展以及智能终端的爆炸式增长,要求网络必须能够像用户应用程序一样可以被定制和编程,基于专用硬件的网络设备已经很难
在高性能计算领域,I/O性能已经成为影响计算机性能的重要因素。为了提高I/O性能,人们开发了层次式存储系统。而当前常用的I/O性能评价基准如S3D I/O、,BTIO、MADbench2、FLAS
Ad Hoc网络是一种由一组无线节点组成的没有预定基础设施支撑的自组织可重构的多跳无线网络。在该网络中,网络的拓扑、信道的环境和业务的模式是随节点的移动而动态改变的。A
随着人类社会和计算机技术的飞速发展,电子数据的积累出现了爆炸式的增长。这些海量的电子数据里面无疑隐藏着丰富的对人类深具价值的知识,而传统的数据分析工具只能利用其中的
随着社会信息化进程的不断发展,人们对信息的需求和依赖程度越来越高,如何从海量信息中快速有效的获取有用信息,已经成为人们研究的焦点。信息集成的研究可以帮助人们有效的
入侵检测技术是继防火墙、数据加密等传统安全保护措施后的一种新的网络安全保障技术。作为一种主动防御技术,它不但能检测到来自外部网络的攻击,而且还能检测来自内部的入侵
随着计算机技术尤其是网络技术的发展,作为互联网的重要组成部分——学校的教育网络也在不断地发展。校园网建设的深入开展无疑对加大信息资源共享度,提高工作效率起到积极重
随着数据挖掘技术的发展,人们对时态信息的关注日益提高。时态数据库中既反映被处理事件的历史信息又体现系统中元事件时态信息的双时态数据库日益受到人们的重视。随着双时
边缘是图像中重要的特征之一,边缘检测是计算机视觉、模式识别等的基础。然而,边缘检测又是图像处理中一个困难的问题,因为实际景物图像中的边缘往往是各种类型的边缘以及它