异构集群中计算能力敏感的数据重分布

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:whp71518255
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算已经是下一代服务计算模式,并且全面进入实践和应用的阶段。由于硬件升级换代,在性能价格比、可扩展性和可用性方面,云计算资源虚拟化和异构集群系统显现出巨大优势,这使得集群系统中节点间硬件资源或者指令集的异构逐渐成为当今计算机体系结构和并行处理相关研究的热点课题。如何充分有效的利用集群系统范围内的资源是研究的关键问题,而负载均衡是解决集群系统资源高效利用的有效手段之一。  现有的Hadoop平台在异构集群环境下,由于节点计算能力和节点上的数据分布不匹配而导致强节点大量偷窃弱节点上的任务来执行而形成非本地任务,由于数据不在本地,需要先通过网络将数据传送到任务执行节点上,这一过程带来了节点间网络通信的开销。导致任务平均响应时间延长以及集群系统网络资源的争用等问题从而影响系统性能。本文针对异构集群系统中存在的上述问题,提出了一种异构集群计算能力敏感的数据重分布法。论文的主要工作和创新如下:  论文的主要工作和创新如下:  (1)提出了一种计算能力敏感的数据重分布方法,根据节点计算能力重新部署预处理数据。解决异构集群WordCount和Kmeans等典型应用存在的任务偷窃现象严重,非本地任务的比例高等问题,提高了系统效率。  (2)设计并实现了一种集群各节点对于当前作业的实时处理能力的评估方法。该方法作为前述存储负载重分布方法的动态调度依据,方法具有作业相关性,并且适用于任何集群作业。  (3)动态监控集群系统上的网络资源情况并实时反馈信息到各集群节点调整重分布策略以避免网络资源瓶颈。  (4)在基于硬件资源异构的hadoop集群环境中实现计算能力敏感的数据重分布方法,并分别在非迭代和迭代型MapReduce作业中设计实验评估性能收益。实验结果显示相比原始hadoop版本,改进后的版本在非迭代的mapreduce中有11%到14%左右的性能提升,在迭代型MapReduce中有35%到50%左右的性能提升。实验验证了本方法在提高任务本地性,减少任务的平均响应时间,缓解集群系统网络带宽和提高系统性能上的效果。
其他文献
图像检索旨在从大规模图像集合中快速准确地检索与用户给定查询相似的图像,是多媒体处理和计算机视觉领域的重要问题。图像检索系统通常采用视觉特征提取技术,将图像内容描述为
多文种软件开发是软件开发的趋势之一,也是我们多民族国家软件应用中一个必须克服的瓶颈之一。目前软件的本地化只是注重将软件中的用户界面、帮助文档和使用手册等中的文字从
在嵌入式技术领域,为了提高开发效率,芯片制造商、设计方案供应商、软件公司,以及终端产品制造商在软硬件协同设计的基础上,都致力于扩大嵌入式软件平台的使用范围。软件平台不仅
广东省劳动和社会保障厅职业技能鉴定中心在广东省的电子商务从业人员中推行电子商务职业资格证书的制度,目前已经初步建立了电子商务师职业技能鉴定体系。但随着考试人数的日
随着改革开放的深入进行,我国经济得到了前所未有的高速增长。经济总量的迅速提升,使电能消耗也逐年加大。自2003年以来,全国电力供需形势持续出现紧张局面。电能严重短缺的严峻
随着计算机和网络技术的飞速发展,电子政务已成为全球信息技术行业关注的热点。经过十多年的不懈努力,我国的电子政务已经迅速普及。然而,使用电子政务的部门和地区在感受网络带
学位
经过多年的信息化建设,各企事业单位已具备了较完善的OLTP系统,积累了海量的业务数据,但是他们分散、不共享,数据的完整性、一致性缺少很好的保证,且OLTP系统已远远满足不了企业应
学位
在互联网上实现大规模的流媒体数据直播服务,一直是普通网络用户和研究者追求的梦想。客户端/服务器架构需要很高的成本,且缺乏良好的可扩展性;作为最理想解决方案的IP组播因为
计算机视觉中的视频任务都有着很重要的实际应用,对视频数据建模和处理方法的研究是一个十分重要的方向。视频数据的复杂性,使得合理准确地建模视频数据成为非常困难的问题。传