异构计算环境下MapReduce工作流调度优化算法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:zygqqx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今信息爆炸式增长背景下,云计算技术凭借其高性能的计算能力和海量的数据存储能力,得到了各界的广泛关注及应用。然而,随着在云计算环境中开发功能越来越多的强大应用/软件,其所对应的逻辑关系也越来越复杂,还可能受时间、代价、资源、优先级限制等因素的限制,一般的信息系统却难控制这样复杂的应用。为了解决这个难题,在云环境上部署工作流成为了新的研究热点,这样既能充分利用云计算的资源,又能通过工作流来方便灵活地构建、管理、执行及监控整个应用流程。在现有的服务编制型云工作流中,由于所有数据都得经过中央引擎来传输,所以在处理大数据时难以避免会出现带宽瓶颈问题。本文通过分析云工作流框架,针对服务编制型的工作流框架进行了优化。在工作流框架中加入了中间代理层的结构,并对工作流引擎进行了改善,通过代理来管理节点,代理与工作流引擎之间传输的是控制流信息,而底层节点之间则可以直接进行点对点数据传输,大大减少了瓶颈现象的发生。并且,改善的工作流引擎能根据任务的不同类别(类别着色)将任务分配到合适的云底层平台(如:Hadoop)或云基础处理节点来进行处理。由于MapRduce是云计算面向大数据处理的典型并行可扩展性编程模型,先选择从MapReduce工作流着手研究,提出了云环境下的MapReduce工作流调度模型。现有的由MapReduce类型任务组成的工作流,一般是将workflow任务的优先级调度与底层MapReduce调度分离开来的,这样在调度的过程中会产生很多的时间碎片,使得资源使用率不高。本文通过分析workflow、MapReduce的调度算法及HDFS,提出了一种异构环境下的优化调度算法MRWS (MapReduce-enabled Workfow Scheduler)。实验结果表名调度算法MRWS能尽可能充分地利用调度过程中产生的时间碎片,进一步提高了资源利用率及流程执行效率。
其他文献
摘要:近年来,无线定位技术在应急通信、公共安全、资讯服务、导航追踪等领域取得了长足的发展,但大多数定位解决方案都是基于卫星的室外定位。因为室内环境下接收不到卫星信号
随着互联网技术的发展和医疗信息化的推进,跨医院的医疗信息数据共享逐渐形成,数据规模庞大、来源多样化所带来的网络安全问题及支付安全等问题愈发凸显。本文针对目前医院网
近年来以WLAN和3G为代表的无线网络技术及其应用都在飞速发展。然而WLAN和3G网络都具有各自的优势,同时也具有很强的互补性,两者的融合将为用户提供高速率、广覆盖的具有极高性
在公路养护中,路面裂缝是衡量公路质量最重要的一个指标,目前国内主要依靠人工来检测高速公路的路况,不仅会受到养护工主观意识的影响,而且还浪费了大量的人力资源,因此基于
随着移动通信技术的飞速发展和移动网络的快速演进,移动视频监控已经广泛应用于城市交通、家居安防等领域。基于移动性的优势,移动视频监控还可以应用在应急指挥、救灾抢险等对
针对频偏估计问题,本文从理论和仿真实验的角度对TD-SCDMA系统基于Midamble码的频偏估计算法、OFDM系统基于PN序列和基于循环前缀的频偏估计算法进行了研究。首先研究了频偏产
目前,图像和视频已经越来越成为多媒体的主要表现形式,如何有效地从大规模的图像视频数据中定位用户真正需要的图像块,已经成为了图像和视频处理领域比较热门的问题,感兴趣区
无线电频谱资源是信息社会发展的重要基础和战略性资源。随着信息通信业务的迅猛发展,频谱资源紧缺问题越来越突出。优化频谱资源配制、提高频谱利用效率是解决频谱紧缺问题的
随着互联网和无线移动通信技术的发展,人们对移动多媒体业务的需求越来越大。然而网络丢包及无线信道中出现的数据差错与丢失造成了接收端图像质量的下降。而多描述编码能满
现代计算机网络已经渗透到人类生活的方方面面。网络上每天充斥着海量的信息并且时时更新,如何筛选甄别网络信息成了一项日益严峻的研究任务。话题跟踪技术就是在此基础上发展