云计算平台Hadoop负载均衡研究

被引量 : 6次 | 上传用户:ehvv5022
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
负载均衡在Hadoop集群系统中十分重要,合理的负载均衡策略能提高集群的性能,同时也可以改善用户体验。Hadoop集群的任务调度策略和调度方式对负载分配有很大影响,但是目前Hadoop集群的调度方式没有考虑到负载的均衡问题。本文主要是从任务调度的角度对集群负载进行研究,在任务调度程中就考虑到负载均衡,比当集群负载已经严重失衡时再调整更有意义。本文详细介绍了云计算、MapReduce分布式计算框架和HDFS及MapReduce的Java开源实现Hadoop,重点分析了Hadoop中作业执行的过程和当前Hadoop中常见的调度算法FIFO、Capacity Scheduler和Fair Scheduler。充分利用TaskTracker请求新任务的Heartbeat信息,从任务调度的角度出发,提出了动态反馈的负载均衡调度方式(Dynamic Feedback Load Balance,DFLB)。主要是在作业执行过程收集相关信息,反馈给JobTracker,在新任务分配时利用这些信息,并在新任务执行时再收集执行信息,最终形成一个收集-反馈-利用-收集这样一个闭环。本文对集群的负载均衡情况进行了数学定义,为任务调度时任务分配情况是否合理提供了考虑和判断的依据。另外考虑到作业的公平性,在调度过程中提出了作业的动态优先级。在分析完动态反馈负载均衡的流程后,动手搭建了Hadoop集群对研究结果进行验证,对试验结果进行对比分析,结果表明DFLB调度方式可以使集群负载达到均衡状态,作业的平均响应时间较Hadoop自带的调度方式有一定的改善,充分反映了负载均衡对资源利用率和作业并行度的影响,对Hadoop云计算平台的负载均衡研究取得了有意义的进展。
其他文献
随着铁路系统的蓬勃发展,计算机联锁系统正在逐步取代电气集中联锁系统。系统结构应该如何组织、是否合理并有效、其可靠性和安全性是否得到提高、投资成本是否得以降低,都将直
随着我国电力系统规模的扩大,电力市场迅猛发展,电网区域间的ATC(AvailableTransfer Capability,可用输电能力)已经成为评估系统安全与经济运行的关键参数。它不仅具有市场信号
伴随着科技的进步和汽车工业的深入发展,社会生产力水平显著提高,汽车逐渐成了人们日常生活不可或缺的交通工具。汽车的增多带来了诸多的社会问题,其中非常突出的一个问题就是土
改革开放以来,中国社会在我们党的领导下迅速的发展起来,一些新兴的外来文化也不断地引入到中国。从中国人欢度西方节日的行动和态度来看,中西方文化的交流变得越来越频繁,中西方
本文以非合作运动目标的分布式雷达成像为对象,以空间谱理论为基础,通过综合考虑分布式系统的空间展开特性、发射信号带宽、目标相对运动对成像的作用及其相互关系,重点开展
随着我国城镇化的高速发展,城市实际上已经成为了我国最主要的用水行政区域,在人口膨胀和经济快速增长的情况下,我国许多城市的水资源承受了巨大的压力,人们越来越被城市中所
诗歌鉴赏是近几年高考语文试卷中必考的考点。但从学生平时模拟测试及高考的得分情况来看,都不怎么理想。吃透《考纲》,要求学生掌握诗歌鉴赏的一些理论和术语,引导学生从整
为了探究犬Ⅰ型腺病毒(Canine adenovirus type 1, CAdV-1)F1301株结构蛋白Knob的免疫原性,试验采用原核表达技术将Knob蛋白基因克隆到pColdⅡ原核表达载体中进行低温诱导,并
在英语听说教学中运用英文电影教学,可以丰富课堂的教学内容,可以让学生接触不同语言环境中的不同影像资料,同时达到英语听说教学的目标。本文从英文电影辅助英语听说教学的
高师钢琴课程教学在专业学习中占有重要的地位。伴随现代技术的发展,数码钢琴开始走进高师钢琴课的教学中来,使传统"一对一"的钢琴教学模式转向了集体教学。当然,数码钢琴课