基于hadoop平台作业调度算法的研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:hotjune
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的迅猛发展,互联网数据呈现爆炸性的增长,面临海量数据处理问题。云计算作为一种新的模型提出来,发展极为迅速。云计算开源系统Hadoop模仿和实现了Google云计算的主要技术,并获得广泛的应用。Hadoop是一个在不断发展和完善的平台,在Hadoop研究中作业调度的研究是学术界和工业界的热点问题之一。改进和提高作业调度能力,能提升海量数据处理的能力。对提高Hadoop平台的性能和资源利用效率都有重要的现实意义。   本文首先介绍了Hadoop的技术背景,其次介绍了Hadoop平台的核心部分,即Hadoop的分布式文件系统(HDFS)和MapReduce计算框架,详细分析了Hadoop的作业调度流程。接着研究了Hadoop平台下现有的调度算法,即FIFO算法,计算能力算法,公平调度算法。详细研究了公平调度算法。   在对Hadoop平台深入了解和对其作业调度算法进行详细研究下,提出对作业调度算法的改进。首先,分析了公平调度算法的数据本地化问题,分析其中的延迟改进算法,在此算法的基础上,提出保证响应时间T的延迟算法,来保证特殊用户(如:付费用户)的服务水平协议(SLA)要求,这里主要针对短作业。其次,希望通过利用过去的节点历史记录和学习作业属性来不断的改进作业调度,提出应用基于特征加权的朴素贝叶斯分类器算法来改进作业调度的任务分配,详细分析了算法的设计思想,并进行原型的设计和实现。   最后通过实验环境的搭建来测试改进算法,首先测试了保证特定响应时间T的延迟算法,实验证明到达了响应时间T的要求,但损失了部分的数据本地化。其次,测试了基于特征加权的朴素贝叶斯分类调度算法,对其学习的能力,特征加权对性能的影响,决策的正确率以及与现有调度算法的性能进行试验对比分析。
其他文献
现场编程实现方式是将各种消防控制设备的控制时序和联动关系归纳为几种固定逻辑模型,并以特定的数据格式定义形成协议,最终根据实际工程的要求,通过计算机现场输入联动关系
复合式火灾探测报警目前世界范围内火灾探测报警领域最受人瞩目的研究方向之一.该论文的主要内容是公安部"复合式感烟感温火灾探测报警系统SX4000"的科研项目中的一部分-火灾
云计算数据中心内运行的多种多样的应用对网络的高带宽和低延时等性能提出了越来越高的要求。数据中心网络的流调度技术对数据流的传输进行调度,其目标是减少数据流平均完成时
该文主要介绍了在Windows95环境下,利用最新集成开发工具Visual C++5.0研制开发了应用于从德国引引进的ERGO-OXYSCREEN运动肺功能测试仪上的自动分析诊断系统.该系统的开发将
随着移动互联网以及无线接入技术的迅猛发展,无线城市为市民、企业和政府提供了共享无线信息平台的可能性,随时随地随需的获取无线网络服务已成为现代生活和办公的一个非常重
近年来,随着智能交通系统的快速发展,作为其关键技术之一的车载通信网络也逐渐受到国内外专家及学者的重视。车载通信网络能够提高行车的安全性、舒适性以及运输效率,因此可
随着网络技术的快速发展和广泛应用,互联网在各个方面影响着人们的日常生活和工作,潜移默化之中改变了人们的生活方式、行为习惯和社会活动。互联网已成为当今社会人们生活中不
该文是对采用数字语音中继卡开发新型的火警受理设备的整个过程的详细描述.该设备采用了数字程控技术,计算机技术,以及可视化软件编程技术,使该设备能够完成《城市消防通信指
该学位论文深入系统地研究了MMDBMS中的压缩技术和基于内容图像查询以及二者集成的问题。在数据库、图像压缩、模式识别等多个学科领域进行交叉研究,为突破存储和基于内容查询
作为一种数据安全策略,数据备份是保障数据安全的一种重要手段。然而现有的数据备份方案往往采用昂贵的数据备份服务器存储数据,这大大增加了备份的成本,同时也降低了系统性