【摘 要】
:
随着时间的推移,森林资源数据的规模越来越庞大,类型也越繁杂多样,对其信息的处理越来越困难,加上用户对数据处理作业的不同需求,传统的单一的计算模式已经无法适应海量的数
论文部分内容阅读
随着时间的推移,森林资源数据的规模越来越庞大,类型也越繁杂多样,对其信息的处理越来越困难,加上用户对数据处理作业的不同需求,传统的单一的计算模式已经无法适应海量的数据操作。因此,基于大规模计算机集群的云计算成为未来数据处理性能提升的主要途径,对云计算关键技术的研究具有较强的实际意义。Hadoop以其可靠高效的并行处理能力成为业内应用最广泛的开源云计算平台,成功实现了分布式文件系统HDFS和并行计算模型MapReduce。其中MapReduce作为云计算关键技术之一,不仅是一个分布式编程模型,还是优秀的任务调度模型。由于作业调度技术直接关系到云计算平台的资源利用率和整体性能,因此成为最关键的讨论内容之一。本文分析了MapReduce编程模型的实现流程和作业调度原理,重点阐述了现有的作业调度算法的算法思想和具体实现。这些算法各有优劣,针对现有算法鲜有考虑用户对时间期限和最高预算双重约束的问题,面对动态变化的云计算环境,提出一种改进的调度算法DBScheduler (Deadline and Budget Scheduler)。该算法利用用户对时间和预算的期望计算作业权值,在满足用户需求的情况下,为作业分配最小资源槽数,最大化集群的作业量,并通过对作业权值和最小分配资源槽数的动态调节来控制集群对资源的分配。为验证算法的有效性,在Hadoop平台上进行实验验证该算法和FIFO算法的性能差异。结果表明改进的算法具有更好的作业响应时间,并且在满足用户对时间期限和最高预算的需求基础上,最大化云计算集群中运行的作业数,达到用户需求的公平性。
其他文献
本论文中主要介绍数据仓库与数据挖掘技术在网管中的应用,首先介绍数据仓库相关技术的基本概念,讲述该技术在各个领域中的应用及成果,强调数据仓库相关技术在网管系统中的价值;详
视频跟踪是计算机视觉的重要分支,通过计算机视觉实现对目标的检测和跟踪在智能监控,视频压缩,自动导航、人机交互、虚拟现实等方面都有广泛应用前景。而对于很多拥有视觉的
随着车载系统、手机和笔记本电脑等通信产品的广泛应用,如何在移动ad hoc网中进行数据传输成为目前重要的研究课题,基于地理位置的GEOCAST数据传输协议是其中的一个重要分支
客户关系管理(CRM,customer Relationship Management)是适应现代管理思想发展起来的一种新型管理模式,可以分为协作型、操作型、分析型三种类型.分析型CRM将操作型CRM中有价
空间基础设施的建设对国民经济和国家安全起到的作用是至关重要的。因此,对以不同种类卫星组网为核心的空间基础设施建设的研究方兴未艾。卫星综合信息网作为空间基础设施的具
随着计算机的普及,计算机网络已成为许多行业必不可少的办公工具。而目前各行业仍利用邮电系统提供的程控交换网络进行电话通信,需支付大量的电话费,占用了各部门很大一部分
目前,负载均衡技术广泛应用于服务器集群当中,集群负载均衡技术主要分为三方面的研究内容:一、资源的重定向机制,包括:基于客户的重定向方法,基于DNS方法,基于分发器方法和基于服务
随着企业信息化进程的不断深入,把ERP引入生产管理已成为一种趋势。库存管理作为ERP的核心部分,对它的正确管理和科学决策能给企业的经营带来巨大的利润空间。 本文针对企业
Ad Hoc网络是一种无中心、自组织的、由移动节点组成的动态变化的多跳无线网络,每一个节点也兼备路由器功能。随着Ad Hoc网络的进一步发展,关于其网络中所使用的路由协议的性
随着计算机的应用领域不断扩大,数据的类型在不断地发生着变化,需要处理的数据量也与日俱增.从早期的单一数据,到以集合形式存在的文件和关系表数据,再到海量数据和无限数据