共享集群基于HDFS的数据块密度调度策略

来源 :计算机科学 | 被引量 : 0次 | 上传用户:new4kakaxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离。海量数据处理应用的数据本地性是影响其性能的关键因素之一。目前,共享集群管理框架调度器的研究主要集中在通过提升调度的并行度来提高系统的吞吐量和资源利用率,而其在调度的质量方面还存在一些缺陷,如应用的数据本地性问题。提出基于数据块密度的调度策略,来提高应用的数据本地性,根据数据块的密度为应用等比例分配计算资源,减少应用运行过
其他文献
为了调动学生学习的积极性,文章从选取恰当的案例、精心设计话题、案例分析与讨论三方面阐述了案例教学在市场营销教学中的作用,提出了市场营销案例教学的设计,最后探讨了市
随着我国经济的飞速发展,公路建设也同样处于不断的发展当中。在新时期的背景下,作为交通基础设施中的建设项目,公路的建设和与之相关的经济发展也逐渐受到了越来越广泛的重视。
文章提出三种在作文批改中提高学生写作水平的方法,一是教师示范批改,巧授学生以"渔";二是学生自批自改,合作探究,张扬个性,包括学生自改、一对一互改、小组合作改;三是进行
针对校园网中广播风暴、ARP病毒泛滥等问题,文中提出IP Unnumbered、DHCP与认证技术相结合实现PUPV的解决方案。首先分析了用户接入安全需求,然后论述了校园网中实现PUPV的关键
我国新会计准则的颁布对各行业产生了很大影响,能够规范企业财务行为,提升企业的管理水平,促进企业综合实力的发展。新会计准则适合我国不断变化的经济形势,囊括了金融、保险等经
会计人员在工作时需要提高自身的职业道德水平,这样才能够达到会计处理目标。尤其是近些年来,随着我国社会经济的发展,企业对会计人员的操作行为要求越来越严格,会计人员需要规范
刚刚过去的2018年,是我国航空应急救援事业大发展的一年。与航空应急救援相关的新闻频见报端,构建国家航空应急救援体系的消息也不时引起社会关注。2019年伊始,我们将关注点
针对制造网格访问控制的需求,提出一种网格环境下基于群组-活动的访问控制模型。模型对RBAC模型进行扩展,用活动对角色和权限对象进行封装,增加了活动状态、活动层次和活动依
应用零维单区模型对柴油-生物柴油混合燃料在内燃机中的燃烧进行了数值模拟计算,从化学动力学角度,通过分析混合燃料在内燃机均质压燃边界条件下燃烧的关键中间产物和最终生