带安全约束的批处理MapReduce任务调度方法

来源 :东南大学 | 被引量 : 0次 | 上传用户:akhiv
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
任务调度是影响面向大数据应用分布式计算的MapReduce框架性能的重要因素,成为近年来的MapReduce调度研究热点。相互独立的周期性执行批处理任务是MapReduce环境下的重要任务处理类型。在涉及公安数据或金融数据的大数据处理时,安全性要求成为不可忽视的重要约束。本文研究MapReduce环境下带安全约束的批处理任务调度方法,具有重要的理论意义和应用前景。本文考虑带安全约束的批处理MapReduce任务调度问题,考虑Map和Reduce阶段安全性和数据本地化约束,以最小化最大完工时间为优化目标,兼顾作业公平性和集群负载均衡。建立带安全约束的Map、Reduce两阶段任务调度数学模型;基于此模型提出带安全约束的批处理MapReduce任务调度方法,该方法由三部分组成:Map任务调度、Reduce任务调度、调度序列调整。在Map任务调度阶段提出两种带安全约束以及负载均衡控制的Map任务调度算子,得到Map任务调度序列;在Reduce任务调度阶段提出两种带安全约束的数据本地化感知的Reduce任务调度算子,得到Map和Reduce任务调度的序列;为了优化调度序列以达到进一步缩短作业最大完工时间的目的,设计基于插入和交换的四种邻域结构,将Map和Reduce调度算子得到的调度序列作为初始序列,进一步提出基于不同邻域结构的局部搜索调度序列调整方法。为验证所提出算法的效率和有效性,采用方差分析技术对算法的相关参数和组件进行测试和分析,得到最适合求解该问题的相关参数值和组件;将提出的算法与公平调度算法在不同集群和作业规模的实例上进行比较和分析。实验结果表明:所提方法在不同集群规模和作业规模都有显著效果;所提算法在最大完工时间、数据安全和负载均衡三方面都优于公平调度算法。
其他文献
富钴结壳因富含丰富的战略金属钴,已成为国际上竞相研究的热点。主要介绍了德国、美国、日本、中国、韩国等国家对钴结壳进行的调查情况,并简要分析了目前钴结壳开采的3种主要
分析测定了下庄铀矿田北部中生代长英质火山岩主元素、微量元素、稀土元素,得出结论:下庄矿田北部中生代长英质火山岩由钙碱性系列碎斑熔岩组成;下庄矿田北部中生代长英质火山岩
研究目的:对海南岛部分地区重要动物宿主(蝙蝠、啮齿动物和家禽等)携带病毒病原体的情况进行调查和监测,为防控海南岛新发传染病和再发传染病提供病毒病原本底数据和技术支持
简要介绍了纳米碳粉、纳米碳纤维和蒙脱土等纳米材料在改性酚醛树脂烧蚀性能方面的研究进展,分析了各种方法的改性机理、优缺点以及研究现状。指出纳米材料改性是一个工艺简单
余田群菖蒲组火山岩属典型的双峰式火山岩,(中)基性火山岩稀土总舍量小,∑BEE变化范围大,且低于地壳的∑REE值;酸性火岩稀土总含量大,高于地壳的∑REE值。从基性火山岩到酸性火山岩,
采用Shift-share方法对吉林省矿业发展现状进行了分析和评价,确定了吉林省矿业产业中具有发展潜力和竞争优势的产业部门。结果表明:吉林省矿业经济结构较好。对矿业经济总量增