基于人工蜂群算法的Hadoop调度算法研究与改进

来源 :河北经贸大学 | 被引量 : 5次 | 上传用户:lynnshe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
群智能优化算法在解决NP类问题具有较高的效率和收敛速度,已经得到国内外越来越多的研究者和工程技术人员的关注,群智能优化算法已经成为解决云计算资源调度问题主要研究方向之一。目前对群智能优化算法的研究主要有两个方向,一是对某一群智能算法进行深入研究,通过改善自身缺点,吸收引进其他智能优化算法的特性进行改进和优化,二是将多种群智能算法通过不同的方式进行结合,取长补短,产生新的智能算法。本文也分别从这两个方向上入手进行研究,目的是优化云计算平台资源调度,具体选择Hadoop云计算平台,改进Hadoop集群的资源调度效率。本文的目的是通过改进智能优化算法或结合多个优化算法的生成新的算法对Hadoop的资源调度给多个任务,找出任务总完成时间的极小值。首先对几种较成熟的优化算法进行对比,通过对各智能优化算法各优缺点的分析发现,人工蜂群算法与其他算法相比对问题维数不太敏感,适合于求解高维问题,并且具有控制参数少、鲁棒性强、收敛速度快等优点,对于解决云资源调度问题具有十分明显的优势。因此本文针对人工蜂群算法提出了以下2种算法改进思路:(1)基于改进的人工蜂群算法的hadoop作业调度研究针对人工蜂群算法易于陷入局部极值的问题,首先引进高斯变异思想,提升人工蜂群的局部搜索能力,然后引进自适应因子,动态调整蜂群的寻优策略,加快搜索速度,提高搜索能力,优化了云计算资源的调度策略,提高了资源利用率,减少了任务的完成时间。(2)基于差分-蜂群混合调度算法的hadoop作业调度研究将群智能优化算法中的两个或多个算法进行按照一定策略进行融合,会发挥各自的特点,实际效果超过任何一个单独的优化算法。因此本文提出了一种差分-蜂群混合作业调度算法,用于大规模并行计算时进行资源调度,发挥两个算法各自的优势,可以减少算法的收敛时间和迭代次数,取得稳定有效的最优解,最大限度地提云计算资源调度的效率。最后通过搭建Hadoop集群,在集群上实现并验证了改进的人工蜂群调度算法和差分-蜂群混合调度算法,通过多次实验分析,选择最适合的参数值,以保证算法达到最佳性能。通过实验,对优化后的算法的性能进行了测试,并与Hadoop的原调度算法进行了比较。对实验结果分析比较得出的结论是:改进后的人工算法和混合算法缩短了作业的总的完成时间,在一定程度上提升了集群的效率。
其他文献
基因芯片可以同时检测一个生物样本的所有转录因子活性。与传统的实验工具不同,基因表达芯片能够使我们对细胞在基因水平上有一个全局的认识。该技术已经被广泛应用到很多领域
近年来,互联网发展迅速,但与之相伴随的是网络安全事件的频繁涌现,互联网络中安全威胁的范围越来越大,DDoS、扫描、蠕虫等大规模攻击已经给人们的正常工作、学习、科研带来严
本文的研究目的是通过对眼动信息的分析来进行前庭功能的检测。眼震数据分析是前庭功能检查的客观依据之一。本文利用的方法是通过对眼动视频图像进行处理,从而获取眼睛瞳孔
随着射频识别(RFID)技术在各个领域应用越来越深入,RFID技术正在引导着行业的发展,影响着人们的生活。各国政府、科研机构和企业都在积极进行RFID技术的研究和开发。RFID阅读器
随着当今信息科学的不断发展和进步,信息交互变得日益频繁,信息安全也就成为了最突出的问题之一。通信安全作为信息安全的重要组成部分,理所当然的受到了广泛的关注和研究。
数据流的出现给传统的数据挖掘技术带来了巨大的挑战。由于数据流连续不断的到来,已有的数据处理技术难以对这些潜在无限的、变化的数据进行有效的管理和挖掘。随着移动终端设
论文设计并实现了NBOS源数据预分析系统,对NBOS源数据进行必要的统计分析和存储处理。统计分析的目的是为NBOS部分配置参数的设置提供依据;存储的目的是为NBOS开发系统和测试
随着3G网络的发展以及芯片性能的不断增强、成本的不断降低,基于3G网络的移动多媒体终端的应用越来越广泛,比如视频会议、视频监控等,终端间的通信变得越来越重要。sip协议简
流量数据是对网络规划、网络管理、网络安全、新网络协议等研究工作的重要基础。随着网络的不断发展,规模不断扩大,网络数据流量急剧增加,高速网络越来越普遍。低速网络环境下使
随着信息技术的高速发展,业界较多采用了以集群为代表的分布式并行文件系统来实现海量数据的分布存储及并行处理。对象存储文件系统Lustre通过改进的存储体系结构,支持大并发的