论文部分内容阅读
负载优化调度是指对负载进行合理高效地调度处理以实现特定的优化目标。随着大规模云数据中心在全球范围内的广泛部署,云数据中心负载优化调度正成为关系其服务能力建设及运营成本的重要方面,也是当前学术界的一个研究热点。而传统的负载优化调度方法不能很好地适应云计算应用的新特性,也无法很好地解决云计算带来的规模和复杂度挑战。本文围绕大规模云数据中心负载优化调度框架,云数据中心Web负载、Job负载及云数据中心之问批数据传输负载的优化调度方法展开研究工作,取得以下成果：针对传统负载优化调度系统可扩展性差,对云应用负载特性及智能化调度决策支持力度有限等不足,为大规模云数据中心提出一种可扩展、高效、智能化的负载优化调度系统JTangWOS. JTangWOS由基于数据分发服务DDS (Data Distribution Service)的负载监控平台,基于复杂事件处理CEP (Complex Event Processing)的调度决策支持平台,以及具体的负载优化调度系统组成。它能够很好地适应云数据中心的规模挑战,支持海量的监控数据收集和传输,支持各种复杂负载管理与调度决策的制定,并具有良好的可扩展性。实验还验证了该系统在负载优化调度方面的高效性(并发性和吞吐量分别提升4.8倍和20倍)及智能性。针对云计算应用基准程序Cloudstone,提出一种基于两阶段马尔科夫调制泊松过程MMPP2 (2-state Markov Modulated Possion Process)叠加模型的突发性和自相似性Web负载联合生成方法BURSE.该方法可以解决当前突发性和自相似性负载分别生成方法不能很好满足真实云Web应用负载情况的不足。与传统方法相比,该方法生成的负载更符合实际情况,并且所用方法更直观。接着,论文为大规模云数据中心系统提出了一种可感知突发性和自相似性的自适应负载均衡方法。实验表明所提负载生成方法具有很高的精度(各种突发性和自相似性强度组合平均误差都小于10%)及鲁棒性(精度不随负载样本数的增加而降低)。与传统贪婪和完全随机负载均衡算法相比,所提可感知突发性和自相似性的大规模云数据中心自适应负载均衡方法具有更好的性能和效率。针对大规模云数据中心地理位置分布的差异性,提出一种基于交替方向多乘子方法ADMM (Alternating Direction Method of Multipliers)的分布式算法,用来解决带有异构资源需求的Job在多个带有异构服务器的数据中心之间的优化调度问题。通过考虑不同数据中心所在地区之间的电价差异及用户请求到不同数据中心的网络延迟,为异构云数据中心多Job负载实现了一种成本最低的联合优化调度方法。实验表明,该方法在经过较少的几十次迭代(最多60次,80%的时间只需33次)后会收敛于一个实际中可接受的近似最优解。对比其他没有考虑数据中心和服务器联合调度的方法,所提方法能够完全保证用户服务质量QoS(Quality of Service)不被违反。对比其他只优化能耗成本或网络延迟效用损失的联合调度方法,所提方法能在效用损失和能耗成本之间实现一个更好的均衡,具有最低的总成本。针对云数据中心之间的批数据传输(Inter-DC Bulk Data Transfer)负载,通过利用批数据传输较高的延迟容忍性及不同地区数据中心电价的差异性,提出了一种能耗成本最低的两阶段优化调度方法。论文系统地研究了在大规模云数据中心网络中如何路由及调度批数据传输任务使得总能耗成本最小的问题,并用最小成本多并发流对该问题进行了建模。同时,还充分利用云数据中心之间批数据传输在时间和空间上的灵活性,提出一种高效的两阶段优化调度方法来求解该模型。基于真实云数据中心网络拓扑及真实历史电价数据,实验表明所提方法在降低数据中心能耗成本方面优于当前已有各种批数据传输优化调度方法及策略,其能耗成本降低率在闲时(凌晨)和忙时(傍晚)分别达到了31%和48%。另外,实验还表明所提方法具有较低的时间复杂度(与给定的可传输时间近似成线性关系),能够在性能和时间复杂度上实现一个好的均衡。