云计算环境下存储与计算层节能方法研究

来源 :新疆大学 | 被引量 : 0次 | 上传用户:pluto529
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为保障QoS与系统可靠性,云计算中心超额的资源供给、冗余设计以及负载均衡算法对能耗因素的忽略,使其中的硬、软件系统暴露出高能耗、低效率等问题,并且系统规模的不断扩大使该问题日益严重。打造高效节能的云计算系统是当前信息产业所面临的重要问题,特别解决云存储与计算模型的能耗优化问题是提高云计算中心能耗利用率的关键。本文对云存储及MapReduce计算模型的节能问题展开一系列的研究,旨在通过提高云计算中心存储层与计算层能耗效率,进而达到提高云计算中心整体能耗利用率的目的。本文主要研究工作包括以下几点:(1)系统归纳了云存储及MapReduce计算模型的节能研究现状首先,将存储系统中的能耗优化问题分为基于硬件的节能与基于调度的节能两个方面进行讨论,并将基于调度的节能方法分为基于节点调度、基于数据调度以及基于缓存预取技术三类进行综合比较。其次,对已有MapReduce计算模式的节能研究成果进行了总结。(2)基于存储结构重配置的节能算法研究提出通过构造数据块可用性度量矩阵解决数据可用性完全覆盖问题,建立分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据活动因子配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的。(3)基于对称数据块存储策略的节能算法研究提出通过设计对称数据块存储策略及该存储策略下的节能算法,实现在不影响原HDFS可靠性、高效性与可扩展性的前提下,使具有相同存储结构的DataNode节点之间能够实现任务的转移与替换,通过休眠任务调度产生的空闲节点达到节能的目的。(4)适应节能的云存储元数据模型及算法研究在研究现有云存储系统架构模式、存储模型与策略、元数据的管理与组织、QoS约束保障的基础上,提出一种适应节能的云存储元数据动态建模与管理方法。围绕节能的元数据模型设计了适应该模型的磁盘级存储结构、数据存储与读取策略及节能模式切换算法,有效地解决了系统与节能算法之间的匹配问题。(5)MapReduce能耗模型及性能优化研究首先,对MapReduce任务进行了能耗建模,提出基于CPU利用率估算、主要部件能耗累加及平均功耗估算的任务能耗模型,并在此基础上建立了MapReduce作业能耗模型。其次,基于能耗模型对能耗优化进行了分析,提出从优化MapReduce作业执行能耗、减少MapReduce任务等待能耗与提高MapReduce集群能源利用效率三个方向对MapReduce进行能耗优化。最后,提出异构环境下的数据放置策略减小MapReduce任务等待能耗,以及利用截止时间约束下的最小资源分配方法提高MapReduce作业能耗利用效率。(6)温度感知的MapReduce节能任务调度策略研究通过对已有的MapReduce任务调度模型的研究,发现调度系统并不关心拥有空闲资源槽节点当前的温度状态。提出温度感知的节能任务调度策略,将节点CPU温度纳入任务调度的决策信息,以避免少数高温任务执行节点对作业整体进度的影响。算法实现方式上提出了基于心跳信息修改及基于健康监测脚本的两种实现方案。
其他文献
学位
学位
学位
学位
学位
学位
学位
学位
学位
学位