论文部分内容阅读
云存储是通过集群应用、网格和分布式文件系统等技术整合网络中大量类型各异的存储设备来对外提供数据存储和业务访问功能,它也是云计算平台提供的一种存储服务;目前云存储已经成为云计算应用领域的一个主要研究热点。云存储系统所追求的主要性能指标包括:高速、安全、高可用性和高可靠性以及低能耗,而这些性能指标大部分都与云存储系统中的数据布局技术密切相关。目前虽然在该方面有一些研究和探讨,但是现有的数据布局方式在同时兼顾系统性能和用户需求以及云存储系统的能耗方面还存在一些问题;缺乏从整体上进行全面优化的数据布局方式,还有许多问题需要进一步研究和解决。因此,优化云存储环境下的数据布局方式,构建高性能和低能耗的云存储系统是当前云计算技术领域内一项重要而紧迫的任务。本论文重点研究云存储系统中高效能存储的数据布局技术。论文的研究内容包括静态文件数据布局、动态文件数据布局、副本数据布局和数据布局策略在低能耗存储系统中的应用四个方面。本论文的研究目的是优化云存储系统的性能,减少云存储系统的平均响应时间并使它具有高速、高可用性和高可靠性以及低能耗的特征。本论文的主要研究工作和创新点包括以下四个方面:(一)提出了一种能够加快云存储系统中文件访问速率并兼顾系统负载均衡的静态文件布局策略(Static File Layout Strategy, SFLS)。SFLS策略既可以提高云存储系统的访问速率,同时又能够在可变工作负载情况下使得系统中的各节点尽可能地负载均衡。SFLS的基本思想是:首先将磁盘分成用于存放热点文件和存放大文件的两组;然后按服务时间大小和访问频率将文件划分为热点文件和大文件两类;最后以Round-robin和Greedy的方式将这两类文件分别存放到两组磁盘上。这种处理方式一方面避免了热点文件等待大文件而出现“饥饿”的现象,另一方面也最大化了磁盘的利用率,当有文件I/O请求到达时,可根据文件的“热度”和大小情况来选择相应的磁盘组进行访问。因此,SFLS可加快文件I/O请求的访问速率,增强存储系统的访问性能。为了对提出的文件布局策略进行性能评估,本文在现有CloudSim的基础上增加了能够对云数据进行存储与管理的功能,构建了一种基于CloudSim的云数据平台,使之能够用于仿真数据云。另外,经扩展后的CloudSim有效地方便了CloudSim用户将他们的文件条带化策略、数据布局策略以及副本管理策略整合到云任务中,并通过将其运用到数据中心可用资源的调度中来对其进行性能评估。(二)提出了一种用于最小化云存储系统平均响应时间的基于负载预测的动态文件布局策略(Prediction-based Dynamic File Assignment, PDFA),PDFA策略致力于最小化云存储系统的平均响应时间,同时兼顾不同负载工作模式下各数据节点的负载均衡。论文首先提出了云存储系统中文件指派和文件访问的分析模型,它们能够用来评估不同文件指派策略在平均响应时间尺度方面的性能,然后提出了云存储系统中的负载预测模型,能够预测数据节点在未来一段时间内的负载,其次提出了基于以上负载预测方法的动态文件指派策略,它能够在不同负载模式下为系统选择合适的文件布局方案,最后评估了新提出的动态文件策略与已有的著名的文件布局策略HP和SOR。从分析和实验结果可以得知,提出的PDFA相比于其它两种算法能在平均响应时间方面取得更好的性能。(三)提出了一种云存储集群中的基于人工免疫算法的多目标优化的数据副本布局管理策略(Multi-objective Optimized Replication Management, MORM),MORM策略可以用来提高云存储系统的数据可用性和可靠性。该策略考虑了包括平均文件不可用性,平均服务时间,负载均衡,能量消耗以及平均访问延迟在内的五个能效因素,并试图寻找副本数和副本布局与这五者之间的关系,通过对这五个目标进行优化从而找到近似的最优解。MORM策略可以将同一数据的不同副本分布在不同的存储节点上,从而获得了较高的冗余度和容错能力。(四)提出了一种低能耗的云存储系统模型(Low Energy Consumption Cloud Storage Model, LECCSM),LECCSM模型既从单个数据节点出发,通过对数据节点在未来一段时间内的访问量进行预测来对节点的状态进行动态切换从而达到单节点级别节能的目的,同时也从系统整体的费用成本出发,根据当前负载来动态地配置集群,从而实现对系统在数据中心级别节能的目的。另外,针对多副本布局策略,该模型还提出了基于最小副本数的副本优化管理方案。然后,将本文前三章所提出的数据布局策略应用到该LECCSM中,并分析了数据布局策略为适应该低能耗云存储系统所需的数据重分布策略,从而使得本文所提出的数据布局策略不仅适应于传统的存储系统,而且更适应于当今的低能耗型云存储系统。