云存储系统中的数据布局策略研究

被引量 : 0次 | 上传用户:csmale
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储是通过集群应用、网格和分布式文件系统等技术整合网络中大量类型各异的存储设备来对外提供数据存储和业务访问功能,它也是云计算平台提供的一种存储服务;目前云存储已经成为云计算应用领域的一个主要研究热点。云存储系统所追求的主要性能指标包括:高速、安全、高可用性和高可靠性以及低能耗,而这些性能指标大部分都与云存储系统中的数据布局技术密切相关。目前虽然在该方面有一些研究和探讨,但是现有的数据布局方式在同时兼顾系统性能和用户需求以及云存储系统的能耗方面还存在一些问题;缺乏从整体上进行全面优化的数据布局方式,还有许多问题需要进一步研究和解决。因此,优化云存储环境下的数据布局方式,构建高性能和低能耗的云存储系统是当前云计算技术领域内一项重要而紧迫的任务。本论文重点研究云存储系统中高效能存储的数据布局技术。论文的研究内容包括静态文件数据布局、动态文件数据布局、副本数据布局和数据布局策略在低能耗存储系统中的应用四个方面。本论文的研究目的是优化云存储系统的性能,减少云存储系统的平均响应时间并使它具有高速、高可用性和高可靠性以及低能耗的特征。本论文的主要研究工作和创新点包括以下四个方面:(一)提出了一种能够加快云存储系统中文件访问速率并兼顾系统负载均衡的静态文件布局策略(Static File Layout Strategy, SFLS)。SFLS策略既可以提高云存储系统的访问速率,同时又能够在可变工作负载情况下使得系统中的各节点尽可能地负载均衡。SFLS的基本思想是:首先将磁盘分成用于存放热点文件和存放大文件的两组;然后按服务时间大小和访问频率将文件划分为热点文件和大文件两类;最后以Round-robin和Greedy的方式将这两类文件分别存放到两组磁盘上。这种处理方式一方面避免了热点文件等待大文件而出现“饥饿”的现象,另一方面也最大化了磁盘的利用率,当有文件I/O请求到达时,可根据文件的“热度”和大小情况来选择相应的磁盘组进行访问。因此,SFLS可加快文件I/O请求的访问速率,增强存储系统的访问性能。为了对提出的文件布局策略进行性能评估,本文在现有CloudSim的基础上增加了能够对云数据进行存储与管理的功能,构建了一种基于CloudSim的云数据平台,使之能够用于仿真数据云。另外,经扩展后的CloudSim有效地方便了CloudSim用户将他们的文件条带化策略、数据布局策略以及副本管理策略整合到云任务中,并通过将其运用到数据中心可用资源的调度中来对其进行性能评估。(二)提出了一种用于最小化云存储系统平均响应时间的基于负载预测的动态文件布局策略(Prediction-based Dynamic File Assignment, PDFA),PDFA策略致力于最小化云存储系统的平均响应时间,同时兼顾不同负载工作模式下各数据节点的负载均衡。论文首先提出了云存储系统中文件指派和文件访问的分析模型,它们能够用来评估不同文件指派策略在平均响应时间尺度方面的性能,然后提出了云存储系统中的负载预测模型,能够预测数据节点在未来一段时间内的负载,其次提出了基于以上负载预测方法的动态文件指派策略,它能够在不同负载模式下为系统选择合适的文件布局方案,最后评估了新提出的动态文件策略与已有的著名的文件布局策略HP和SOR。从分析和实验结果可以得知,提出的PDFA相比于其它两种算法能在平均响应时间方面取得更好的性能。(三)提出了一种云存储集群中的基于人工免疫算法的多目标优化的数据副本布局管理策略(Multi-objective Optimized Replication Management, MORM),MORM策略可以用来提高云存储系统的数据可用性和可靠性。该策略考虑了包括平均文件不可用性,平均服务时间,负载均衡,能量消耗以及平均访问延迟在内的五个能效因素,并试图寻找副本数和副本布局与这五者之间的关系,通过对这五个目标进行优化从而找到近似的最优解。MORM策略可以将同一数据的不同副本分布在不同的存储节点上,从而获得了较高的冗余度和容错能力。(四)提出了一种低能耗的云存储系统模型(Low Energy Consumption Cloud Storage Model, LECCSM),LECCSM模型既从单个数据节点出发,通过对数据节点在未来一段时间内的访问量进行预测来对节点的状态进行动态切换从而达到单节点级别节能的目的,同时也从系统整体的费用成本出发,根据当前负载来动态地配置集群,从而实现对系统在数据中心级别节能的目的。另外,针对多副本布局策略,该模型还提出了基于最小副本数的副本优化管理方案。然后,将本文前三章所提出的数据布局策略应用到该LECCSM中,并分析了数据布局策略为适应该低能耗云存储系统所需的数据重分布策略,从而使得本文所提出的数据布局策略不仅适应于传统的存储系统,而且更适应于当今的低能耗型云存储系统。
其他文献
基站天线作为移动通信系统的重要组成部分,对移动通信网络的性能有直接且重要的影响。随着通信技术的发展,相继出现了使用不同频段的移动通信系统,对基站天线的研究进入到一个宽
目的探讨输卵管卵巢脓肿及输卵管积水的多层螺旋CT表现,为提高临床医师对该类疾病的认识提供依据。资料与方法回顾性分析经手术病理证实的19例输卵管卵巢脓肿及17例输卵管积
激光技术是二十世纪最伟大的发明,深刻影响了当代科学技术和社会经济的发展。激光玻璃作为激光的最重要工作物质,由于其自身一系列的优势,使得它在激光技术中的应用越来越广泛。
<正> 《普通高中思想政治课程标准(实验)》确立了高中思想政治课程的"三维目标",而且强调以情感态度价值观为优先目标。在教学中有效落实情感态度价值观目标,需要开发情感教
【正】嘉宾简介:宋江波,国家一级电影导演,长影集团副总经理。1954年9月出生,吉林省长春市人。1970年,下乡插队,1975年,考进长春电影制片厂任场记编辑,同年8月被分配到林农执
针对油田常规防气抽油泵寿命短以及防气效果不理想的问题,研制了上交换式防气抽油泵。该泵采用在泵筒上部开设换气槽结构,在工作过程中当抽油泵柱塞下端行至换气槽及以上位置
目的探讨钆对比剂对腹部实性脏器体素内不相干运动(IVIM)MRI图像质量及其参数值的影响,寻找腹部IVIM序列扫描的合适时机。资料与方法 20例患者分别于对比剂注射前后行相同腹
语境是指语言所处的环境,是人们理解和解释话语意义的最根本依据。在小说中,人物对话的翻译作为一种是一种间接交际语在特定环境下产生,在对小说对话进行翻译时,译者要充分考
目的观察喘可治注射液联合细辛脑注射液对患儿肺功能与炎症状态所产生的影响。方法选取2015年5月—2017年5月濮阳市油田总医院收治的小儿毛细支气管炎患儿188例,并依据不同治
<正>在虾、蟹养成过程中,虾、蟹代谢的排泄物、残饵及饵料溶出物以及生物尸体的影响,使池塘水质和地质条件恶化,增大了环境的压力,轻者影响虾、蟹中毒死亡。此外,由于环境压