大规模网络存储系统数据布局策略的研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:wlflfxzq45
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet技术的不断发展,网络上的数据迅速增长,无论是在生物医学、核能等科学研究和工程领域,还是在电子商务、金融等信息服务领域,高性能大容量的大规模网络存储系统已经成为目前数据存储的主要方式。大规模网络存储系统中的海量数据管理已经成为很多领域的挑战性问题,关于数据布局策略的研究在海量数据管理中尤为重要。如何将PetaByte级的数据分布到大量的存储设备上是当前大规模网络存储系统面临的很大难题。设计一种适合大规模网络存储环境下的数据布局策略是解决问题的关键。为满足当前大规模网络存储系统对扩充容量、提高数据访问速度和保证数据安全的要求,本文分析和比较了现有大规模网络存储系统中数据布局策略和当前对数据布局策略的研究成果,并结合半正定规划算法和动态区间映射算法两种方法,提出了一种“层次化”的数据布局策略。该策略将大量存储设备划分为数量较少的设备集合;半正定规划算法可以解决带有不同数量副本的文件的放置问题,将文件的不同副本放在不同的设备集合上,保证文件的存储局部性和数据可靠性;动态区间映射算法解决了文件分片后的放置问题,将文件条放在设备集合内的不同存储设备上,保证系统具有较好的自适应性。Lustre模拟器是大规模系统性能评估的重要平台,在上面支持上万个用户对上千个节点的访问。本文在Lustre模拟器上,实现了“层次化”数据布局策略,对比Lustre模拟器的数据布局策略,进行存储访问测试和性能分析。理论分析和实验表明,本文提出的“层次化”数据布局策略可以保证在大规模网络存储系统中数据的可靠性、对数据的高速访问和系统的自适应性。
其他文献
目的探讨非甾体类抗炎药舒林酸(Sulindac)对乙型肝炎病毒(HBV)X基因转染的人肝癌SMMC7721细胞系Wnt信号通路的影响。方法用脂质体转染方法将HBx真核表达载体pcDNA3-X瞬时转染
"要想富,先修路"。这虽然是我国一个发展阶段内提出的口号,但是也凸显了交通运输行业的重要性。交通运输行业对我国经济发展有着重要的意义,如今已经成为我国经济建设的一个
一、马铃薯常见病害及防治技术1、晚疫病与早疫病马铃薯感染的晚疫病是一种真菌类的病害,通常会在种植过程中出现此病害,其病害主要是来源于田地周边的杂草或是有机肥等影响
光诱导激发态质子转移是基础的光化学反应之一,无论是在实验还是理论研究方面一直受到学术界的广泛关注。此外,近几十年间,激发态分子间与分子内质子转移的反应,已被广泛的应
近两年,新疆乌苏市加大对购买气吸式播种机的农机户进行补贴,以提高乌苏市农机作业质量的整体水平。目前,乌苏市皇宫镇的驾驶员购买气吸式播种机的热情很高。那么,对于农机技术人
目的探究双重任务下步行功能训练在老年痴呆合并认知功能障碍患者中的应用效果。方法选取2018年1月至2019年6月某院收治的老年痴呆合并认知功能障碍患者98例作为研究对象,随
<正>前言远距离操作技术是核工业不可缺少的工具,是核工业的生命线,这是人所共识的。而机器人特别是智能机器人则是核工业梦寐以求实现的目标。最近几年由于:1.世界上放射性
随着人口的不断增长,对于动物蛋白的需求量,也必日益增加。目前主要依靠仅占地球总面积29%的陆地所供应,势必逐渐呈现短缺和不足。因而,向占有地球总面积为71%的海洋索取,便将
目的:探讨疫情期间使用雨课堂进行泌尿外科实习课的应用和教学效果。方法:对60名学生完成实习课教学,通过课前与课后测试成绩进行教学效果评价,课程结束后统计学生满意度。结