基于属性的归档存储系统中元数据管理机制的研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:xp1308729
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
归档存储系统中元数据操作占所有操作的50%~80%,高性能的元数据管理策略对归档存储系统的性能非常重要。但常用的基于目录子树分区和哈希的元数据管理算法不能适应和利用归档存储系统的特性,存在管理元数据所需的时间与空间开销大、适应能力弱和易出现性能瓶颈等问题。   本文从元数据管理系统的结构、分布策略、索引算法和快速调整策略等方面,研究新型的归档存储系统管理机制,具体工作如下:   (1)在分析归档存储系统特性和元数据管理要求的基础上,设计了新型元数据管理系统的结构,为提高管理元数据的性能奠定了基础。   (2)针对管理海量元数据所需大量时间与空间开销的问题,依据归档存储系统中数据的保密期特性划分元数据,缩小查询元数据所需的搜索范围,减少时间开销。针对元数据中不同属性使用频率的不同,依据属性使用频率对非保密元数据的属性进行分区,将元数据的属性分布到不同的元数据服务器中,提高了使用属性查询元数据时的性能。   (3)为了解决快速确定解密元数据所在分区的问题,使用人工免疫算法生成每个分区的标识集,为快速确定分区奠定了基础;设计了快速分区策略,保证确定刚解密元数据存放分区所需的时间和空间开销较小且稳定。实现了算法的原型系统,使用真实数据集进行测试与比较。   (4)针对元数据各属性被用于查询元数据时使用频率的不同,将元数据属性分为高频属性和低频属性,设计了元数据属性的混合索引算法;依据刚解密优先的原则,改进KD-tree建立索引,满足使用多个或单个高频属性查找元数据的要求;使用人工免疫算法建立低频属性的索引,在保持较高元数据查找性能的同时,避免建立与维护索引所需的额外时间与空间开销。实现了算法的原型系统,使用两个真实数据集进行测试与比较。   (5)针对保存相同数据的多个元数据服务器之间负载分布不均衡的问题,使用哈希后置表快速调整元数据访问请求的分布,避免出现热点元数据服务器,降低调整元数据服务器集群所需的时间与空间开销。   最终构成了基于属性的元数据管理机制的原型系统,使用Lawrence Livermore国家实验室的数据集和收集Linux系统元数据进行测试与分析,验证了基于属性的元数据管理机制能高效的管理归档存储系统中的元数据,具有较强的适应能力。
其他文献
对等网络(P2P)产生的流量消耗了大量网络带宽资源,对网络运行造成了巨大压力,而且P2P流量快速增长导致跨ISP域流量不断增长,增加了ISP的运营开销,因此P2P跨域流量控制问题已
关联规则挖掘是从大量数据集中挖掘出潜在的知识,这就可能把涉及到个人隐私的信息挖掘出来,从而产生了隐私保护下的关联规则挖掘。因而,如何在关联规则挖掘的过程中解决好隐
随着互联网的飞速发展,恶意代码数量依然持续增长,对于恶意代码的分析研究依然处于信息安全的主要位置。为此,学术界学者对恶意代码检测、聚类、分类以及同源等方面的进行了
大数据背景下,行业应用数据呈爆炸性增长,统计分析的数据规模和处理复杂度不断增加,传统意义上的计算技术和信息系统的处理能力远远不能满足用户要求。随着高性能计算平台的
随着交通科技的进步和道路交通管理及设施的不断提高和改善,加上人们对交通出行的要求越来越高,智能交通系统(ITS,Intelligent TransportationSystem)得到了前所未有的关注和
随着信息科学技术的高速发展,人们对海量信息存储的需求日益增长, CPU的处理速度和存储设备I/O处理速度之间的差距越来越大,磁盘I/O成为影响计算机系统性能的主要因素。为了
近年来,互联网技术的迅速发展和广泛应用极大地改变了分布式系统的规模。大型的分布式系统可以扩展至数百万节点,使得传统的同步紧耦合通信模型已不能满足需求。发布/订阅通信
本文主要从三个部分来写,第一部分是环形二级倒立摆仿真模型的实现;第二部分是对仿生智能算法的研究;第三部分是应用改进的放生智能算法对环形二级倒立摆的控制进行多目标优化
当前社交网络是人们获取信息的重要网络平台,但是在社交网络上信息泛滥,其中有正面信息,但也有很多谣言,所以研究社交网络中信息传播的规律,有利于我们更好地使用社交网络,也
随着无线局域网技术的广泛应用,用户对网络性能的要求也越来越高,其中一个非常迫切的要求就是对多媒体业务提供服务质量(QoS,Quality of Servie)支持。IEEE802.11e标准正是为