分布式文件存储系统副本管理方法研究

被引量 : 0次 | 上传用户:srldf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、物联网等新型应用的蓬勃发展,全球数据呈现爆炸式增长,大数据成为应用系统的特点。分布式文件存储系统通过分布式的架构支持海量文件数据的存储,是非结构化大数据存储的核心技术。而副本管理可增强系统的可靠性和容错性、方便进行系统负载均衡和服务性能调优,是分布式文件存储系统的关键技术之一。论文分析分布式文件存储系统中副本管理的功能和流程,综合考虑了用户访问行为、负载均衡、系统代价等方面,提出一种新型的副本管理方法。论文提出一种基于文件热度的动态副本管理方法。首先提出了一种多频率的文件热度算法,对文件多个周期的访问频率进行综合考虑来定量描述文件热度。同时,对于不同热度的文件,采用不同频率的热度更新策略。基于文件热度值,提出了包括副本数的调整方法,多频率的副本执行机制,副本放置位置的策略以及副本的一致性保证的副本管理方法。实验表明热度算法有效的解决了文件热度的统计周期与统计热度准确性之间的矛盾和用户的突发性访问问题,使得副本管理方法更加合理。论文提出考虑负载均衡的实时副本策略。首先通过动态调整负载指标权重,设计了一种可动态自适应应用程序的负载均衡算法,然后提出了与负载均衡算法相结合的实时副本策略,增加了高热度副本的缓存机制和实时副本调度机制。最后通过实验测试验证了应用程序自适应的动态负载均衡算法中的合理性以及实时副本策略的有效性;两者配合使用对于系统性能有较大提升。论文在钱塘分布式文件存储系统中实现了本文提出的副本管理方法,使系统在吞吐率、响应时间、负载均衡等方面都有了一定的提升。基于此存储系统的应用在JTang云盘,已被100多家企事业单位投入使用,效果良好。
其他文献
目的研究保乳联合前哨淋巴结活检手术在老年乳腺癌治疗中的临床价值。方法对进行手术的200例老年乳腺癌患者进行回顾性访问,其中有86例患者接受的是保乳联合前哨淋巴结活检手
美国《空间新闻》周刊(SpaceNews)评选出了2011年最具影响力的十大航天人物。获此殊荣的十位人物均在最近一年内为人类航天事业做出了重大贡献,或对全球航天产业产生了重要影
关中歌谣多流行于陕西八百里秦川的农村地区,一般是由长辈或者儿时伙伴间的口传心授而来的,具有浓厚的地域性、时代性、教育性以及娱乐性。在学前音乐教育中,进行本土音乐教育已
以广西德保、那坡、巴马、田林等4个产地的24株初选多穗柯优株种子及其当年生播种苗为材料,研究其种子性状变异及子代苗期生长表现,结果表明:不同多穗柯优树在种子形态和子代播
为了促进中国特色社会主义市场经济进一步发展,社会各界都应学习习近平的新时代中国特色社会主义思想,并将其运用到生活当中,特别是与人们的生活息息相关的医疗单位,更应该完
笔者在当前存在多网的背景下,阐述无线网络优化过程中存在的难题,并且在本文中支出无线网络优化的发展动态是来自于客户感知,并且对此优化效果的评估,应当通过集中化的无线网
为了让网络信息的安全程度达到符合时代的要求和标准,本文简要对网络信息的安全问题进行了了解和认识。对网络信息安全监测系统的设计内容进行了浅要分析,指出了保障网络信息
诚信,是市场经济的基石,也是企业安身立命之本。然而随着改革开放的深入以及市场经济的发展,监管部门在市场监管中的失位使得众多企业在追逐利润的过程中丧失了这一原则,不惜违法
网络服务主要是为了提供给人们一个通信方便的平台,达到资源优化和共享的目的。在信息时代,人们对网络环境的要求越来越高,需要的服务也越来越多,因此,计算机网络服务质量优
<正>澳大利亚地处南半球,位于大洋洲,国土面积770万平方公里,是世界上第六大国家。全国分昆士兰、新南威尔士、维多利亚、南澳大利亚、西澳大利亚和塔斯马尼亚六个州,以及澳