云计算环境中分布式文件系统数据一致性问题研究

来源 :电子科技大学 | 被引量 : 5次 | 上传用户:shizhijian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着各行各业信息化的程度不断的提高和移动互联网的飞速发展,传统的计算模式和存储模式已经不能满足日益增长的业务需求,云计算就是在这种背景下提出的一种计算模式,它是一种分布式计算、并行计算和网格计算的商业发展,提供了一种按需付费和弹性扩展的服务方式。云存储是云计算服务架构中的重要组成部分,它提供了可扩展,高容错的存储服务。分布式文件系统则提供了对云存储系统的支撑,其性能的好坏直接影响了云存储服务能力。分布式文件系统为了提高系统的可靠性和性能一般都采用了副本和缓存的技术,然而复制和缓存却带了副本和缓存的数据一致性问题。为了解决一致性问题从不同的角度有多种一致性模型可以参考。HDFS是一种面向大数据集、高吞吐量应用的一种分布式文件系统,在数据存储节点上它提供了冗余存储数据块的机制来保证系统的可扩展性和可靠性,然而它采用的是基于管道流的副本数据块更新机制,当面对交互式的应用场景时,它所采用的副本数据块强一致性策略会造成服务性能的急剧下降。本文从分析面向个人用户的云存储服务的特点以及用户使用云存储服务的习惯出发,在研究了HDFS的技术架构的基础上设计并实现了基于HDFS的交互式云存储系统,使用了一种可配置的数据副本一致策略来提高系统的可用性,并采用了客户端缓存和合并小文件的方案来提高系统的整体性能。本文的主要工作包括:分析和研究了解决分布式系统中一致性问题可以采用的数据同步模型;研究了HDFS所采用的数据同步模型,并指出其在提供面向个人的云存储服务时的不足,提出并实现了一种基于NWR模型的可配置的数据副本读写同步方案;基于HDFS不提供客户端缓存的事实,为了增强系统的可扩展性和减轻服务端的访问压力,在原生HDFS的客户接口上增加客户缓存模块;针对HDFS在面临大量小文件存储时Namenode内存利用率低下的情况设计并实现了一种能够极大的提高小文件存取效率的方案。最后通过测试和分析证明了本系统的可用性以及服务性能的提高。
其他文献
随着信息化产业的高速发展以及国家对教育投入程度和规模的扩大,信息技术的不断发展,高校管理信息化程度越来越高,从高校走出的人才对社会新时期的发展发挥着越来越重要的作用。
随着无线传感器网络的应用发展,各类数据查询被不断移植到两层传感器网络中来,对安全性能要求也越来越高。对于简单数据查询,如范围查询,安全研究较多也较充分,但仍存在能耗
随着网格技术发展,KOS网络知识系统,人的认知行为以及信息检索等理论的支持下,心理学中的人的认知行为的概念被广泛的应用在检索网页的设计中,并成为检索网页设计的一大进步
据中国人民银行发布的统计数据,截止到2012年11月我国境内银行借记卡的累积发行量突破30亿,且同比发行增速仍然在加快。显示了银行票据业务进入无纸化、网络化之后,借记卡作
网络技术的高速发展,使得远程教育越来越受到人们的关注。这种基于网络的教育模式将教师和学生分离开来,无法进行面对面的交流与解释,学习者必须进行自主学习。网上答疑系统
随着互联网科技的飞速发展,互联网产品在世界范围内得到了极大的普及。人们的使用伴随着大量历史记录的产生。如何有效利用用户的历史记录,挖掘用户的偏好成为一个大的课题。
众所周知,密码技术和安全协议是保证通信安全的关键所在。但是随着计算机和通信技术的迅猛发展,各种密码破解方法和协议攻击算法不断出现,传统的密码技术和安全协议已不能满足日
聚类是一种重要的数据挖掘技术,它可以在不了解数据背景的情况下完成数据的划分,使得同一个划分中的数据相似度尽可能大,不同划分中数据的相似度尽可能小,以方便数据的分析与
事件的可信度表示文本中事件的事实性状态,对理解篇章中事件的确切语义起着至关重要的作用。目前,只有英文方面有事件可信度信息研究和少量确定性信息语料库,中文方面暂时还未起
随着移动互联网的日趋成熟以及移动终端的逐渐普及,用户在手机上进行图片搜索的需求也越来越强烈。本文将图像检索系统与智能手机相结合,分析和研究基于手机的分布式图片检索