优化性能的分布式存储子系统的设计与实现

被引量 : 0次 | 上传用户:aigeng87
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现今,人们赶上了互联网的大潮,进入了互联网爆炸的时代。数据以超乎过去几十甚至几百倍的速度在不断增长,这导致了人们处理的信息量较之过去呈现指数级上升。当面临问题时,已经不再是几台个人计算机能够搞定的范畴。互联网将全世界人类的大脑集中在一起的同时,也抛出了一个难题:如何处理海量爆炸式增长的数据。为了解决这一难题,人们提出了云的概念,由此衍生出了分布式理论的雏形。另外,各大公司的不同应用对云端数据存储的要求越来越高,尤其是针对不同场景提出了不同的要求,都使得传统的分布式框架在处理问题的时候有气无力。为了丰富用户不断增加的需求的变化以及为了提高更好的用户体验,现有的分布式文件系统做了其相应的改变。实验室也本着科研的目的,借鉴国内外经典的分布式系统框架,设计了我们自己的分布式文件系统C_STORE。本文首先介绍了国内外集中主流的分布式文件系统,并对它们进行了研究,继而给出本系统数据管理模块的设计方案,之后提出性能瓶颈,并进行了改进。C_STORE采用了负载均衡和恢复策略,具有良好的可扩展性和可靠性。它将数据与元数据分离管理,这使客户端对服务器的访问高效化,同时也使资源的管理方便化,既充分利用了资源,又减轻了服务端的压力。在客户端方面,我们分别实现了基于不同平台的客户端软件,如UNIX、ANDROID以及WIN平台下都有其可用的客户端。同时实现了用户认证模块,方便了用户登录以及用户存储配额的分配,保证了用户账户的安全。数据存储模块主要为用户提供良好的数据存储功能,为了保证用户数据的可用性,它采取了冗余策略,将每份数据进行备份;恢复机制保证了数据的可靠性;采用逻辑时钟来保证数据的一致性。模块在副本之间采用了心跳连接推送分片数据的备份副本,一旦出现热点机器,迁移机制和扩容机制保证了模块间数据的负载均衡。本文最后将给出模块基本功能测试与针对大小文件的基本性能测试,并给出性能优化之后的机器各项硬件参数消耗指标,证明系统真实可用。
其他文献
天津师范大学审计处紧贴学校工作中心,主动适应学校发展的需要,独立履行审计职能,创造性地开展工作,在学校经济运行和管理控制中发挥了不可替代的作用,走出一条新型内部审计
特殊的历史原因使香港人一直在英国人、中国人、香港人等几个身份中徘徊。由身份认同带来的焦虑及零和思考造成了与大陆之间的诸多冲突与矛盾,自香港回归十五年来,"香港人"在
在电子商务中,点击合同被频繁使用,但我国相关法律对点击合同这一特殊形式的合同几乎没有明确规定,一旦在实践中涉及相关法律纠纷的解决,在法律适用方面必然面临困难。因此,
目的探讨心理干预对口腔手术患者术前焦虑和术后恢复的影响。方法选取该院2012年1月—2013年12月口腔手术患者258例,采用随机数字表法分为二组,129例患者实施常规手术治疗为
由于法律没有明确界定代销合同的性质,导致在现行税收征管制度的安排下,出现对代销货物行为的同一流转额既征增值税又征营业税的不符合税收法理的情况。本文在对代销货物行为
<正>欧阳群教授是我国岭南地区的针灸名家,从事针灸五十余载,无论临床、科研和教学均取得了丰硕成果。其对夹脊穴的临床运用有独到见解,无论取穴定位、针刺手法,还是病种选择
开放、自由、国际化的网络信息技术的发展,给财务部门的信息传播和披露带来了革命性的变化。信息化在为人类社会的繁荣与发展做出巨大贡献的同时,也存在着很多潜在的风险。在
余额宝的出现为金融业创造了与传统商业银行服务不同的商务模式,"草根经济"瞬间引发了全社会的关注,这种将金融业务通过互联网直接推至客户的货币资金营销模式在一定程度上对
中国航空技术进出口总公司(以下简称中航技)是中国航空工业旗下的重要成员企业,拥有资产447亿元,涵盖十几种复杂的业态,各业态都置身于国内外激烈的市场竞争环境中,企业经营
通过中药对离体猪蛔虫疗效的研究,结果表明18种中药中有效率在10%~30%的有使君子、牵牛花、雷丸3种;有效率在40%~60%的有牛蒡子、金樱子、龙胆草、苦参、小麦秆、厚朴和南瓜子7