高性能低功耗分布式存储系统关键技术研究

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:sunhaifeng112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网、物联网、云计算的高速发展,数据量也在突飞猛进的增长之中,这不仅为数据存储行业带来了巨大的市场空间,同时也对海量数据的高效存储和管理能力提出了前所未有的挑战。面对这海量的数据,如何根据数据的不同特性对数据进行分层存储是本文的研究重点。本文的研究目标是实现一个高性能低功耗分布式存储系统,为了完成本文目标,本文经历了以下研究阶段。首先,本文调研了国内外的存储方案,综合对比了它们的优缺点,并学习了它们的存储架构。伴随着数据量的剧增,数据的存储和访问策略也开始分化。本文接着根据数据被访问的频率将数据划分为热数据和冷数据并分别采用不同的冗余策略进行存储。在综合调研学习了多种冗余策略后,本文最终选择使用副本复制冗余策略存储热数据,选择纠删码冗余策略存储冷数据。本文将系统分成热数据层和冷数据层并分别实现。在实现冷数据层的过程中面临着低功耗、高存储空间利用率等诸多要求。本文选择定制化的存储服务器以及普通硬盘来存储数据,并对每个硬盘进行电源控制,大大降低了功耗。在实验对比了使用不同参数的纠删码的性能后,本文最终采用了原始数据块为12块,校验块为4块的纠删码方式,存储空间利用率为0.75,大大提高了存储空间利用率。在实现热数据层的过程中面临着高性能的要求,本文采用三副本复制的策略进行存储。热数据层采用一致性哈希算法进行数据分布并实现了对象存储,之后又在对象存储的基础上实现了FUSE接口,提供了完整的文件系统。通过将访问量逐渐减少的数据由热数据层转储到冷数据层来达到分层存储的目的,本文实现的分布式存储系统具有高性能、高可靠性、高可用、低功耗等特点。
其他文献
先进性别文化建设是加强社会主义核心价值体系建设的重要组成部分,是新时期推动社会主义文化大发展大繁荣的必然要求。本文分析了当前我国社会转型背景下推进先进性别文化建
<正>今年3月31日是第19个全国中小学生安全教育日,主题为"强化安全意识,提升安全素养"。为开展好今年安全教育日主题教育活动,继续巩固临安市平安校园建设成果和提高中小学生
不可译性不仅是翻译研究的主要内容之一,也是西方现代哲学关注的对象之一。20世纪西方哲学的四大传统:解释学、分析哲学、解构主义,以及马克思主义(意识形态),都对不可译性作了
为了实现类人胶原蛋白(HLCⅡ)的规模化生产,对重组大肠杆菌BL21 3.7在30 L发酵罐中发酵生产类人胶原蛋白Ⅱ过程中的关键参数pH进行了系统的研究.将发酵过程中pH控制在6.0~7.8之
对北美页岩气储层孔隙类型研究方法和成果进行了全面的分析和总结。分析结果表明:与砂岩和碳酸盐岩相比,页岩储层孔隙类型更复杂,孔隙直径更小,普通探测和描述方法难以进行精
《喜福会》大获成功与其叙事技巧密切相关。基于对女性主义叙事学的运用,通过对文中的叙事声音以及叙事干预的探讨,该文旨在研究小说中的叙述权威性,以及其对小说主旨呈现的
我国的社区更新始于20世纪70年代,到了21世纪,参与社区更新的主体更加多元化,政府的角色、市场的力量以及社区居民三者之间参与的比例在不断的调整和变化。然而我国的社区更
本文通过对目前我国住房公积金个人贷款存在问题的分析和探讨,就如何有效扩大公积金覆盖范围、个贷率和如何创新公积金使用方法等方面提出相应的对策建议。
本文推导出四种常见的一阶微分方程的积分因子的一般形式 ,其形式简单、易行 ;并介绍了用分组观察法求积分因子 ,该方法能解某些用常规方法不能解的微分方程