一种高性能NoSQL存储系统的设计与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:mdskct
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
NoSQL存储系统是大数据时代催生的一种新的存储系统,该类系统因为其高效的读写性能被产业界广泛的应用。目前有代表性的NoSQL系统有HBase、Cassandra、Redis、MongoDB等,这些系统各自具有的特性不同因此适合不同的应用场景。虽然已有的NoSQL存储系统其性能已经得到了广泛的认可,但是这些存储系统在很多方面如对于SSD的支持,内存利用率等还有较大的提升空间。   本文在研究分析已有存储系统不足之处的基础上,完成了一个新的存储系统的设计。该存储系统相比已有的存储系统有以下的特点:(1)三级结构的设计理念。新的存储系统的设计主要从三级结构即RAM+SSD+机械磁盘的角度出发,并结合硬件特性进行设计,此种设计策略能够使SSD的潜能得到充分发挥;(2)内存利用率较高。新的存储系统采用多MemTable结构替换现有存储系统中的单MemTable机制,提高内存的利用率。(3)提供更加细粒度的内存池。该内存池能够在避免频繁内存分配/回收操作的同时避免内存碎片的产生,这样便极大的节省了内存空间。(4)新的改进型压缩策略。该策略是在已有的Compact策略的基础上提出的,因此该策略在改进的同时还具备原有策略所具备的一些优点。   本文基于新的存储系统设计方案,编码实现了一个存储系统原型,在此基础上,通过实验对该原型进行实验评估,实验结果标明该原型系统达到了预期目标。论文中提出的对于SSD的友好支持,提高内存利用率等相关解决方案对于已有的NoSQL存储系统如Cassandra、HBase等也有积极的借鉴作用。
其他文献
图像编辑是图形图像处理领域的重要研究内容,无论是在影视、传媒、文化和艺术等领域,还是在人们的生活中,都有着广泛的应用。其中,有两种使用很广泛的编辑技术,一直在国际上得到热
互联网存在的最基础意义就是内容分发,即将数字内容从一个节点分发到另一个或多个节点。从2006年亚马逊公司推出“弹性计算云”和2007年苹果公司推出“iPhone”开始,互联网内容
为了节约存储空间和传输带宽,视频编码已经成为国内外研究的热点之一。同时一系列的视频编解码标准已经被制定出来,包括MPEG-x,H.26x。在这些编码标准中,为了获得比较好的编码效
计算机和网络技术的发展,使得我们可以更方便有效地保存、共享和传播各类信息,也催生了对可靠的身份认证技术的需求。传统的口令和卡片认证等方式不易管理、使用也不方便,而且不
DFT(离散傅里叶变换)是在信号处理、数据图像处理、数值计算等科技和工业领域应用较为核心和重要的一类变换,FFT(快速傅里叶变换)则是DFT的一种最广泛使用的高效计算方法。而DST(离
故事在儿童的成长过程中起着关键的作用,故事叙述已被证明可以有效地帮助儿童提高读写能力、听力、词汇能力、创造力和想象力等多个方面。随着计算机技术的发展和信息技术的不
资源下载、流媒体等内容共享类业务已经成为当前互联网的主要业务之一,随着互联网用户群规模的膨胀和用户对业务要求的不断提高,传统的客户端-服务器模式已经不再适合,P2P技
该文对查询并行处理技术进行了研究,在分析己有研究的基础上,提出了自己的观点、技术和方法,主要的研究工作如下:1、论述了现有常用的数据划分方法,包括各种一维数据划分方法、多
学位
自然语言表现出多种多样不同的单词顺序,而统计机器翻译所面临的主要挑战之一就是如何模拟这些顺序的差异。机器翻译被看做是由两个相关联的问题组成:预测译文中的单词和决定