基于瓦记录磁盘的键值数据库设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:shyibow
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展,全球数据存储总量呈现爆炸式的增长,这对现有的存储系统提出了更严峻的挑战。一方面传统硬盘的存储密度已经接近极限,需要寻求瓦记录磁盘等技术来实现存储容量的突破;另一方面现在大量的Web2.0应用往往每时每刻都会产生海量的半结构化和非结构化数据,关系型数据库并不擅长处理这些数据,为解决这一难题,以键值数据库为代表的NOSQL数据库应运而生。  面向以写操作为主的海量数据应用场景,设计并实现了基于瓦记录磁盘的键值数据库系统。通过对瓦记录磁盘技术的研究,基于传统硬盘设计并实现了采用“区-段-块-扇区”空间划分和径向编址的仿真瓦记录磁盘,作为系统的底层存储,大幅提高系统存储容量的同时保持较低的单位存储成本。采用日志结构合并树作为存储模型,内存中使用跳表实现写缓冲,写入量达到一定阈值后刷入磁盘,从而将对磁盘的随机写转换为顺序写,极大地提高了系统写入性能,并且适配了瓦记录磁盘不擅于随机写的特性;使用多缓冲区和多线程并发,有效提升了系统写入性能;采用基于最小重写量的合并算法,明显降低了合并操作的开销,尤其是在大数据量情况下;引入小容量的SSD作为快磁盘存储热数据,提高了系统的读取性能。  测试表明,SWDDB与LevelDB相比,写入性能提升了33%-47%,读取性能提升了8.2%-45%,而在海量数据应用场景下,LevelDB写入吞吐量降至最高吞吐量的13.6%,SWDDB的写入吞吐量则仍能保持最高吞吐量的72.0%。
其他文献
随着近年来数据规模的爆炸式增长,数据去重和数据压缩作为削减数据冗余的两种关键技术,受到了更多的关注。和数据去重技术相比,数据压缩技术能够消除更多的数据冗余。在检测
本论文针对如何优化海量数据系统性能的问题进行若干方面的研究,提出了基于多因素的缓存替换算法CacheValue以及在数据库查询优化方面提出了基于双半连接的查询优化算法。  
随着信息科技的迅速发展,基于闪存的存储设备以其显著的高性能和低能耗等优势,正逐渐成为计算机存储系统中的一个重要组成部分。然而,由于其相对较高的价格和低容量,如何通过
视频分辨率正朝超高清方向发展,分辨率的提高可以提供更好的用户体验,但也使得编解码过程中的计算复杂度急剧增加,对其实时处理带来巨大挑战。新兴的CPU+GPU异构多核处理平台
电子邮件已经成为人们不可或缺的交流媒介,然而垃圾邮件的盛行不仅占用网络资源,甚至危害社会公共安全。当前邮件分类技术存在较高的正常邮件误判率,然而社交网络中用户的爱
随着现代信息技术的高速发展,各行业内部以及行业之间已经建立起基于网络的信息管理体系,数据交换和数据传输活动的曰益频繁使得对于数据交换的研究也显得日益重要。同时在网
电机优化设计一直是工程数学、电机设计理论、计算机科学等众多领域的一个研究热点。它是一种多变量、有约束、非线性的多目标问题,要求在满足约束前提下,借助最优化方法实现目
学位
多通道大尺度投影系统是利用多台投影机的输出图像在显示屏幕上拼接成完整的大画面的技术。其具有尺度大,分辨率高等特点。  本系统的主要技术有几何校正技术、颜色校正技术
随着信息技术的高速发展以及安全形势的迫切需要,人们对安防设备的智能性要求日益提高,智能视频监控技术已成为当今较为前沿的研究课题。其中,运动目标检测和跟踪技术作为智