基于闪存的索引机制研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:marrymattion
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着闪存存储器制作工艺的不断发展,闪存的存储密度大幅提高,基于闪存芯片阵列的固态硬盘(Solid State Drive,SSD)应运而生并迅速普及于工业界的存储系统和桌面PC。由于和传统磁盘有相同的物理和逻辑接口,SSD被视为存储系统革新的关键技术,学术界和工业界都对SSD完全取代磁盘持乐观态度。然而,SSD具有不同于磁盘的独特特性,如闪存的写前擦除机制,读写不均衡,擦除次数有限等,使得原有在磁盘上的数据管理算法不能充分发挥SSD的性能。因此,针对SSD特性研究设计适合于SSD上的数据管理新方法非常重要。索引对数据检索至关重要,使用索引可快速访问海量数据中的特定信息。传统的索引机制是面向I/O对称的磁盘设计,索引的更新造成大量随机写操作。由于闪存的随机写性能较差,如果将传统的索引机制直接应用在闪存上,并不能获得理想的性能提升。因此,近年来基于闪存的索引机制研究引起了学术界的重视。目前基于闪存的索引机制研究按索引结构大致可分为三类:(1)基于闪存的哈希索引机制研究;(2)基于闪存的树型索引机制研究;(3)基于闪存的位图索引机制研究。已有研究都是以减少对闪存的随机写为目标,主要用到以读换写、批量更新、异位更新、及转化随机写为连续写等技术手段。本论文分析了已有研究关键技术的不足:(1)虽然减少了对SSD的随机写操作,但是造成了大量的额外读操作,考虑到目前SSD内部控制技术的成熟,读写差异相较之前大幅缩小,大量额外读操作反而降低了总体性能;(2)在更新密集的数据集下表现出良好性能,但是在查询密集数据集下性能与原索引差距明显;(3)基本未考虑利用SSD内部并行机制来进一步提升性能。因此,需要针对先进的读写差异接近的SSD,研究适应于更普适应用数据集的索引机制。本文聚焦于哈希索引和B+-树,提出了随着访问模式动态调整的线性哈希,并进一步对该索引进行查询优化;本文还为读写优化的B+-树索引提供了理论基础。提高索引读写性能,离不开缓冲区,本论文讨论了树型索引访问特性和面向闪存的缓冲区算法设计原则之间的矛盾。传统基于闪存的缓冲区算法给脏页面特殊优先级以减少随机写,在这类算法应用场景中,树型索引内部结点比叶子结点更易被替换出缓冲区,因为内部结点比叶子结点有更高的干净概率。另一方面,内部结点比叶子结点访问频率高很多,替换出这些结点会降低命中率。论文提出了综合页面访问概率、访问临近信息以及页面是否为脏来选择替换页面的算法,成功解决了上述问题。本论文的贡献点如下:(1)提出了随着访问模式动态调整的自适应线性哈希索引(Self-Adaptive Linear Hashing,SAL-hashing)。该索引使用了批量更新的技术,同时引入了组(group)和集合(set)的概念来提升批量更新的效率。对索引的更新先缓存在内存,然后以set为粒度向索引批量刷新更新操作到set对应的日志区。此外,该索引根据各set的访问倾向性实时决定是否将日志区与对应的set合并。对于读倾向的set,及时将日志区合并到set对应的bucket中,后续的查询可以避免额外的读日志区;对于写倾向的set,保留其日志区以保持批量更新效率。此外,在合并日志区到对应bucket时,通过粗粒度写操作来利用SSD内部并行特性,从而提升写带宽。(2)分析了线性哈希的溢出链与分裂点的关系,并在SAL-hashing的基础上提出了一个高内存效率的数据结构,使几乎每一个bucket上的查询只需要一次读操作,查询效率与可扩展哈希相当。此外,还讨论了 SAL-hashing对事务支持和故障恢复的能力。(3)提出了一种适应于树型索引的缓冲区算法,结合结点被访问概率和访问临近信息权衡页面冷热,并根据页面是否是脏页面选择替换页。此外,该算法将脏页面打包,采用粗粒度写来批量刷新冷脏页面,避免细粒度随机写操作。(4)针对本实验室提出的读写优化的B+-树索引,完善了理论分析,讨论了索引的并发访问,并重新设计了实验,同时给出详细的结果分析。
其他文献
论述了对于西气东输这种大管径,高压力,大输量的天然气管道进行风险性评估的必要性,阐述了应用于输气管道风险评估的方法,并将此方法应用于西气东输管道的风险评估,说明了评估的具
随着集成电路技术的发展和进步,片上多核处理器芯片的高度集成化和缩微化给片上多核处理器系统的发展带来一个不可多得的机遇:系统的各个层次和构件(接口协议、高速缓存、互连
前言:近年来,伴随着社会经济发展步伐的日渐加快,也带动了财会准则的创新与改革,其主要目的是为了更好的适应社会经济发展需求.但与此同时,新财会准则与税收法规之间却出现了
期刊
鼻腔鼻窦内翻性乳头状瘤属上皮源性良性肿瘤,发病率约占鼻和鼻窦肿瘤的0.4%-4.7%。高复发率、破坏性生长方式及易恶变为其临床特点,所以有人将该肿瘤称之为临界性肿瘤。近十几年来
随着人们生活水平的上升,电力系统在安全层面也在进行不断的创新,针对其中所涉及到的安全问题,要做好进一步的监督与指导,完善各个部门的管理工作。本文分析了电力安全监察管
结构简化,功能化和多样化是后摩尔时代电子信息技术发展的主要趋势。光电多功能集成器件通过光和电对简单器件电阻的调控,实现信息处理功能集成化和多样化,有利于增加器件功
针对某±500 kV换流站出现的电压异常波动现象,通过对站内直流电压互感器结构及设计原理进行分析,并搭建了直流电压测量系统进行测试,发现直流电压互感器远端模块存在接地不
目的:探讨院级护理质控小组在质量管理中的方法和作用。方法:对院级护理质控认真策划,周密计划,使护理质量持续改进。结果:通过具体的组织、领导、控制、创新,促进了质控组成员
在中国排污权交易制度需全面完善的背景下,水污染物排污权交易环节的建设显得尤为薄弱,结合国内目前水污染物排污权交易发展现状及存在的问题,在水质模型的基础上,提出了以满