基于LSM-tree的KV存储的性能优化

来源 :天津理工大学 | 被引量 : 0次 | 上传用户:luminfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于日志结构合并树(Log-Structure Merge-tree,LSM-tree)的键值存储主要为数据密集型应用提供服务。LSM-tree利用硬盘顺序写入速度高于随机写入的特点将随机写操作转换成顺序写操作获得了很好的写性能。LSM-tree是一个多层的数据结构,它需要合并操作(compaction)对其自身数据进行整理。然而合并操作在整理数据的过程中导致其改动的数据对应的缓存失效,造成了读性能的抖动问题。另外合并操作在整理LSM-tree数据的同时造成了写放大,严重影响了LSM-tree的写性能。本文针对以上两个问题提出了以下解决方案:1)提出了双粒度缓存缓解因合并操作造成的读性能抖动问题。合并操作在整理数据的过程中,改写了数据在硬盘中的位置,使得存储在缓存中的数据失效导致LSM-tree读性能的抖动。但是合并操作是维护LSM-tree自身结构和对旧键值对进行回收的关键操作。本文通过分析合并操作在LSM-tree不同层发生的频率不同,对LSM-tree不同层使用不同粒度的缓存来缓解读性能抖动问题。双粒度缓存分成粗粒度缓存和细粒度缓存两种,分别缓存不同粒度的数据。粗粒度缓存以数据块(block)为单位对系统读到的数据块进行缓存。细粒度缓存以键值对为单位对最近访问过的键值对进行缓存。实验证明,双粒度缓冲可以提高LSMtree 25%到200%的读性能。2)利用非易失性存储器(Non-Volatile Memory,NVM)可字节寻址,非易失性和容量远大于内存的特点构建一个读写缓冲。在LSM-tree中,各层存储空间大小从上到下依次成倍增加,所以不同层的合并操作产生的代价也不同,越是下层合并代价越高。如果让更新操作尽量在LSM-tree的上层完成,可以减少向下层写入的数据量从而缓解写放大问题。读写缓冲可以利用工作负载的skew特性将更新操作完成在NVM中。在进行刷写操作(flush)时,将在读写缓冲中的数据使用Sketch算法进行冷热分离,把经常更新的键值对保留在读写缓冲中。这样的方式有效地减少了合并操作向下写入的数据量,从而减轻了写放大。实验证明,读写缓冲和Sketch算法可以提高15%的写性能。
其他文献
本文立足于我国法律体系,以“导致物权变动的法律文书类型化”为切入点,深入分析了《物权法》第28条所确立的“法律文书导致物权变动制度”的相关问题,以期能够澄清“法律文书导致物权变动规定”之内在机理,并以此为基础合理限定及类型化“导致物权变动的法律文书”,为在司法实践中如何适用《物权法》第28条提供指导。本文除了引言和结论外,共分为四个部分,现予以简要陈述如下。第一部分对作为“内在机理”的学界理论之“
代持股作为市场经济迅猛发展的产物,在促进经济发展的同时也带来了一系列的法律风险,隐名股东股权被强制执行就是其中之一。本文选取了“隐名股东案外人执行异议案”的典型案例,以理论结合案例的方式探究此类案件应当采取的裁判思路。首先,代持股关系作为引起执行异议纠纷的基础法律关系,在司法解释认可其合法地位的情况下,以一种合同关系处理是比较符合司法实践的。在执行异议之诉中,隐名股东必须在代持股的合意、所缴纳款项
矿区废弃地土壤由于长期开采未进行相关污染治理等原因,造成大量矿区废弃地土壤受到严重重金属污染,急需治理。本文受企业委托,对铜陵矿区废弃地土壤理化性质及重金属污染情况进行调研。通过天竺葵及本地植物对于该地区重金属污染修复研究,确定优势植物,通过城市污泥强化优势植物对铜陵矿区废弃地土壤重金属实验修复,得出适合铜陵矿区废弃地土壤植物修复实验方案,为该地区重金属植物修复提供实验数据及理论依据。研究结果表明
本文运用使用与满足理论,选取富士康郑州园区为研究地点,在社交网络改革和城乡融合的背景下,聚集富士康郑州园区内的新生代农民工群体,从新闻传播学视角出发,研究社交媒体使用对新生代农民工人际关系的影响。本研究在为期45天的实地调研基础上采用问卷调查法和深度访谈法,考察了500名新生代农民工的社交媒体接触时长、使用动机、应用类型偏好以及其使用行为,揭示新生代农民工使用社交媒体的人际交往现状,探讨社交媒体对
关系营销是实业和学术界长期关注的热门话题,关系营销理论中十分重要的概念就是关系质量。要提高顾客的满意度并长期维持顾客关系,则应基于多个层面提高与顾客之间的关系质量。以往有关于关系质量的理论和实证都是在组织市场的研究,对消费者市场的探究则较少;影响关系质量的因素研究较多,不过在顾客关系营销核心的导购员是怎样影响关系质量的探究则较为匾乏;另外,目前为止还没有针对建筑涂料行业的导购员特质对关系质量的研究
随着城市化进程的加快,大量农村人口涌入城市,随之带动周边农村地区的发展,出现了城中村、城乡结合处等经济发展高于农村但低于城市社区的过渡地带。十九大报告中进一步提出推进新型农村建设,构建共建共治共享的社会治理格局。伴随着九十年代以来撤村改居在广大农村地区的逐步落实,部分农村社区的发展越来越贴近于城市社区水平。近年来,许昌市在撤村改居建设中一直被评为基层党建示范市,在城市社区中创新实行“一有七中心”管
牵引电机作为轨道车辆驱动装置的关键部件,其运行状况会直接对车辆性能和运输效率造成影响。滚动轴承又是牵引电机中应用最为广泛的部件之一,起着承受载荷、传递载荷的作用。
名词化是语法隐喻的一个重要组成部分,国内外学者对这一现象做了许多研究。本论文在前人研究的基础之上,以近五年来的政府报告及其英译为语料,对中英文的名词化做了更系统化的研究。本篇论文分别从词汇和句法两个层面对中文及英译文中的名词化作出了分类,汉语中词汇层面名词化的规律主要是独立词汇加可以用于度量或者起修饰作用的抽象词缀,句法层面名词化的规律有三条,第一条规律是可以受“的”修饰的动词结构,第二条规律是可
当下,网络中发生的攻击行为已经逐渐从单步、简单的攻击手段发展成复杂的多步攻击手段。因此,研究者们针对这种多步攻击的行为进行了一系列的研究。常见的方法通常用IDS获取网络告警数据作为数据源再通过数据间的关联性质匹配出一个多步攻击行为,但是基于IDS的告警数据的误报以及漏报将导致得出的多步攻击的不完整或者错误,基于简单相似性的关联难以得到准确的攻击簇,而基于攻击图等先验知识的关联则难以保证拥有一个完整
由于海水的强腐蚀性,工作在海洋中的各种设备都深受腐蚀的侵害。开始呈现为点蚀,随着点蚀的增多,渐渐汇集成局部的腐蚀坑,轻者会造成设备的变形失灵,重者会引起整个机器的突然崩溃,导致重大的危害。潜水艇作为人类探索深海的工具,其安全性让人们格外重视,其载人开孔球形耐压壳在全寿命周期内都暴露在海水、洋流、盐雾、附着性海洋生物等腐蚀性介质中,因而腐蚀是不可避免的。不同于形状缺陷,腐蚀缺陷是一种球壳厚度局部减薄