基于MongoDB的多流固态盘自适应流管理研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:thinkthinkthink
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MongoDB是一种流行的非关系型数据库,常采用高性能的固态盘作为存储设备,但由于其写入数据不均衡的特点,导致固态盘上存储的数据存在碎片化的问题。应用多流固态盘可以缓解数据碎片化,但需要设计一种流管理策略,生成数据的预期寿命来引导多流固态盘合理放置数据。然而,现有手动流管理策略采用基于文件类型的分流方法,无法对文件内不同冷热的数据进行分流,现有自动流管理策略采用基于固态盘逻辑块地址的分流方法,无法利用数据类型语义进行分流。为了解决基于固态盘的MongoDB的写性能问题,提出一种基于MongoDB的多流固态盘自适应流管理策略MAStream(MongoDB-based Adaptive Stream Management Strategy)。MAStream基于SPDK(Storage Performance Development Kit)用户态I/O栈进行了多个层次的流管理设计。在文件系统层设计了自适应分流策略,自适应分流策略对元数据文件和日志文件以文件为单位分流,对数据文件以冷热不同的上下半部为单位分流,对冷热随机分布的索引文件以数据块为单位分流,做到了高效且精准的分流。在通用块层设计了虚拟流二次分流策略,虚拟流二次分流策略引入了虚拟流的概念,为自适应分流策略提供数量不受限的虚拟流,同时设计了相应算法将热度相近的虚拟流映射到同一个物理流。在设备驱动层,基于NVMe指令机制设计了物理流管理机制,用于获取物理流信息和下发多流写。通过多层次的流管理设计,MAStream具有较好的写性能。基于开源的MongoDB和SPDK实现了MAStream系统原型,并使用真实的多流固态盘Huawei ES3600P V5进行了性能测试评估。测试结果表明,在写比例较高的负载下,与原始MongoDB相比,性能提升了14.1%~24.4%,写放大降低了11.1%~18.4%;与手动流管理策略Manual Stream相比,性能提升了8%~16.5%,写放大降低了8.3%~14.9%;与自动流管理策略Auto Stream相比,性能提升了4.1%~8.1%,写放大降低了5%~8.8%。
其他文献
文件系统作为重要的基础软件之一,在现今大数据时代,是支撑数据中心和云基础设施的关键技术。基于硬盘的文件系统技术上已经相当成熟,但随着访问性能接近内存的新型非易失存储设备的推出和商用,逐渐有替代硬盘成为新的底层存储的趋势。而传统的文件系统技术不能有效发挥出非易失存储器的性能和特性,如何解决两者结合存在的性能低下的复杂软件栈、文件系统原子语义和用户态文件系统元数据同步开销等问题成为新的研究热点,成为学
学位
投融资匹配理论要求企业中的投资和融资之间应该处于合理的匹配程度,但是现实中往往更为常见的是投融资的错配现象,具体表现在企业中主要为激进的短款长投策略和保守的长款短投策略。企业选择合理科学的投融资决策对企业价值的创造提升和企业的更长远发展都是至关重要的。随着我国经济发展新常态结构和质量的不断优化,学者对于企业融资与投资行为的研究亦在不断深入。但目前我国国内的金融市场还未实现完全的市场化,经济的转型期
铜(Ⅰ)配合物作为一种廉价、丰富的材料,因其丰富的结构和光物理性质以及在光电、催化和生物系统中的潜在应用而引起了人们的广泛关注。桥连吡啶基配体和螯合吡啶基配体因为强的配位能力和结构多样性而被深入研究,特别是基于Cu I-吡啶(py)配体的配合物显示出优越的结构多样性。至今为止,有关桥连吡啶基配体和螯合吡啶基配体的配位模式以及与Cu(Ⅰ)构建的铜簇结构都比较单一,铜簇合物的功能应用也相对比较局限。而
汽车工业在制造业发展中占据很重要的位置,我国汽车工业以整车厂为主,汽车零部件尤其汽车关重零部件行业发展照比日、德、美等发达国家严重滞后,长期以来外资、合资企业或进口,无法持续性支持整车业发展。汽车零部件具有高附加值、高复杂性、高分化等特点,多采用柔性作业车间进行加工。汽车零部件企业原材料往往来自多国、多供应商且种类众多,在国际关系、疫情等因素的影响下极易发生来料质量不良及物料延迟等情况,从而对企业
随着云块存储系统业务日益复杂,用户数量不断攀升,负载动态性也随之越来越强。为了避免资源浪费和服务质量下降,需要对资源进行动态按需调度,负载预测的准确性与实时性则直接决定了资源调度效果。考虑到云块存储系统的数据迁移时间粒度是小时级别,现有负载预测方法无法适应长期的动态负载变化,同时也无法兼顾长期预测准确度和模型计算开销。针对上述问题,首先对大量真实的工作负载进行深入观察和分析,发现工作负载主要在趋势
语言政策是国家和群体在语言交际中依据语言本身所制定的相关政策和制度。任何国家语言政策的制定与其历史背景相关。苏丹2005年发布临时宪法规定,阿拉伯语和英语规定为国家官方语言,在政府工作及高等教育中使用,体现了其“二元化”的语言思想。而苏丹方言的语言地位也得到了国家的承认和保护,揭示了苏丹政府在保障官方语言主导地位的前提下增进苏丹人民民族认同感的举措及保护文化多样性的立场,而英语等其他国家语言在苏丹
三维相变存储器(3D PCM)凭借其高存储器密度、高可靠性、高擦写速度的优点,在存储级内存的应用中备受憧憬,但随着阵列规模扩大,漏电流和功耗同时也在提升,需要采用新型二端选通管与相变存储单元集成来抑制漏电流的大小。基于硫系化合物的奥式阈值开关(OTS)作为目前与PCM集成特性最优异的新型选通管,存在多种不同体系,性能各异的OTS选通管与PCM进行集成,会带来集成特性的多样性,同时也给操作方法的创新
供应链金融的出现,缓解了中小企业融资困境,但由于其自身的局限性以及需要与供应链中核心企业进行绑定授信的新特性,所以也产生了新的信用风险。因此精准的中小企业信用评价对于整个供应链的稳定性和协调性至关重要,信用分析和评价的相关研究已经由来已久,统计和非统计这两大类信用评价方法都是目前的主要信用评价方法。支持向量机(Support Vector Machine,SVM)方法由于其强泛化的能力而逐渐受到了
天然气是一种清洁的化石能源,在我国能源结构中扮演越来越重要的角色,天然气储存是天然气利用的重要环节。水合物是一种理想的天然气储存载体,通过将天然气捕获在由氢键形成的水合物笼中,可以实现以固态的形式高密度储存天然气,但是目前在冰点以上保存天然气水合物还存在高储气量和低压之间的矛盾。本文为了缓解这种矛盾,提出了一种通过环戊烷水合物壳包覆天然气水合物的表面处理方法,证实此方法的可行性后,接着研究了冰点以