日志型非易失内存文件系统垃圾回收与检查点机制的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:snoopy_cp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和大数据的发展,数据规模及其处理能力之间的差距越来越大,传统的以计算为中心的系统架构往往使用读写速度较慢的硬盘,很难达到大数据对性能和时效性的需求,以内存优先为基本原则的内存计算模式成为了一种解决方案。而新型存储介质非易失内存存储器的出现,为实现这种计算架构提供了支持。工业界发展了硬件工艺,纷纷推出品种繁多的新型非易失内存介质,这类存储器打破了传统内存和外存的界限,可以直接作为运行内存使用,具有读写速度快、存储密度高、可字节寻址等特点。将非易失内存与传统内存DRAM混合使用,可以有效解决内外存性能瓶颈问题,提高计算机系统在大数据处理方面的能力。对于面向混合内存的计算机系统软件,国内外科研人员已经提出一些科研成果,主要集中在编程模型、内存系统模拟平台、存储系统方面。其中基于非易失内存的文件系统是使用新型存储技术最直接的应用,它无需对现存的软件做出任何修改,就可以直接使用非易失内存加速程序运行。然而目前大部分的非易失内存文件系统的实现并不完整,往往只关注系统的读写性能,也缺乏了对非易失内存和DRAM混合使用的场景进行优化,并不能很好的适应内存计算的系统结构。针对以上背景和问题,本文做了相应的研究,主要的内容如下:·基于检查点技术的系统一致性保障机制。与传统的块设备文件系统不一样,本文件系统使用DRAM和非易失内存存储文件的数据和元数据。我们把文件系统的元数据和一部分文件的元数据缓存在DRAM上,可以提高读写效率,并且无需考虑DRAM读写寿命的限制,同时由于CPU缓存的存在,不少文件系统的关键信息是易失的,如果发生系统掉电或者崩溃的情况,这些管理信息就会丢失,造成文件系统的元数据不一致的后果。传统文件系统使用fsck解决这个问题,但是耗时长、效率低,不适合大数据场景的需求。我们提出了基于非易失内存文件系统的检查点机制,可以有效保障系统的一致性,并且在系统掉电后可以快速的恢复。·垃圾回收算法的设计。因为新型的非易失内存存储器都有一定的读写次数限制,所以为了保护存储器的使用寿命,使得读写操作更加均匀地分布在存储器件上,我们使用日志型的(Log-Structured)分配策略,从头到尾连续分配数据页。由于是连续的分配,中间分配出去的一些数据页可能被删除,成为垃圾,我们需要对这些页进行回收,供分配器以后使用。结合了非易失内存的特点和检查点机制的设计,我们提出了相应的垃圾回收算法。
其他文献
单层材料因其独特的电学、磁学和光学等优异性质而被受到广泛关注及研究。近几十年来,有数十种优异的2D材料,如石墨烯、2D氧化物和2D硫属化物已具备了较完整的二维单层体系。
本研究旨在调查交通运输对卢旺达国内贸易的影响。多元回归的结果证明,卢旺达的运输与国内贸易之间的关系水平很高。从结果可以得出结论,基础设施是运输的重要决定因素,这对运输成本方面的卢旺达国内贸易产生了重大影响。简单的调解用于通过在Hayes第3版的过程宏中使用模型4来计算基础设施对批发的直接和间接影响。结果证实了调解假设,其中基础设施目前不是批发的重要预测因子在指导运输成本作为调解员之后。因此,建议卢
随着汽车保有量的增加,对石油的需求量逐年上涨,但石油资源日益匮乏。因此开发代用燃料,使汽车朝着节能、清洁的方向发展是大势所趋。甲醇由于其燃烧性能良好,原料来源广泛,价格低廉,逐步进入人们视野。本文为分析甲醇停缸对多点喷射甲醇柴油双燃料发动机性能的影响,设计并搭建发动机台架,具体操作为在一台电控共轨、增压中冷、六缸四冲程的柴油机上,加装了一套甲醇供给系统,以实现甲醇在柴油机上的燃烧;通过对比发动机小
在CAGD中,由于几何拼接的需要,经常涉及平面两曲线之间的光滑拼接,特别是直线与直线、直线与圆弧、圆弧与圆弧之间的光滑拼接.在解决实际问题与科学研究中有着广泛的应用,例
Purpose:To explore the 640 slice CT double phase enhanced scan and the use of carbonated drinks as contrast agents in TNM staging of gastric cancer,and to explo
目的分析表现为浸润性病变的纯磨玻璃密度肺腺癌的CT征象特点。材料与方法选取2017年1月至2018年10月我院收治的CT表现为纯磨玻璃密度肺结节的患者128例,上述结节均为单发结
研究背景前列腺癌(prostate cancer,PCa)是常见的男性恶性肿瘤。目前,基于血清前列腺特异性抗原(prostate-specific antigen,PSA)的筛选,虽然显著的提高了前列腺癌的早期诊断
自从香农提出香农定理之后,构造能够达到香农极限的信道编码方式一直是通信领域经久不衰的研究方向。LT码由Michael Luby于2002年提出,是第一类可实现的数字喷泉码。数字喷泉码是无码率的。LT码是基于不规则稀疏二分图构造出来的一种非系统码,其编码符号甚至可以仅在需要时动态产生。极化码于2009被Erdal Arikan提出,其拥有者线性时间内的编译码复杂度以及能在二进制擦除信道中达到香农极限
直接醇类燃料电池和催化有机物加氢是解决能源危机问题和减少环境污染的重要措施。Pt或Pd催化剂是目前催化醇类氧化和催化有机物加氢最常用催化剂,而成本高、活性低及稳定性差等缺点限制了催化剂的广泛发展与应用。合理设计催化剂结构、降低成本成为催化领域的研究重点。核壳贵金属纳米催化剂既将Pt或Pd与各组分之间产生的协同效应,电子效应以及双金属效应等融合为一体,又充分吸取各个组分原有特性,展现出低密度、比表面
氨基转移酶(AT)由于能够将氨基转移到酮或酮酸中,并且具有高对映选择性和区域选择性,是用于合成手性氨基酸或者酮酸的重要生物催化剂。在所有的转氨酶中,支链氨基酸氨基转移酶(BCAT)能可逆地催化支链氨基酸(BCAAs),如L-缬氨酸,L-亮氨酸和L-异亮氨酸,与α-酮戊二酸生成相应的酮酸和L-谷氨酸。目前,BCAT已应用于包括L-叔亮氨酸在内的非天然氨基酸及支链酮酸的生物合成。尽管BCAT具有巨大的