多态协作的高并发NVM存储系统

来源 :江苏大学 | 被引量 : 0次 | 上传用户:mmtt001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和大数据的快速发展,爆发式增长的数据给计算机系统带来了巨大的压力。新型非易失性存储器(Non-Volatile Memory,NVM)具有持久性、字节寻址和接近DRAM的读写性能等特性,是解决计算机系统“存储墙”问题的有效手段。但NVM存储设备与HDD和基于Flash的SSD等存在很大的差异,现有的存储系统I/O栈缺乏相应的优化机制,直接采用现有文件系统、驱动和应用软件难以发挥NVM存储设备的优势,因此本文以基于NVM的高并发存储系统为研究和设计目的。首先分析NVM存储设备对存储系统带来的挑战,给出了多态协作高并发NVM存储系统的结构,设计了三个主要的功能模块,分别从文件系统层、驱动层和应用层优化现有的NVM存储系统。在文件系统层,针对现有用户态与内核态NVM文件系统各自存在的局限,本文设计了多态协作的NVM文件系统。首先给出了其结构,提出了多态融合的文件系统接口,能根据I/O请求的特性,利用用户态和内核态接口各自的优势,分配合适的执行方法,优化文件系统性能;设计了多层协作的文件操作方式,通过对文件系统操作进行分类与分解,能利用用户态与内核态模块之间的协作,在提高访问NVM存储设备性能的同时,保证文件系统的完整性和安全性。并基于Intel的开源用户态文件系统pmemfile和Intel的开源NVM存储设备模拟器PMEM,实现了多态协作NVM文件系统的原型MLCFS,使用Fio和pjdfstest作为测试工具,对I/O性能和文件系统接口访问效率进行了测试与分析,实验结果表明MLCFS相比NOVA与pmemfile最高能提高43.2%和67.3%的IOPS,减少9.5%和9.1%的I/O时间开销。在驱动层,首先分析了现有基于文件系统的锁机制对NVM存储系统性能的影响,设计了基于冲突检测的高吞吐NVM存储引擎。提出了基于二维链表的访问请求管理方法,将存储系统访问请求的管理嵌入到存储设备中,利用NVM存储设备的计算能力,分析读写请求的差异并区分管理访问请求,减少访问请求之间的冲突;设计了基于冲突检测的访问请求调度算法,管理NVM存储设备中的共享访问请求,使用基于冲突检测的方法代替基于文件系统的现有锁机制,并给出了新访问请求提交和已有访问请求释放流程,由此提高操作系统执行访问请求的并发度,缓解存储设备接口的瓶颈问题。同时基于Intel的开源NVM存储设备模拟器PMEM,实现了基于冲突检测的高吞吐NVM存储引擎的原型系统HTPM,使用Filebench的多种负载和Fio,对吞吐率和I/O性能进行了测试,实验结果表明HTPM相比PMEM最大能提高31.9%的IOPS值和21.4%的I/O性能。在应用层,针对现有应用在NVM存储系统中冗长的软件栈开销和写入放大等问题,本文设计了面向NVM的多层协作复制命令解析器。提出了基于NVM的数据自主复制策略,利用设备嵌入式计算力,在设备内完成数据的复制,避免了数据的多次拷贝开销;设计了源文件和目标地址获取策略,在文件系统层直接获取源和目标文件的地址,越过页缓存直接交给NVM存储设备,缩短I/O栈,提高了命令的执行速度,并减少了NVM存储设备的写入放大问题。并基于Intel的开源NVM存储设备模拟器PMEM,实现了面向NVM的多层协作复制命令解析器原型系统NVCP,使用time等方式测试命令的执行效率,实验结果表明,NVCP相对于CP命令最大能提高47%执行速度。最后在pmemfile和PMEM的基础上,实现了多态协作高并发NVM存储系统原型MLCSS,并使用Filebench和time等工具进行了测试,实验结果表明,相对于基于NOVA的存储系统和基于EXT4的存储系统,MLCSS最大能够提升102.3%和258.8%的吞吐率,减少上层应用40.5%和77.4%的执行时间开销。
其他文献
作为一门前沿科学,智能优化算法是通过求解目标问题,并比较得到的结果来判断其性能优劣。目前,它存在一个不合理的现状:测试出有着更高性能的算法不断被提出,但实际应用中,只有经典优化算法被广泛使用,而那些有着较好性能的算法却更多的存在于论文中。其实这种测试算法性能的方式存在着不足,需要进一步补充完善。因此,本文提出了一种验证方法,用于完善测试性能的方法,并说明了其必要性。首先,介绍常用来测试算法性能的方
随着通信网络的高速发展,未来的网络将会成为一个自治系统,海量数据与智能算法一定会成为无线网络进一步发展的重要基础。在智能交通方面,随着人们对车辆智能化需求的不断增
由于缺乏对呼吸功能的客观评价,急性期的呼吸衰竭、呼吸窘迫综合症、肺部感染等并发症为颈脊髓损伤患者死亡的主要原因。咳嗽音的强弱也能反映呼吸功能的好坏,对咳嗽音的处理
射电望远镜观测的宽频率范围和高灵敏度使接收机极易受到射频干扰(Radio Frequency Interference,RFI)的影响。由于单天线望远镜几乎不具有对接收到的RFI信号进行方向分辨能
随着智能设备和移动数据服务的迅速发展,全球的数据流量呈爆炸式增长。由于回程链路容量有限,数据的爆炸式增长将不可避免的造成网络拥塞。如何打破回程链路容量瓶颈,成为了5G网络的一项挑战。尽管请求多而杂,但研究表明,互联网中绝大多数的业务负载源于少数流行内容的反复传输。因此,若将流行的内容缓存到网络边缘,可以显著减少回程链路的业务负载,缓解网络拥塞。本文在回程连接容量有限的软件定义网络(SDN)中考虑多
基于闪存的固态硬盘SSD(solid state drives)现在已经被广泛使用在各种存储系统中。为了容忍整块SSD盘错误,可以像HDD一样在多个SSD上组建冗余磁盘阵列RAID(Redundant Array
蝴蝶优化算法是根据蝴蝶之间的觅食行为规律而提出的一种群体智能算法,该算法数学模型简单,寻优能力较强,已成功应用于解决工程技术问题。然而蝴蝶优化算法存在容易陷入局部
自由视点视频以其交互性、沉浸感、实时性等特征成为了下一代数字视频技术发展的方向,其在医学研究、视频监视、影音娱乐等方面有着巨大的市场需求和应用场景。由于传统的自
在信息安全领域,Rootkit技术扮演着相当重要的角色。在常见的木马病毒等手段对目标机器的攻击中,常常采用Rootkit技术隐藏自身的文件、进程以及网络连接等信息来达到长期潜伏
目的 富含胱氨酸蛋白61(cysteine-rich protein 61,Cyr61)是一种富含半胱氨酸的具备肝素联结活性的分泌蛋白,主要调理细胞外基质生成、细胞增生、分化、凋亡等重要的生物进程。缺血再灌注性急性肾损伤(IR-AKI)所致的肾纤维化中,肾间质成纤维细胞的异样激活发挥重要作用,而已有研究显示Cyr61在肾组织缺血早期高表达。因此,我们检测IR-AKI后肾纤维化及肾成纤维细胞中Cy