基于RDMA和NVM内存文件系统一致性机制的研究与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:zydwnj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网中的数据规模越来越大,人们对数据中心的存储系统的性能也提出了更多的要求,尤其在数据存储和网络传输方面。NVM和RDMA为数据中心存储系统的设计带来新的机遇。由于现代处理器内部缓存的设计和RDMA没有对持久化写入NVM的保证,在使用持久化内存时,仍然存在数据一致性的问题。这为基于RDMA和NVM的一致性机制的设计带来了挑战。本文在调研测试了RDMA持久化写入NVM的方式后,总结出在不同场景下使用的持久化写入方式。并结合发现的这些特点,设计出一种高效且能保证文件系统一致性的数据一致性更新机制。本文的主要工作如下:(1)调研了RDMA持久化写入NVM的方式,分别为RPC和RDMA写后读。实验分析后发现,在小粒度写的情况下,RDMA单边原语的优势不再明显,RPC的延迟相比RDMA写后读的延迟更低。在大粒度的情况下,RDMA单边原语的优势依然存在。所以在小粒度写,追求低延迟的场景下,应选择RPC的方式。(2)对RDMA写入的顺序性进行分析,发现使用send/recv后,再发送write操作,RDMA本身可以保证两个操作间的顺序性。RPC就是以send/recv实现的,所以RPC与RDMA写后读之间可以保证操作的顺序性。在原子性操作方面,RPC相比于RDMA的原子性写操作有更好的性能。所以在一致性机制的设计中,应使用RPC或RDMA写后读的方式进行写入以保证操作顺序性,应使用RPC作为原子性修改操作的方式。(3)设计出一种数据一致性更新机制,在原型文件系统中添加一个日志管理模块负责处理日志的持久化提交,在存储结构中添加一个日志缓冲区中以记录日志,一个备份缓冲区用以存放写入的数据。将数据与日志记录分开,可以轻量化日志,从而可以使用RPC的方式记录日志,使用RPC和RDMA写后读的方式写入数据。(4)设计了日志的两阶段更新策略和环形计数器。日志的两阶段更新策略分为数据更新和元数据更新。在数据更新方面,根据写入大小选择RPC或RDMA写后读的写入方式,根据写入大小选择重做日志和写时拷贝的一致性机制;在元数据方面选择重做日志,并采取元数据的异步持久化以提高性能。在日志缓冲区中,根据NVM的特性,设计了高效的环形日志缓冲区和环形计数器。在修改计数器时,使用RPC的方式,利用服务器端对计数器进行原子更新。经过测试,本文设计的一致性更新机制可以在保证元数据与数据一致性的同时,实现高效的数据更新性能。
其他文献
随着我国社会经济水平的快速增长,诸多社会治理方面存在的问题也逐步显露出来。政府作为社会治理的主体,为了提高其自身服务效率和质量,为人民群众提供便捷高效的公共服务,就必然不断地对社会治理模式进行探索、创新和完善。网格化治理作为近年来新出现的一种社会治理方式,受到了广泛的关注,并在全国各地开始陆续的试点实践。但是,目前的试点项目大多集中在城市社区,学术界的理论性研究也往往聚焦在此,而忽略了农村地区。在
学位
我国高校性骚扰问题因近年来个别教师的性骚扰丑闻而露出冰山一角,引发理论界和实务界的广泛关注。前不久颁布的《民法典》对性骚扰的定义及防范机制作出了原则性的规定,但是理论上“高校性骚扰”的实质性内涵一直没有形成共识;实务中对于“高校性骚扰”欠缺统一的追责依据以及追责程序。本文首先从典型案例引发的高校性骚扰认定的困惑中展开对高校性骚扰的概念解读,以及与高校性犯罪、不正当性关系等相关概念的辨析与界分。接着
古往今来,每个城市的发展都与当地商业的繁荣密切相关,商业活动不仅推动了消费,促进了城市发展,同时也反映了城市历史、文化等特性。城市的街区,通常会作为城市的名片,但由于商场模式过于单一,服务态度淡薄,周边环境脏乱差与周边城市功能区衔接断裂,已越来越不能满足人们的需求。新中国成立以后,国内民众生活质量获得较大改善。伴随旅游业的兴起,各地交往密切,受国家政策法规的影响,历史街区的保护重回大众视线,衍生出
当前,我国正处于一个新的历史交汇期,由“十三五”规划转向“十四五”规划的过渡期,站在这样一个新时代的历史背景下,也对我国的发展有了进一步的要求。我国目前虽然已经脱离了绝对贫困,但依然存在很多问题,而且要严防“返贫”现象的发生。并且,“十四五”规划中提出,要建立健全脱贫攻坚成果长效机制,巩固目前的脱贫成果,在“后扶贫时代”也不能懈怠,为实现乡村振兴打好基础。普惠金融的本质是以包容性、普惠性为核心理念
太阳能是可再生清洁能源,提高太阳能电池光电转换效率能够推动新能源产业的可持续发展。然而,太阳能电池中存在的缺陷会导致能源转换效率降低,甚至整体性能的衰退。因此,对缺陷进行深入研究,为太阳能电池的设计、优化和制造提供更多有价值的信息是非常有意义的。电致发光(Electroluminescence,EL)成像技术是一种研究缺陷的有效技术,暗条件下使太阳能电池处于正向偏置状态,其内部电子和空穴经过辐射复
随着芯片技术的发展,物联网技术开始向智能方向发展,加速了人们实现智能化生活的步伐。在物联网的终端设备中,都有一个被称为处理器的核心芯片,这些处理器芯片可以实现图像识别、语音识别、手势识别、智能驾驶等功能,而这些处理器对功耗和面积的要求则相对更高。传统的芯片指令集架构如x86和ARM架构,由于对知识产权的保护往往需要高昂的授权费用且核心技术容易受制于人。精简指令集(Reduced Instructi
碲是第五周期ⅥA族元素,有很多的优异性质,包括高稳定性、优异的热电性、超高的载流子迁移率和光响应度等。碲的带隙可调,带隙大小与厚度有关,从单层到块材带隙为0.35~1.04 e V。单晶碲由一维螺旋分子链堆垛而成,分子链间通过范德瓦尔斯力相连接并堆叠形成无表面悬挂键的层状材料。近年来原子级薄层过渡金属硫族化合物(TMDCs)薄膜的自组装结构成为光电物理和器件研究的一个新兴领域。二硫化钼作为TMDC
微波微等离子体是指使用微小功率微波源激励产生的,并且放电尺寸非常小的等离子体。微等离子体具有稳定性好、电子密度高、持续时间长等优点。由于一个单元的微等离子体尺寸无法大规模使用,因此可以对微波微等离子体阵列源进行深入研究,其前景非常广阔。本文以基于微带谐振器的2.45GHz微波微等离子体阵列源及其特性为研究对象。首先利用HFSS软件仿真,设计了一种微波微等离子体阵列源的单元结构以及13单元线性阵列结
卷积神经网络(Convolutional Neural Network,CNN)在人工智能领域取得巨大成功,被广泛应用在目标检测、机器视觉、图像识别等方面。由于串行执行进程的通用处理器无法高效地处理CNN愈加庞大的计算量,相比之下,现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)低功耗、高度并行的优点很适合用于加速卷积神经网络的推理过程。为了进一步适应工