基于编码的分布式容错存储修复优化技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:gir1s
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今时代信息规模爆炸式增长,为数据存储提出了巨大的挑战。基于网络节点集群的分布式存储系统比传统的存储阵列在性价比和扩展性上更具优势。为保证可靠性,分布式存储会采用一定的容错机制以应对集群中节点失效,如多副本机制。多副本机制简单易用,但有存储开销过大和容错能力差的缺点。为此相关研究提出了低存储开销的纠删码方法,但该方法在修复失效节点时网络开销过高。针对修复网络开销过大的问题,近年来,业界提出了再生码方案,其使用网络编码的思想,从根本上减少了修复网络流量开销。与此同时,越来越多的研究表明,在修复失效数据时,结合网络链路带宽大小,能够有效地降低修复时延。然而,再生码机制由于编解码方式不同于纠删码,而且计算开销较大。在现有纠删码系统中难以很好地利用再生码技术来降低修复网络开销。同时,现有利用网络拓扑的修复技术,大多针对纠删码,不适合于以Local Reconstruction Codes(LRC)为代表的局部可修复码这类简单有效的编码方式。针对上述问题,论文以建立低修复网络开销的高性能分布式容错存储系统为目标,结合再生码修复网络带宽低的优势,从文件读写、修复优化等角度,设计并实现了基于再生码容错机制的存储方案;并针对LRC的实际修复特点,对如何结合网络拓扑和链路带宽信息完成LRC中单节点和多节点失效修复机制展开详细研究。论文的主要工作包括以下几个方面:1)针对Cumulus存储系统现有纠删码编码方案修复网络开销过高的问题,围绕读写修复核心功能,设计并实现了结合低网络开销的再生码的分布式存储机制,通过对文件读写、修复的优化,在保证良好的读写性能的基础上,有效减少了修复网络开销。2)由于LRC修复失效节点算法不同于普通纠删码,针对如何有效结合网络拓扑结构优化LRC修复时的网络数据传输消耗,以进一步提高修复效率,本文对LRC节点修复过程和特点进行详细研究,提出了结合网络拓扑的基于分治和贪心思想的修复树算法。验证实验结果表明本文提出的算法与通过直接链路传输的方法相比,节点修复时延大大降低。
其他文献
随着现代工业生产出现方兴未艾的形势,各种材料的供给量也与日俱增,对于应用超硬材料的条件也日渐严苛。寻找稳定性高、硬度大、耐腐蚀性强的潜在超硬材料成为了科学研究关注
阳离子染料是一种水溶性染料,种类多、色谱齐、颜色深、得色高,染料中的有色阳离子与纤维上的阴离子基团通过离子键结合而上染,近年来随着染料新用途的开发和市场的需求,阳离
[目的]幼儿拇指螺(Pollicaria gravida)被认为是蛹螺科(Pupinidae)拇指螺属(Pollicaria)的一个物种,至今在国内未见对活体标本进行系统的形态学和分子生物学研究的报道。本课
网络专题新闻具有专业性极强、受众范围有限等特点,在信息技术不断发展的今天,获取新闻的渠道越来越广泛,从而信息越发纷繁复杂,对于信息的收集整理难度大大加深。与此同时,
多孔氮化硅陶瓷(Porous Si3N4 ceramics,Si3N4-PC)因其优异的结构、力学和介电等性能,在宽频透波雷达罩、流体过滤器、催化剂载体、分离膜和人体组织构件等方面应用前景广阔。
通常,我们称线性码与其对偶码的交集为该线性码的对偶交.有限域上线性码的对偶交自1990年被提出以后,随着研究的深入而被广泛用于编码理论中的某些算法设计当中.循环码作为纠
钙信号调控着细胞内许多重要功能,包括短期效应如细胞兴奋-收缩偶联、分泌功能,和长期效应如基因转录、细胞增殖分化及细胞死亡。介导Ca2+内流的L型钙离子通道(L-type calciu
种子萌发是植物生长发育的起始阶段,是植物生长发育的基础。小麦作为非常重要的粮食作物,其种子萌发状况不好会影响小麦的生长发育甚至产量,因此为了提高小麦的产量对其的萌
癌症是威胁人类健康的重大疾病。目前,化疗仍是治疗癌症的重要手段之一,但化疗药物容易伤害健康细胞,降低患者的生活品质。此外,在化疗过程中出现的多药耐药现象也会严重影响
智能药物释放系统已经成为医疗领域的研究重点,可以有效缓解甚至规避传统药物释放系统存在的众多问题,如:副作用大、治疗效果差等。静电纺丝技术具备工艺简单、高效、操作便