高可靠存储阵列性能优化方法的研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:liu033041
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云存储和大数据处理系统中,高可靠性存储阵列因其低廉的价格和提供的高可用性而被广泛选择。高可靠存储阵列通常通过纠删码技术在保证多块磁盘同时失效的同时进行数据恢复。使用三盘容错的纠删码时,由于编码复杂,写入若干数据块的部分条带写可能引起大量的校验块修改,从而成为写性能瓶颈。重复数据删除是存储阵列的一种典型应用,由于索引表需要频繁从外存调入内存,数据搬运量庞大,总体性能受到限制。为解决高可靠性存储阵列的部分条带写性能不足的问题,在本篇论文中,我们提出一种优化的部分条带写方法(Optimized Partial Stripe Write Scheme,OPS),通过重组写数据块的分布,让它们在数据块之间共享部分校验块,从而提高整体的I/O性能。OPS方法可以有效的减少所需修改的校验块的数目。为说明我们OPS方法的有效性,我们用Disksim对不同的部分条带写方法做了模拟仿真。结果显示,相比于传统方法,OPS方法可以降低37.21%的平均响应时间,减少26.22%的写操作数目。为解决高可靠性存储阵列的应用性能不足的问题,在本篇论文中,我们针对重复数据删除应用提出了一种基于计算融入存储体系结构的优化方法,通过嵌入到存储设备的计算单元执行部分原地计算,减少数据在存储设备到内存上的搬运。该方法可以有效减短数据路径的长度,提升重复数据删除应用检索索引表的性能。为说明我们方法的有效性,我们用Disksim对大量的重复数据删除应用做了模拟仿真。结果显示,相比于传统方法,我们的方法在使用200万内存指纹索引表和粒度为250条指纹的B+树叶子的情况下,最高可以降低285.74倍的运行时间,减少125.13倍的数据搬运。
其他文献
蛋白质亚细胞定位预测在识别未知功能的蛋白质序列,确定基因组标注,药物靶标发现中都有重要的意义和作用。伴随计算机和生物技术的蓬勃发展,由高通量实验积累的生物数据按几
本文分为两部分:第一部分为多孔有机膦配体聚合物合成及多相催化应用;第二部分为Co催化炔烃选择性硅氢加成研究。第一章:均相金属催化剂被广泛应用于氢甲酰化为代表的有机反
电力系统中的高频过电压根据其波形特征可分为三类,其中快波前过电压(波前时间0.1~20μs)主要是由雷击引起的,作用时间短且幅值远高于设备正常工作电压,对电力系统中设备的安
从20世纪90年代开始,微电子机械系统技术、无线通信和数字电子学的发展促使国内外学者投入大量精力来研究无线传感网络的众多应用。在这些应用中,传感器节点的位置信息以及节点所处的室内环境信息是必不可少的。国内外学者对定位以及室内建图问题提出了众多的解决思路,取得了硕大的成果。但是,现有的算法大多适用于二维环境,并且采用集中式的方式进行计算以致于增加了硬件实现的难度。本文主要考虑三维环境下基于相对位置信
我国是水果生产大国,但是在果树营养与施肥方面研究仍然十分不足,果农为追求产量存在过度使用氮磷肥,钾肥过量与不足并存,长期忽视中微肥,有机肥投入不足,肥料利用率低,施肥
篮球在世界运动版图中拥有重要的角色,而大学生篮球联赛建设和推广则有着重要的内容,一方面,可以促进大学生整体素质的提高,另一方面,可以促进篮球运动的积极推广。安徽省六安地区拥有众多高校,篮球赛事的推广也已经经历了很多年的发展,但时至今日,安徽省六安地区的大学生篮球赛事依然有很多需要提高之处,由此引出本文的研究重点。文章主要分为四个部分对这一课题展开论述,第一部分为绪论,主要阐述了本次课题研究的背景、
目的:观察健脾理气方治疗脾虚气滞型功能性消化不良的临床疗效。方法:选择符合本研究纳入标准的患者60例并随机分为对照组30例、治疗组30例。治疗前均予以健康宣教,在此基础
“分析师盈利预测修正”是证券分析师行为领域的一个研究热点。本文使用朝阳永续数据库自2010年1月到2018年12月的全部A股的分析师EPS一致预期的日度数据,以分析师EPS一致预
农业干旱难以直接观测,利用其它相关因子对其间接估测具有可行性和必要性。干旱灾害的频繁发生与流域水量平衡的变化密切相关,而地表蒸散量在流域水量平衡中起着重要作用。因
冰雪建筑材料具有当地材料易用、环境友好、可持续发展以及美观效果等独特优势,在寒冷地区具有巨大的应用潜力。但其强度较低和传统的结构施工方法极大地限制了冰雪结构的高