异构存储系统中节点失效的并行化修复研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:kisscase
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,爆炸式增长的海量数据迫切需要有效的存储和管理。大规模分布式存储技术的飞跃式发展势不可挡。人们对存储系统的要求也更为广泛,譬如存储容量、I/O性能、数据安全、系统可扩展性、系统可靠性等问题。在数据即是一切的年代,数据的错误与丢失对于用户来说是极为致命的。鉴于故障发生的普遍性,目前分布式存储系统主要采用存储冗余数据的策略保证数据的可靠性。在系统发生故障时,能够快速有效的修复出错误数据,对维持系统的可靠性来说是至关重要的。  以下是本文的主要工作。  1.分布式存储研究平台的设计与实现。分布式存储研究平台是一个为了深入研发分布式存储技术的实验平台。首先,它是一个分布式存储系统,支持多种编码方式,提供最基本的文件操作功能;其次,为了维持系统可靠性,它包含数据修复接口,提供多种磁盘修复功能;再者,它能够进行重复数据删除,保证磁盘有效的空间利用率;最后,它提供磁盘扩容接口,保证系统的可扩展性。本文主要介绍分布式存储研究平台的基本概况,阐述其设计原理与基本功能以及实现方法,为分布式存储系统的研究提供了一个简单实用实验环境。  2.基于RAID6码存储系统的并行化异构修复问题的研究。结合分布式存储系统的异构性和并行性,设计一种三阶段的流水线式并行化修复策略,并提出一种最小修复时间的并行化异构修复算法,通过数字模拟实验以及实际分布式存储系统的实验测试证明算法的可行性与有效性。本文详细地介绍了并行化异构修复算法,包括研究背景,模型的建立与推导过程,具体实现过程,性能分析,以及相关的实验证明。并行化异构修复算法着力于系统的并行性与异构性,为分布式存储系统的错误修复提出了一种新的优化策略,并促进了系统数据的可靠性的提高。
其他文献
网络中日益涌现的多种应用均对服务质量(Quality of service,QoS)有严格的要求,研究者在过去的二十年里已经探索出许多QoS架构,但由于各种原因,这些QoS架构均未得到真正的推
机器学习是人工智能的核心内容之一,机器学习利用训练数据发现隐含模式或者机制,机器学习应用在分类问题上可以利用发现的模式或者机制对未知数据进行分类。随着人工智能领域
推荐系统是大数据时代背景下不可或缺的重要应用之一。在大数据时代,信息过载是一种常态。在此背景下,无论是信息提供者还是信息使用者都面临着诸多难题:作为信息提供者,要将
学位
视频监控系统是如今广泛应用于人们工作和生活中的监控系统,随着现代科学技术的飞速发展和人们生活质量的提高,传统意义上的视频监控系统已经越来越不能满足人们更高的要求。
物联网是新一代信息技术的重要组成部分,其应用范围几乎覆盖了各行各业。物联网获得广泛应用需要解决的一个关键问题是物联网中间件中的信息处理部分,而复杂事件处理是物联网中
云计算是信息时代高速发展的必然产物,作为继个人电脑和互联网之后的第三次IT产业革命,凭借其灵活方便的资源交付模型,改变了公众对计算能力的获取方式,同时其强大的融合和调配能
Android系统作为2008年才发布的开源手机操作系统,因为其免费和开源的特性,迅速流行开来,市场占有率已成为第一,不论是价值千元的低端机还是四五千的高端机,都随处可见。其易用性
近年来,电影产业的发展越来越受到人们关注,每年都有数以百计的电影上映。由于可以选择的影视节目太多,用户很难找到自己感兴趣的节目,如何让用户在短时间内从大量影视剧中找
基于视频的移动目标检测是图像处理的一个重要分支,在许多实际应用中担当核心的任务。理想情况下运动目标检测算法是基于静态背景的,但在实际应用中,运动目标所处的场景往往