论文部分内容阅读
近年来,数据的爆炸式增长掀起了大数据的研究热潮,使之成为全世界关注的热点。越来越多的行业和领域涉及到大数据的处理、存储等,各种大数据系统应运而生。而可靠性是影响大数据系统性能的重要指标之一,因此运用正确的评估方法对系统可靠性进行分析至关重要。针对大数据系统缺少可靠性模型这一问题,本文提出了基于故障树的大数据系统可靠性建模方法,并提出了基于故障树分析法(Fault Tree Analysis,FTA)的大数据系统可靠性评估方法。最后,通过实验验证了模型和评估方法的有效性,为大数据系统的故障处理和质量保证提供参考。具体工作如下:(1)本文总结了国内外大数据系统的可靠性研究现状,描述了大数据的定义和可靠性问题。从层次角度出发介绍了大数据系统架构。(2)本文详细介绍了故障树分析法的流程及主要步骤,包括定性分析和定量分析。提出了大数据系统故障的分类方法,分类总结了大数据系统的故障。并提出了基于故障树的大数据系统可靠性建模方法,构建了以“大数据系统故障”为顶事件的故障树模型。(3)本文提出了基于故障树分析法的可靠性评估方法,利用计算机辅助故障树分析(Computer Aided Fault Tree Analysis,CAFTA)工具对故障树模型进行定性分析和定量分析。(4)搭建Hadoop+Spark基础框架,部署上层Scan,K-means和Page Rank应用,收集故障数据,通过实验验证模型和评估方法的有效性,为大数据系统可靠性的研究和改进提供参考。