论文部分内容阅读
随着“十三五”规划的开展,大数据已经提升到国家战略高度,成为我国各行业转型升级的有利契机和重要抓手。大数据作为当今的热点,是信息技术发展到现阶段的必然结果,其战略意义在于以业务目标作为驱动力,对庞大的数据信息进行深度挖掘,通过丰富的时空动态数据分析为我们提供强大的生产力。经过近十年的发展,地震行业已经建成庞大的观测网络,每天产生大量的前兆、测震等学科观测数据,具备了一定的数据基础。通过运用大数据技术来推动地震行业综合数据管理、深度挖掘、分析服务等新兴业务的发展变得尤为迫切。地震大数据平台的研究与实现就是为了探索适合地震行业数据特征、业务需求的大数据平台,从而满足未来数据采集、分布式存储、资产化管理等诸多需求。为今后的数据深度挖掘、时空动态分析等业务提供可靠的存储平台和高效的计算保障。论文首先从项目意义及技术环境两方面就研究情况进行阐述,并结合现有业务系统特性进行了现状分析,介绍了研究的目的与意义。其次,就地震大数据平台的技术架构进行详细阐述。内容包括:Hadoop架构整体概述、分布式文件系统(HDFS)的组成及运行原理、分布式计算(MapReduce)的实现机理及特性、列式数据库HBase的实现原理及优缺点。然后按照平台架构、数据采集、数据重构及数据服务四个层面阐述了平台的设计方案。重点阐述了根据不同数据源所采取的不同数据重构方式以及为方便数据存储与调用所封装的数据接口。实现了基础数据管理、查询与下载以及数据可视化等功能。最后,就平台构建方式进行描述,包括硬件部署、软件配置以及可靠性设计。并对平台访问控制、查询下载和可视化模块进行描述与演示。综上所述,论文提出了地震大数据平台的设计及架构思路,实现了数据采集、数据重构、数据服务三个核心业务模块,九个功能子模块。探索性的实现了地震行业数据的分布式存储、分布式检索及数据可视化等功能。并对部署方式及可靠性进行优化。为今后的地震大数据存储、深度挖掘、时空交叉分析及数据可视化等服务提供前期验证和基础平台。