基于Hadoop的石油大数据平台设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sunjing123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
某省关于石油的各类采集设备数量繁多,且格式各异。现今为了将某省各石油站点的采集数据统一存储起来,需要一个大数据存储中心。大数据存储中心必须在容量上满足存储要求,可以存储目前以及未来的石油数据。在数据输入方面,存储中心要能满足全省数据输入流量的要求。同时要具备有高效的海量数据查找功能。此外,要具备有相应的系统监控功能,能够监控系统的实时IO,实时网络负载,实时资源使用率等等,为管理人员提供便捷的监控功能;在安全方面,也要有相应的措施防止数据泄露;在系统管理上,要有配套的管理功能如节点新增、存储扩容、节点迁移等。为了解决以上问题,本文基于Hadoop分布式平台搭建了一个石油大数据平台,用来存储、管理、查询石油大数据。在解决海量数据的存储问题上面使用基于HDFS的分布式存储系统,具备有多副本和动态扩容的能力;在数据输入方面,使用基于Kafka的分布式消息队列保证数据的安全性和高效性;在数据查询方面,通过应用Hbase数据库,达到对海量数据的高效查询;在监控功能、管理功能和安全功能使用基于CM的管理平台对大数据存储中心进行统一管理。最终对实现的石油大数据平台进行测试。系统可以到达每秒4万条数据的输入性能,远远超过了实际的高峰流量。在仅仅使用了四台服务器的情况下能够存储80亿条数据,每条数据1kb。在大数据存储方面也完全没有问题。在查询测试中,我们分别在数据量为30和80亿条数据时进行实验,结果显示查询效率十分高效,延时保证在可以接受的范围内。此外还对各式监控功能、管理功能、安全功能进行测试,全部运转正常。
其他文献
栾川县位于豫西腹地深山区,境内山岭纵横,层峦叠嶂,地势险峻,不稳定斜坡发育,地形地貌条件复杂;岩石地层复杂多样,节理发育,风化破碎强烈,松散坡积层厚度大。县境内矿业开采
冲突话语是日常交际生活中普遍而又复杂的语言现象。本文通过收集日常生活中情侣间冲突性话语为语料,运用维索尔伦的顺应理论,探讨情侣间冲突性话语形成的原因,情侣冲突话语
当前,我国经济已由高速增长阶段转向高质量发展阶段。2016年以来,化肥行业新增产能持续增加、行业市场低迷,行业整体陷入困境中。DQ化肥厂生产装置固定、科技创新能力不足、产品结构单一,要想保持企业竞争力,必须从加强人力资源管理方面入手,将人员冗余、工作能力不足的劣势转化为人尽其才的人才发展优势,提高基层员工培训工作管理水平是促进人力资源潜力开发的有效方法。本文以DQ化肥厂基层员工培训管理作为研究对象
合作市地处青藏高原东南端,甘、青、川三省交界处,是全州政治、经济、文化、科技中心。历史上是藏汉交流,东进西出、南来北往的商贸集散地,动物及动物产品流通频繁,发生重大
重叠延伸PCR(gene splicing by overlap extension PCR,简称SOE PCR)是一种采用具有互补末端的引物,使PCR产物形成重叠链,从而在随后的扩增反应中通过重叠链的延伸,将不同来
陕北,位于黄土高原,是华夏文化的发祥地。几千年来,广大劳动人民在这块土地上创造了灿烂的文化艺术。陕北民间艺术有着悠久的历史和深厚的群众基础。在陕北安塞县境内的四条
双边匹配理论以市场资源优化配置为研究目标,重点关注参与主体相互间发生匹配关系时如何兼顾效率与公平,实现最优且稳定配对。Gale和Shapley针对婚姻市场设计的递延接受算法
20世纪60年代,美国经济学家波尔丁提出"宇宙飞船理论"。波尔丁对传统工业经济"资源- 产品-排放"的"开环"模式提出了批评。几乎同时,美国生物学家卡逊出版《寂静的春天》一书,
为了满足消费者对防护口罩舒适性与贴合度的要求,以人体工效学为基础,利用统计分析方法,结合立体裁剪与服装结构原理,分析了影响口罩贴合度的关键因子。通过分析发现颧骨间距
:本文通过分析企业文化建设与企业档案信息资源的关系,提出了将数字档案专题数据库建设作为挖掘档案信息资源文化价值的方法。并通过研究,阐明其背景、意义、关系,进而构建其