基于Hadoop生态圈的工业数据平台设计与研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:chengyingying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今,“得数据者得天下”已经成为全球共识,数据不再是社会生产的“副产物”,它变成了生产资料、可被多次加工的原料,并从中挖掘出更大价值。可以预言,未来企业的核心竞争力的基础就是该公司数据的积累、处理与变现能力。然而,作为实体经济的“掌上明珠”的制造业,正成为大数据融合的主战场,随着产业结构的持续升级,以及软件、网络、装备等各交叉领域间技术跨界融合,都为工业大数据在制造业的发展提供了一定的技术基础。本文提出一种基于Hadoop生态圈的工业数据平台设计方案,并进行分析研究;探讨了HDFS分布式文件系统、Spark计算框架、列式数据库、可视化应用的信息化工业数据平台搭建全过程多个关键技术点。剖析了所运用到的Hadoop生态圈组件的详细运行机制,并针对Hadoop实际数据存储场景的不足补充关于列式设计与大规模并行处理的关系型数据库优化策略;本文从实际项目中总结平台需求,梳理平台整体的客户要求,然后从技术角度上描述了该平台所需要的技术功能模块,进而以运维人员和使用客户的角度,以及从稳定性、人际交互等要素对平台进行了非功能性需求分析,最终明确了平台最终规模、预期效果。本文以前沿技术理论为依托,结合先进的软件框架工具,研究了平台架构设计,通过市场营销、人力资源、生产制造、数据库备份多种应用模块的搭建以及测试,验证了整体技术的可行性,同时保证了平台的可靠性和可扩展性。
其他文献
由于朝鲜半岛独特的地缘政治环境,美国一直把朝鲜半岛视为其全球战略的重要组成部分。从某种意义上来说,美国同时与朝鲜半岛南北双方发展关系既符合美国自身的根本利益也符合美国在该地区的战略利益。美国的战略利益从时间上既包括短期利益又包括长期利益,短期利益是停止朝鲜的核导项目、核武扩散及其他威胁性活动,长期利益是阻止朝鲜半岛出现对美国不利的形势,使得半岛统一后美国在半岛丧失立足点,进而损害其对亚洲的领导地位
按学界的代际划分,张学东属于“70后”作家这一群体,“70后”作家是“处于历史、文化和社会夹缝中的一代尴尬群体”,他们有着先天的不足,可是“对于历史、文化、社会和代际冲
"服务型政府"是当下社会对中国政府的角色期望,与之相适应,公务员的社会角色定位为社会公仆。解决当前公务员队伍社会角色履行中存在的官本位思想严重、能力评价不准确等问题,
目前,城市的快速发展导致大量农用地变为城市建设用地,引发一系列的社会冲突。不仅阻碍了城乡经济的统筹发展,更是对政府能力、政策实施与社会稳定造成不可估计的负面影响,其中失地农民的问题是焦点所在,解决失地农民问题的关键在于改善农民失地之后的福利状况,即提高福利水平与缩小个体间福利差距。本研究以天津西青区、东丽区、武清区与静海区共432户失地农民为研究对象,根据Sen的可行能力框架与Roemer的机会平
少儿图书馆作为公益性文化教育机构和社会公共文化服务阵地,是儿童课外阅读和学习的主要场所,对学校教育起着补充、延伸和深化的作用。图书馆应积极响应儿童优先服务倡议,积
Rb CPT maser原子钟是基于近年来国际上关于相干布居囚禁(Coherent Population Trapping)的研究进展,提出的一种新概念原子钟,它具有结构简单,体积小,频率稳定度高等特点,被
目的:探讨脾脏硬化性血管瘤样结节性转化(sclerosing angiomatoid nodular transformation,SANT)的临床病理特点、诊断及鉴别诊断。方法:通过光镜观察及免疫组化染色,分析并
颜面不对称畸形是正畸临床上一种复杂的错颌畸形,严重影响患者的面部美观与心理健康。临床多表现为上下牙齿中线不调,伴有个别前牙反牙合,个别后牙或多数后牙的锁牙合,牙弓狭
脾脏硬化性血管瘤样结节性转化(sclerosing angiomatoid nodular transformation,SANT)是一种非常少见的脾脏反应性血管瘤样增生性病变。现结合我院诊治的3例脾脏硬化性血管