论文部分内容阅读
山东能源淄矿集团正通煤业是国内一流的大型现代化煤矿企业,该企业在高家堡矿井建设的过程中已经逐步建立起了工业视频系统、人员定位系统、地理空间管理信息系统等生产监控相关的信息化系统,但是在实际生产过程中各环节各系统之间信息数据不共享、不连通,造成了各系统独立运行、无法与其他系统联动、不能很好的支持生产决策等问题。本文结合正通煤业实际应用需求,设计开发了正通工业视频大数据管理分析平台,主要完成了总体结构设计、网络架构设计、功能架构设计、工作流程设计、数据仓库架构设计、关系型数据库设计、类结构设计等;实现了数据资源管理模块、实时视频全方位展示模块、避险逃生路线管理模块、历史异常视频管理模块、数据建模分析模块等功能,使正通煤业工作人员可以对工业大数据进行有效管理,解决了对工业大数据管理与分析传统过程繁琐、耗时费力的问题。本文的主要工作包括以下如下四个方面:首先,针对正通煤业企业的数据来源,开发了平台通过数据仓库技术对数据进一步地存储,采集企业系统日志文件、RDBMS数据、HTTP抽取数据、本地上传的文件等数据,实现数据资源的实时有效的管理,以及科学合理的存储;其次,提出了数据的治理方法,依托Hadoop、RDBMS、磁盘阵列提取等技术,将正通煤业企业生产过程中的结构化数据和非结构数据高效稳定快速的进行管理,大大降低了硬件成本,解决了正通煤业企业应急救援部门的工业监控视频“存不下”、“找不到”这两大核心问题,方便、快捷的调出园区监控视频,为矿井安全检测提供第一手视频信息。再次,分析了正通企业数据分析部门员工工作时的实际需求和业务工作流,创新的实现了通过简单拖拉拽操作来调用Spark、R算法包中例如贝叶斯算法、决策树算法、Kmeans等算法进行数据建模分析,高性能服务器集群计算后返回分析结果与PMML模型,赋能正通煤业企业对事关煤矿安全生产的各类数据进行深入挖掘和分析处理,创造更大的价值。最后,通过对监控摄像头的充分应用,解决了监控系统与其他系统之间数据共享问题,实现了工业视频的实时播放、异常事件视频数据分析与采集,包含与人员定位系统、地理空间管理信息系统、应急管理系统等结构化数据的关联信息,开发了在GIS地图上生成避险逃生路线同时播放沿途实时视频以及历史异常视频的提取等核心创新应用,进一步的加速了正通煤业企业应急救援部门的救援速度,提高了井下矿作业时的安全保障水平。