论文部分内容阅读
基于大数据的行业数据分析平台是面向某部委,需要汇总某些行业企业的经济运行数据,为决策者提供标准清晰,内容精确的数据服务平台,方便有关政府管理部门来制定经济政策或者管理决策。数据内容涵盖企业、法人、财务等信息,通过汇总分析上述信息提供可视化的数据服务。本论文的重点是分析我国行业数据分析的发展现状和存在的主要问题,将之前海量的人工填报或者分散在各个系统中的数据汇总、校对、整理成为标准规范的数据。通过企业的基本信息将各个企业进行分类,实现企业数据的可视化分析和挖掘,并从中提取出来决策者迫切需要的关键数据。针对决策者的需求分析,建立相应的策略措施,提升数据服务质量。该系统的建成是对现有的行业数据分析系统提供了一个有益的补充与完善。系统主要分为六个模块,分别是制度管理、数据采集、数据审核、数据汇总、进度监测和数据预测模块。其中制度管理包含对制度的添加、修改、删除和导出等功能。数据采集包含任务查询、填报任务和填报过程中用到的相关功能。数据审核功能包含对已上报数据的经济单位进行查询、查询审核的数据和对数据进行审核。数据汇总包含自定义汇总表的查询、添加汇总表单、设计汇总表单、汇总统计计算数据。进度监测模块包含对现有任务进行查看、显示省市完成情况分布图、全国省市前十名完成情况、全国省市后十名完成情况等信息。数据预测模块可以用于根据选择的指标进行预测其未来的值,数据预测采用的是ARIMA模型,能够获得较好地预测数据。本系统的实现采用B/S架构,开发框架采用Spring Boot,开发语言选用JAVA,采用的JDK版本为1.8.0181,开发工具为eclipse,中间件采用Tomcat,数据仓库采用Hive（2.3.4）和数据库为HBase（0.98.13）。在开发项目过程中,本人主要负责了行业数据分析平台的需求调研、根据业务需求建立指标体系,安装银河麒麟操作系统、搭建Hadoop集群、安装ZooKeeper组件、HBase数据库、达梦数据库,主要负责数据采集、数据汇总、数据预测模块的设计和编写,参与制度管理、数据审核和进度监测模块的设计。最后,编写相应的测试用例对系统进行功能性测试和非功能性测试,并编写相应的安装部署手册。目前行业数据分析平台已经投入使用,统计行业数据准确,能够极大的提高数据采集的工作效率,用户反馈良好。