论文部分内容阅读
近年来,随着通讯行业数据量的急剧膨胀,通讯运营商越来越重视数据的价值,对大数据技术的要求越来越高。很多公司都开始利用其资源优势,挖掘数据价值,开拓属于自己的核心业务。因为通讯业务种类繁多,系统繁杂,从而大数据平台的运维成本也日渐提高。由此可见一个高性能的,安全可拓展的,便于管理的大数据管理系统的运用将有助企业免受繁琐的系统运维之苦,特别是在通讯业务系统中,能够助力企业专注于自身业务的开发。本文首先对已有的数据管理系统进行调研,分析其优点和短板。针对其不太轻量,数据迁移的时效性不足,数据分析不够创新等问题,设计出一款比较高效的、方便易用的大数据管理平台。首先对大数据管理系统进行设计,根据大数据处理的流程,依托于通讯大数据平台架构,设计了接口采集、程序调度、数据聚合、平台告警、营销分析、可视化六个模块。管理系统主要在于数据的接入和数据的挖掘分析,所以本文的主要模块是程序调度、数据聚合和营销分析模块,而其他模块是基于企业原有的大数据管理系统做了少量改进。本文主要围绕程序调度、数据聚合存储和营销分析模块这三个模块做了相关研究工作。因为大数据平台对于数据的处理主要有生产环境和测试环境,除了生产环境的大数据集群,本文基于云计算容器技术创建业务测试环境,包括搭建相应的docker容器集群。接着设计并搭建了相应的调度模块架构流程,设计了相应的调度规则和相关调度信息字段表,并改进了数据聚合存储。程序调度模块设计得更加轻量化便于使用,数据迁移模块使数据迁移的时效性增加。在系统的营销分析模块中,我们在传统的通讯数据仓库的基础上进行TopN产品实时销量推荐,用大数据flink构建实时数据仓库业务应用情景进行销量分析,用深度学习DNN预测算法进行客户业务数据预测。并且利用相关通讯实验数据,对相应模块进行实验和测试,一系列测试验证了管理系统的有效性。