新闻业务中大数据监控系统的研究与实现

来源 :北京化工大学 | 被引量 : 1次 | 上传用户:hzxy05jsjb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新闻业务中每天产生海量数据,例如页面访问量、用户访问量、数据存储量等。大数据平台每天处理着这些数据以支撑相关部门的研究与决策,同时大数据平台也需要相应的监控系统保证数据服务的安全与稳定。公司自主研发的大数据监控系统是大数据平台的子系统,同时也是一套完整独立的软件系统。大数据监控系统负责数据监控和其他监控任务。系统采用SpringBoot框架开发,同时部署了 Python和Shell语言开发的脚本,这些脚本通过系统定制API接口完成数据交互,实现所需的监控功能。文章首先对国内外的研究现状和整体项目进行叙述,然后参照新闻业务的监控需求,将系统划分为权限设置、数据监控管理、监控项可视化、进程监控、报警设计和时间序列预测六个功能模块。在系统的设计与实现中,针对每个模块的具体功能,结合采用的技术,分别进行设计与实现,并通过测试验证了每个模块的可用性。在时间序列预测模块中,根据系统中时间序列特点和时间序列预测准确性和实时性需求,采用Holt-Winters算法建立预测模型。为了提升预测模型准确性,提出使用L-BFGS算法将求解平滑系数问题转化为非约束化优化问题,同时采用将动态平滑系数代替传统的静态平滑系数的方法改进预测模型。最后分别从定性和定量的角度,通过实验验证这种改进方法有效地提升了 Holt-Winters预测模型的准确性,满足大数据监控系统对时间序列预测的要求。
其他文献
柑橘木虱Diaphorina citri Kuwayama是严重威胁柑橘产业的世界性害虫,其通过取食造成柑橘嫩梢萎蔫,传播柑橘黄龙病,造成柑橘园大面积减产,从而影响柑橘产业的健康发展。目前,
随着能源短缺和环境污染问题的日益加剧,发展新能源汽车能够起到改善环境和能源结构的作用。纯电动汽车在行驶过程中零排放、结构简单、噪音小,而分布式驱动电动汽车除了具有
在网络舆情的传播过程中,舆情主题反映了舆情内容的变化情况,以主题为研究单元来研究网络舆情演化能深入揭示其演化规律。本文以微博为实验平台,根据网络舆情演化、主题发现
柑橘黄龙病是柑橘的毁灭性病害,严重威胁世界范围内柑橘产业的健康发展。亚洲柑橘木虱Diaphorina citri Kuwayama(简称柑橘木虱)是柑橘黄龙病菌的主要传播媒介。因此,为有效阻
NUMA(Non-Uniform Memory Access,非一致性内存访问)架构的出现和普及克服了SMP(Symmetric Multi-Processor,对称多处理器)架构在扩展性方面的局限性,使得单台机器上能够容纳更多的计算核心,同时NUMA架构中物理内存的分布式设计也使得访存操作具有非一致性时延的特征。一方面,更多的计算核心使得共享内存的高并发应用能够生成更多的线程并将其分布到所有的核
在过去的十年中,智能材料(例如压压材料(PZT))的使用为结构健康动动提供了新的可能性,并加速了结构识别和结构健康动动(SHM)的发展。使用自感应压压阻抗传感器的机压阻抗(EMI
随着我国城市化的快速发展,高层次,高密度建筑的集聚引发了了城市化的弊端,如环境质量降低,热岛效应严重,低空污染加剧等。它阻碍了城市的人居环境建设和可持续发展,降低了城
土壤是现代工程中经常遇到的材料。在自然环境中,当温度在冻结点附近变化时,土壤可能会冻结和融化。由于多种原因,即使在低于土壤冻结点的温度下,土壤中仍含有未冻水。由于冻
粗粒度可重构处理器(Coarse-Grained Reconfigurable Architecture,CGRA)已被证明是处理计算密集型应用的理想平台,但现有的应用映射算法通常只能解决单层循环和最内层循环体
航空发动机模型是研发先进航空动力装置的重要工具,模型精度决定着所建模型的适用范围,是评价模型价值的重要指标。由于各部件的安装和制造工艺水平、部件性能退化以及复杂交