面向数据流的通用实时监控平台的研究与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:czmallen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息的价值随着时间的流逝而降低,及时捕获关键信息并做出响应才能先发制人。实时监控是一个非常有挑战性的课题。实时监控应用要求系统在最短的时间做出响应,能处理海量数据,能快速的应对用户不断变化的业务需求并提供不间断的服务。根据实时监控场景下接入应用和业务人员的需求,本文设计并实现了一个高实时性、高可靠、可扩展、可定制、面向数据流的通用实时监控平台。本文抽象了信息模型来描述通用的监控场景,包括主题、监控项、数据源、请求和风险;用户可以根据自己的业务创建对应的数据实体并轻松的接入到实时监控平台;本文通过一个金融风险监控应用进一步说明了如何在这个平台搭建自己的应用。其次,本文设计了一个实时数据流处理引擎,定义了一个SQL风格的流处理语言,实现了在数据流上做支持滑动时间窗口的查询和常用的集聚表达式,提供了API与其他软件集成,并设计了持久化和故障恢复的模块。最后,本文分析了软件系统中普遍存在的数据一致性问题,并讨论了如何在性能和一致性之间作权衡。针对实时监控平台提出了衡量系统数据一致性的方法,并量化地分析了数据一致性和系统吞吐率、延时之间的关系;实时监控平台的用户可以根据自身业务对数据一致性和性能的需求做出合理的配置。
其他文献
伴随着大数据时代和移动互联网时代的来临,人们之间的交流更加频繁,关系更加紧密,信息匮乏的时代一去不返,信息过载的时代接踵而来。电子商务网站出现"井喷式爆发",人们的购
由于云计算广为接受,越来越多的传统应用转移到云环境中。云服务系统是部署在云中,按照云计算软件即服务的思想对外提供业务服务的大规模在线应用,如阿里巴巴交易网站淘宝网
在过去的几十年间,人脸识别作为人工智能领域中的重要研究课题,得到了广泛的关注和研究。本文研究单样本人脸识别问题,从“构造虚拟样本”入手,针对姿态、光照和表情等可变因素而
信息安全在当前的社会生活中成为人们越来越关心问题,而保证信息安全的核心——加解密技术无疑是当前信息安全领域的研究热点。如何高效快速地实现当前广泛应用的RSA加解密算
生物识别技术能够通过人类身体本身具有的一些生理特性验证身份,具有更好的安全性和便捷性。基于手指的生物特征(例如手指静脉识别、指背纹理识别、指节纹识别等)已受到越来
随着计算机技术的不断发展,出现了大量的海量数据。为了降低处理海量数据所消耗的时间和存储海量数据需要的空间,对海量数据进行数据分析前,需要先对其进行数据约简。数据约简效
随着互联网技术的发展,互联网与我们的日常生活联系的越来越密切。特别是在以音视频为主的多媒体应用中,由于该应用包含的数据量较大,因此在通过网络传输时就需要较大的网络带宽
自因特网流行以来,网络数据数量以前所未有的速度增长着,传统的存储模式已经无法跟上数据增长的脚步。而基于网络存储的云存储(Cloud Storage)是解决数据存储问题的主力军。其
随着片上多核CMP(Chip Multi Processor)成为主流微处理器技术,微处理器已经进入多核时代。通过多核技术提高处理能力、降低消耗已成为微处理器的必然选择。该技术面临的另一挑
随着现代工业的不断发展,企业间的竞争越来越多的体现在产品支撑服务方面,随着产品工艺越来越现代化,第三利润源泉越来越受到企业的重视。历史经验告诉我们,企业活动是竞争与