分布式复杂事件处理关键技术研究

被引量 : 0次 | 上传用户:chm200630990203
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,互联网中产生的数据大幅增加,如何处理这些数据,挖掘出数据中蕴涵的信息,成为计算机领域关注的重点。传统的数据挖掘方法是先将这些数据存储到数据库之中,再对其进行处理,但是这些数据中只有小部分是我们感兴趣的,全部存储起来代价很大,而且在很多领域,比如证券市场,电力设备的检测,对数据处理的实时性要求很高,传统的数据挖掘及数据库的处理方法,无法满足这些数据处理的实时性,为了能够实时地从源源不断的海量数据中提取出感兴趣及更高层次的信息,出现了复杂事件处理系统,用户预先在系统中定义需要检测的复杂事件模式,复杂事件处理系统实时对数据流进行检测,当检测到用户自定义的复杂事件模式的时候,通知用户或者做出响应。目前已经存在着很多复杂事件处理系统,各个系统适用于不同的场景之中,也针对不同问题进行了改进,但这些系统普遍采用集中式的架构,随着目前事件产生的速率不断增加,事件的复杂度不断的增加,传统的运行在单节点上的复杂事件处理系统的处理能力已经遇到了瓶颈。针对上述问题,在本文中,我们设计实现了一个分布式的复杂事件处理系统,该系统通过查询重写方法和分布式处理,提高复杂事件处理系统的处理能力,本文的贡献主要包括以下几个方面:(1)一种新的事件模型和事件模式语言,其更适用于查询重写和分布式实现。(2)对基于有向图的复杂事件模式检测方法进行改进,并提出一种查询重写算法,使得复杂事件模式查询更加高效。(3)设计分布式复杂事件处理框架,并使用分布式流处理框架Storm对其进行实现,极大的提高复杂事件处理系统的处理能力。(4)通过实验验证算法和系统的有效性和高效性。
其他文献
产业结构优化升级是一个经济系统动态演变的过程。从投入产出角度出发,以经济增长最大化和充分就业为主要目标设计产业结构优化升级模型的目标函数,从高度化、合理化两方面设
核桃青皮主要含有挥发油、脂肪酸、核桃多糖、胡桃醌及其衍生物等化学成分。核桃青皮是一种有毒物质,随意丢弃会对环境造成很大危害。文章简述了核桃青皮在医药、农药、色素
文章以某基建集团为例,分析国内疏浚业面临的严峻挑战和业务转型机遇,指出转型业务的领军人才招聘难、高端人才留住难等几大问题,建设性提出构建转型业务人才的胜任力素质模
秸秆气化技术的应用对于提高农民生活质量、改善生态环境、减少化石能源消耗有着十分重要的意义。通过对户用秸秆气化炉和半气化炉的使用调查和试验,研究和分析了其安全性、
王安石形象在《宋史》与邓广铭笔下是截然不同的。在邓广铭笔下,王安石是一个少年胸怀远大抱负,入仕后学以致用,为改变北宋积贫积弱局面,造福于民而勇于与大地主阶级斗争之人
<正>临床实验表明,医院室内不同色彩设计对于患者的行为心理和生理治疗都会起到一定的作用。所以医院候诊空间使用不同的色彩可作为一种辅助康复手段来配合治疗,可利用其多种
20世纪 70年代以来 ,当代资本主义发展出现了一些令人注目的新变化 ,其中具有代表性和全局性的有经济全球化 ,新科技革命和第三条道路。这三大变化不仅对当代资本主义的历史
《德伯家的苔丝》(以下简称《德》)是英国著名诗人和小说家托马斯·哈代的代表作之一,小说主人公苔丝因其纯洁美丽的形象和悲剧命运被广大读者铭记,而作品内在的审美意蕴更拥
当前,随着微博、论坛、博客等新型互联网媒体形式出现,预示着我国已进入高度媒体化的传媒时代,"微时代"和公民社会的来临,各种意愿、情绪通过新媒体被释放、宣泄,然而就是这
交互式电子手册(IETM)是当前装备信息化领域研究的热点。本文以某型后勤指挥装备操作维护的要求为例,介绍了IETM的主要标准和规范、分类和技术特点,并综合运用XML技术和数据