基于云计算的海量时空数据存储及挖掘方法的研究和应用

被引量 : 0次 | 上传用户:baimn1990
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,越来越多的应用程序收集和存储大量时空数据在分布式数据库中,使得时空数据挖掘的需求不断增加。在公安交通管理领域,由于交通流数据急剧增加,加上其数据具有显著的时空特性,使得在处理海量的时空数据上面临着严重的挑战。针对日益增长的海量数据分析,传统的处理方法在存储空间和计算效率上已不能满足用户需求,需要有支持海量数据存储和分析的平台来适应新的需求。时空异常探测是时空数据挖掘领域中一个重要分支。本文针对传统处理方法在时空异常探测方面的局限性,设计实现了一个大数据存储及分析平台。主要研究内容和创新如下:(1)本文分析和研究云平台下Hadoop、HBase、Hive及Zookeeper的技术原理,研究了Hadoop框架的HDFS原理及MapReduce编程模型,重点研究了HBase分布式数据库的数据存储架构底层实现原理及HBase表的数据模型。在此基础上,本文构建了基于Hadoop、HBase、Hive及Zookeeper的云平台,并搭建了HBase+Hive系统扩展架构。(2)对时空异常探测方法进行了深入研究,分析研究了现有的一些时空异常模式,通过挖掘预先定义的时空异常模式得到有价值的知识。提出了基于云平台的四步骤时空异常探测方法(数据预处理、分布式异常探测方法、知识规则应用、结果验证)来挖掘预先定义的时空异常模式,使用交通数据流中的一个真实应用来验证该方法。实验表明该方法具有较高的运行效率和正确性。(3)研究了HBase行键设计,提出了基于行键的数据模型。在明确设计目标的基础上,利用行键来设计辅助索引表和副本恢复表,实现了一种基于HBase的分布式辅助索引并应用于交通流过车数据应用中。实验表明该索引机制可以高效地实现海量数据的查询。(4)结合上述的研究内容,本文设计实现了大数据存储及分析平台,包括云平台、后台程序和前台展示系统。将时空异常探测的真实应用集成到该平台中,给用户提供方便操作及结果展示。
其他文献
目的:探讨甲状腺髓样癌初治合理手术术式。方法:回顾性分析73例甲状腺髓样癌初治病例资料,研究颈淋巴结转移规律及术后复发情况。结果:多灶性甲状腺髓样癌占26.0%(19/73)。全
在既有建筑物周边进行小基坑开挖施工,新建建筑的基础稳定性和对周围建筑物基础的影响,本文从设计到施工来多方位探讨临近建筑物间的保护,在方案必选和施工准备到施工过程全
本文是一篇口译实践报告,所描述的口译任务与传统意义上的口译形式有所不同。因为受众群体为儿童,所以要顺利完成此类口译任务,译员就要接受新的挑战,充分考虑到儿童的语言发
对冯了性风湿跌打药酒制造工艺进行改造,得到共15个样品.通过急性毒性实验,筛选出6个毒性偏低的样品进行药效学比较实验,发现其中一个样品其药效与原药酒一致,但达到了省时省
国家“十二五”规划纲要明确提出了“推进京津冀、长江三角洲、珠江三角洲地区区域经济一体化发展,打造首都经济圈”,首都经济圈规划与建设正式上升到国家战略。张家口市作为“
<正> 1 冻鸡(含冻整鸡、冻分割鸡) 1991年我国冻鸡出口45889吨,创汇9624万美元,至1995年已发展到出口248573吨,创汇55655万美元,分别增长了5.4倍和5.78倍,具体来看有以下特点
镁合金在航空、汽车、电子等领域的发展和应用,使国内外对高质量镁合金的需求量急剧增加,但镁合金的低硬度、低强度、低模量、低耐磨损抗力等缺点使它的广泛应用受到了明显的限
早期中国电影的发展历程(1949年以前)是一段从无到有,从幼稚走向成熟的过程,期间汇聚了无数电影人的汗水与智慧,是普通民众、智识阶层与官方意志共同耕耘的结果。在急剧变化
发展小额信贷是缩小个人收入差距、解决区域发展不平衡和资源有限性等问题的重要手段。党的十八大报告再次强调,“加快发展现代农业,增强农业综合生产能力,确保国家粮食安全
菊花[Chrysanthemum morifolium (Ramat.) Kitamura]是世界四大切花之一,有很高的观赏价值,切花菊常用于插花或制作花束、花篮、花圈等花卉装饰素材。但切花菊采后存在失水萎