面向轨迹大数据存储及查询的NoSQL数据库研究

被引量 : 0次 | 上传用户:dyjianing88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着GPS(Global Positioning System)定位技术以及互联网的发展,位置数据的采集方式越来越多样化,使得轨迹数据的数据量不断增加。越来越多的基于位置服务(Location-Based Service)的平台为我们的生产生活提供丰富的服务,这些在线服务平台需要具备较高的数据存取效率,利用传统关系型地理数据库管理海量轨迹数据己不能满足实际需求。本文以船舶航行轨迹数据为研究对象,旨在提出一种使用NoSQL数据库管理大规模轨迹数据的方案,设计轨迹数据的空间索引,提高轨迹时空查询的效率。本文主要从以下三方面研究海量轨迹数据在NoSQL数据库中的存储及轨迹时空查询。(1)在数据库存储架构方面,采用Redis与LevelDB数据库结合的方式管理轨迹数据。利用Redis数据写入效率高而LevelDB读取数据快的特点,将Redis数据库作为数据的前段缓存数据库,实时接收数据并存入内存中,然后再从内存中读取数据并将数据持久化存储在LevelDB数据库中。利用这种存储方案既能满足海量轨迹数据高效存储的需求又能将数据持久化存储在磁盘中,降低数据管理成本。(2)在轨迹数据存储模型设计上,利用键值型数据库灵活的数据结构,采用有序集合形式存储轨迹数据。将数据对象对应的时间点以1h为间隔归并时段,以对象标识符(船号)及归并后的时段作为Key,Value对应存储该时段内该条船的动态信息集合,动态信息以坐标对、地面航行速度、航向、旋转速率等拼接字符串的形式表示。以Unix时间戳作为Score值,数据按照Score值进行排序。(3)在对空间索引的优化方面,采用网格索引,以有序集合存储索引信息。索引设计同时考虑轨迹数据的时空特性。以0.25°的间隔划分经纬网格,以网格左下角经纬度作为网格号,将时间点按照1h的时间间隔归并时段,Key由网格号和归并后的时段组成,Value对应这段时间内出现在该网格内的船号集合,Score值为相应的Unix时间戳。进行时空查询时,根据与查询窗口相交的网格号及查询条件中的时态信息,首先查询索引信息,得到对应的船号集合及相应的时间点信息。再以船号及时段作为查询条件,查询轨迹数据有序集合,得到船的坐标对及相应的时间点的集合,查询结果按照Score值即时间点序列化,进一步得到船舶的运行轨迹。通过与传统对象关系型地理数据库Geodatabase进行数据存储及查询效率的对比,验证了本文提出的数据存储架构能够有效提高数据存取效率,轨迹数据集合存储模型能够有效减小数据冗余,降低数据存储所需空间。包含时空信息的索引有效提高大规模轨迹数据管理及时空查询效率。
其他文献
<正>绪论一选题的缘起在中国古代社会,生产力的发展使社会分工越来越明确细致,由于男女性别体质的差异,特别是随着父权制的确立,"男主外、女主内"的思想观念在人们心中根深蒂
本文选择“德隆系”的三驾马车之一的“新疆屯河”作为研究对象,采用案例分析的方法,以研究内部资本市场功能异化对公司财务绩效的影响。因为上市公司的融资优势,新疆屯河在
目的研究具有益气解毒功效的牛黄参(牛黄、西洋参)含药血清对大鼠肝干细胞系WB-F344的增殖、凋亡及分化过程中相关细胞因子及受体表达的影响,探讨益气解毒法对肝干细胞的作用
目的:观察电针八髎穴为主早期治疗胸腰椎骨折伴脊髓损伤术后尿潴留的临床疗效。方法:选取胸腰椎骨折伴脊髓损伤术后患者62例,随机分为2组各31例。治疗组行电针八髎穴为主的辨证
在已有理论指导下,针对强放热反应CaO+H2O=Ca(OH)2+E进行生活应用方面的探究,将理论与实践进行对比,可获得对相关知识的深入理解。同时,对氧化钙与水反应放热实验装置进行设计
为确保船舶运输安全和海上交通安全,在分析海上交通风险管理中危险源识别、风险评估、预警预控、应急响应以及持续改进等相关内容的基础上,对海事安全监管人员中的管理级、操作
国民经济由多个部门构成,部门之间存在着密切的投入产出联系,而经济所受到的冲击大多数并不是同时均匀的作用于各个部门,而是首先作用于某个或某几个部门,再通过投入产出关系逐渐
论文围绕温米油田油井产水率居高不下的状况展开研究,由于该油田地层非均质性较强,注水情况混乱,井网排布无规则,导致常规电阻率测井方法响应不明确,解释结论错误较多。并且
当今中国社会有一种特殊的社会现象在到处泛滥。它悄无声息,如鬼影般侵入中国社会的各个领域、各个行业。从官场上的“跑部钱进”、“卖官鬻爵”到商场上的“钱权交易”、“权
建筑消防电气设备是属于现代建筑电气智能化系统的中的一部分,在现代建筑的运行管理中起到安全防护的作用,保证人身财产安全,及时制止灾害事故的发生。是以在消防设备的安全