【摘 要】
:
大数据和云计算技术的迅速发展,为海量数据的存储和查询在关系数据库外提供了新的解决思路。面对海量数据的处理,传统的关系数据库由于其处理能力和扩展性不足限制了其使用。
论文部分内容阅读
大数据和云计算技术的迅速发展,为海量数据的存储和查询在关系数据库外提供了新的解决思路。面对海量数据的处理,传统的关系数据库由于其处理能力和扩展性不足限制了其使用。在智能交通领域,各种监测数据已呈现海量增长的趋势,使用传统的关系数据库在处理海量交通数据时,暴露了许多问题,比如高速实时数据流的写入性能不足,以及在千万级甚至数十亿级别的数据规模上的查询效率低下等一些问题。作为目前大数据处理技术事实上的标准,Hadoop/MapReduce技术被各大公司用来处理各种各样的大数据相关业务需求场景。而HBase作为Hadoop之上的分布式数据库,在处理海量数据时有先天优势,底层既有HDFS作为其存储层,又有MapReduce计算框架为其提供高效的并行化计算能力,具有高可靠可高可用等特征。为解决智能交通应用中交通流数据在基于传统关系型数据库系统处理时遇到的性能瓶颈,本文采用HBase作为交通流数据的存储引擎,并在此基础上对其存储和查询问题进行研究。主要研究工作如下:1.首先对本文使用到的相关技术进行深入学习和分析,重点对HBase的架构,数据模型和其轻量级协处理器计算框架进行了深入研究,并在其数据模型基础上设计以HBase复合行键为中心的交通流数据存储模型。2.提出了基于HBase的实时交通流存储系统,通过对多源交通流数据的存储进行分层架构设计,由前端存储预处理层,数据缓冲区,以及写入模块组成整个实时存储系统,通过多层协作,数据缓存,并设计优化的复合行键,提高了交通流数据的实时写入能力。3.结合实际的业务需求,通过对非行键数据建立辅助索引,提高了非行键上数据的查询效率,并引入SQL解析模块,通过对SQL语句进行优化解析,由相应的执行引擎执行查询操作,方便进行查询的同时也能提高查询效率。4.最后对整个系统进行实验验证,通过相关实验分析及对比,本文的实时存储方案及辅助索引和SQL解析模块能满足实际需要。
其他文献
当前世界经济增长较为缓慢,欧洲国家经济发展受欧债危机影响持续走低,美国至今未能完全走出次贷危机阴影,新兴经济体和发展中国家的高速增长明显放缓,世界经济总体呈现“弱增
柱塞泵是典型的往复机械。为了掌握往复式柱塞泵的工作状态,测取3S175系列柱塞泵正常工况和一些故障工况下液力端的振动信号,对其进行局域波时频处理后,得到了有价值的检测部
在互联网快速发展、广泛普及的时代下,非结构化数据(文本、图片、图像、视频等)呈爆炸式增长,人们花费在信息筛选的时间也越来越多,如何从大量的数据中挖掘出潜在有用的信息成为了学者们研究的热点。在这种情况下,本文关注文本数据的挖掘,利用聚类算法对文本数据进行组织、归类,发现有用的信息,减少人工整理文档的工作量,具有广泛的应用场景和深远的研究意义。本文聚焦于文本聚类应用,分析传统聚类算法的一些优势和不足,
试验旨在研究菜粕型日粮中添加植酸酶和木聚糖酶对肉鸡生长性能,小肠氨基酸、矿物质元素表观消化率的影响。选取健康、体重一致的1 d雌性AA商品代肉仔鸡480只,采用完全随机设
互联网在人们的工作生活中占有越来越重要的地位,网站,微博,论坛,QQ,电子邮件等网络应用成为人们重要的沟通方式和信息获取来源。多种服务模式共存,互联网已演化成为一个虚拟
1 临床资料患者,女,38岁,已婚,系广东深圳人,因“全身起红斑、鳞屑1月余”于2016年9月12日入院。患者自诉于一月前无明显诱因四肢起多个粟粒大小的淡红色的丘疹,上覆少许银白
大数据时代到来了,所有企业每天的信息储存量以ZB统计,越来越多的企业倾向于多层次的数据管理系统,将大量的数据转移到专业的数据管理平台,能够存储、计算和管理大规模数据的
铜在现代社会生产生活中扮演着重要角色,但目前对中国铜工业的监测预警却鲜有研究。对铜工业应用适合中国国情的指标体系和计量方法开展景气指数及预警系统研究,科学合理地反
电子地图服务是利用网络或手机功能和电子地图技术而开发的地图服务。随着电子地图的发展以及精确定位技术的日渐成熟,Google、百度、高德等互联网公司将工作重心放在了室内
为了应对越来越大的数据量和日益严重的网络安全问题,达到容灾容错的目的,数据备份技术显得日益重要。传统的数据备份主要通过单一存储介质实现,这种实现方法简单廉价,但是安