基于Hadoop的海量城市交通流数据分布式存储与分析研究

来源 :扬州大学 | 被引量 : 0次 | 上传用户:zhenming1215
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能交通基础建设的快速发展,城镇居民收入水平逐步提高,城市汽车拥有量大幅度增加。遍布每个城市道路的感应线圈、卡口断面系统,能够及时地采集、记录、汇总并上传监控数据。但是由于城市道路交通流存在着数据量大、实时性高等特点,传统的数据存储与处理技术存在着数据结构与数据存储容量无法灵活扩展、分布式并行数据挖掘难、高容错恢复能力差等问题。如何将海量的交通流数据实时地上传、汇总和存储利用,以及如何对数据进行统计挖掘成为一个较大的难题。以Hadoop为代表的大数据技术成为解决这一系列问题的有效手段之一。基于现阶段城市交通发展带来的数据存储与分析等突出问题,本文通过对基于Hadoop的MapReduce、HBase等大数据技术的研究,提出了相应的解决方案,其主要研究工作和成果如下:(1)本文提出了基于Hadoop的交通流数据存储与分析总体架构。将架构分为5个层面:数据采集层、硬件平台层、数据存储与计算层、挖掘分析层和应用服务层,同时研究与设计了节点在故障或宕机情况下,Hadoop集群具有高容错恢复能力的可用性方案。(2)本文提出了基于HBase的海量交通流数据分布式存储方案。根据交通流数据特点与处理应用需求,设计了可解决“热点”问题的交通流数据表行健结构。同时研究了HBase的协处理器,设计了用于针对列查询的快速数据检索的二级索引表。(3)本文还根据交通车流量与密度的关系,设计了流量与密度计算模型,提出了基于MapReduce的流量密度计算的并行化实现,解决了海量交通流数据情况下的流量、密度快速计算难题。同时,采用K近邻非参数回归算法来预测短时交通流,通过对K近邻状态向量、距离度量方式、近邻个数以及预测算法的选择及研究,提出了基于MapReduce的KNN预测短时交通流的并行化实现,加快K最近邻算法的搜索速度,实现对短时交通流的定时预测。(4)最后,根据总体架构应用层需求,基于Hadoop平台,构建并实现了城市道路交通流数据分析系统。本文对系统进行了详细的功能模块设计,并实现了对交通流量进行实时监测、海量数据分析的图形化展示等功能。
其他文献
加强实验动物伦理学教育是培养医学生良好伦理素养的重要途径,有利于培养医学生严谨的科学态度,也是确保实验教学正常进行的需要。在医学院校实验教学过程中,应遵守动物实验
量子点是一种具有卓越荧光性能的新型纳米材料,在生物医学领域具有广泛的应用前景,故其生物安全性引起了人们的广泛关注.本文阐述了镉系量子点的细胞毒性机制的相关研究进展,
随着DNA重组疫苗、合成肽疫苗等新型疫苗不断涌现,免疫佐剂研究越来越受到人们的关注.近年来佐剂的发展迅猛,多种新型佐剂层出不穷,人们对佐剂的作用机理亦有更深入的认识.本
针对工业几何量在快速、精密测量的需求,设计线阵CCD(TCD1501D)驱动模块,并建立了相应的测量实验系统进行应用研究,主要工作:1,通过大量的文献调研与学习,掌握了线阵CCD的工
导论。“文官”是一个法律概念,不同于传统意义上的“官”的概念。文官最早产生于英国,是近代资本主义的发展和政党政治的产物。在欧洲大陆,文官与“公务员”有同等法律意义
为识别现行环境影响评价制度存在的问题,梳理了我国建设项目环境影响评价管理制度体系,分析了现行环评管理制度不尽完善的方面,主要包括:责任不对称、受技术导则与规范制约、
投资体制改革后项目核准备案与环评审批衔接过程中存在诸多问题,拟从政策、法律、部门配合等层面提出对策和建议。
现有记忆网络模型中的上下文词之间相互独立,未考虑词序信息对微博情感的影响.因此文中提出基于卷积记忆网络的视角级微博情感分类方法,利用记忆网络可以有效对查询词与文本
随着石油石化行业技术进步,越来越多的新技术设备被投入到生产和运行中,此类设备往往具有技术新、标准不统一、价格较高等特点,可借鉴的招标采购经验较少。本文通过对笔者组
合理构建法语课堂以教授学生法语语言知识和培养法语语言技能为基础,以培养学生的法语交际能力为最终目的 。从转变教学理念,采用先进的教学方法和模式入手,探讨和分析了如何