基于Hadoop的车辆轨迹数据预处理

来源 :工业技术创新 | 被引量 : 0次 | 上传用户:license63
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了更有效地挖掘车辆轨迹数据,准确应用数据,为智慧交通服务,提出一种基于Hadoop的车辆轨迹数据分析和预处理方法.针对现有车载终端设备存在不规则数据较多、计算量较大、无法准确计算距离等问题,提出设计方案:采用Hadoop分布式文件系统(HDFS),实现小文件合并,提高运行效率;通过MapReduce并行计算和Hive数据仓库实现无效数据、时间错误数据、车速零点漂移数据、车速变化超出阈值数据,以及经纬度异常数据的清洗;根据轨迹点加速度、速度以及车辆状态等参数,预先判断轨迹点的可能位置,实现轨迹纠偏.对某车辆9天内的244383条数据进行预处理测试,结果表明:14.97%的不规则数据得以清洗.将轨迹数据以可视化的形式展现在地图上,实现车辆在道路上的行驶纠偏功能,大大提高了轨迹数据的可用性.
其他文献
文章在梳理文献资料基础上,分析了当前我国农村电商扶贫所面临的难题,同时以国家贫困县方山县电商扶贫的基本实践为例,探讨了相应的解决对策与具体实施方法.
龙头企业对产业具有带动生产、提供服务、深化加工、开拓市场、完善产业链等综合功能;加快培育农林龙头企业有利于优化贺州市农林产业结构,对全面对接融入粤港澳大湾区具有重
如何巩固脱贫攻坚的成果是目前乡村振兴的重点,贫困地区脱贫后享受精准高效的政策延续,达到不返贫和可持续发展是实施乡村振兴的关键所在.文章从经济、社会、制度等方面对福
国有企业作为我国国民经济的重要组成部分,在推动经济发展过程中发挥了重要作用,但同时自身所存在的弊端也在逐渐暴露。例如,国有资本布局不合理、生产效率低下等问题成为国有企业的短板。在此背景下,国家对国有企业制订了一系列的改革措施,以期提升其竞争力。混合所有制改革的提出符合我国国有企业的实际状况,也成为提高经济质量、改善国企管理水平的重要内容,随着混合所有制改革向纵深推进,企业活力被激发,国有企业必将进一步壮大,在市场中的竞争力也会进一步提高。本文针对国企治理问题及混改路径进行了深入研究和分析,并选取具有代表性
为进一步指导各地应急管理部门深入贯彻实施刑法修正案(十一),宣传推广典型经验做法,提高安全生产执法水平,国务院安委办、应急管理部近日公布了杭州市和青岛市两起涉嫌危险
期刊
乡村旅游发展能推动乡村振兴背景下社会主义新农村建设,实现乡村文化的继承与创新,促进乡村地区产业多元化,增加大量当地农民就业机会,促进乡村地区文化、社会全面发展。通过
随着自媒体行业的快速发展,直播带货成为当下产品销售的主要形式,最为火爆的是抖音、快手这类自媒体短视频平台,通过正确的营销方式为农产品的销售创造了新的模式和渠道。农
随着我国农村建设和发展的同时也显露出一些生态环境问题。文章针对农村生态环境问题,提出了有效的生态环境治理方法,最大程度改善农村的生态环境,减少环境污染,为乡村振兴战
高价值电子装备的微波组件具有明显的规模定制特征.为了在变批量、多品种制造下实现与规模化生产相接近的质量和效率,须全面提升微波组件的柔性制造能力.分析了自动化装配/测
Head and neck squamous cell carcinoma (HNSCC) is the 6th most frequently diagnosed malignancy and accounts for about 5% of all malignancies worldwide. There is a