基于时空数据流聚类的城市热点动态探测方法

来源 :武汉大学 | 被引量 : 0次 | 上传用户:sue001002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
城市热点区域往往承担着交通、商业、教育等重要的城市功能,对其进行分析和提取具有理论意义和现实价值。城市热点具有时空特性,其分布和强度随着时间而不断变化,对热点区域进行动态和实时的探测有助于政府部门实时监控城市的交通和人群状况、避免踩踏等极端事件发生,也有助于市民合理规划出行方案。实现热点的动态探测不仅要求数据源保持持续更新,也要求分析算法具备增量学习的能力。时空数据流是一种由空间定位设备产生并上传的持续更新的数据源,可以为热点动态探测提供数据支持;针对数据流的聚类算法则通过对传统聚类算法的增量式改造,实现了算法模型和聚类结果的动态调整。因此利用时空数据流聚类方法来对热点进行动态和实时探测是合理的,但在实际的使用中,还需要考虑热点探测的有效性、高效性以及工程实践等关键问题。本文将数据场理论引入经典的数据流聚类当中,提出了一种新的数据流聚类算法——DF-Stream算法,并以武汉市的出租车时空数据流作为数据源进行实验,通过比较不同日期、不同时段的热点探测结果来验证算法的有效性;为了提升算法的整体性能,本文利用分布式和多线程等技术研究了DF-Stream的高性能求解方法,实现了算法的多粒度并行化;最后,本文利用分布式中间件和WEB前后端框架对算法进行了工程化实践,并选用城市交通热点和居民出行热点作为主要应用场景进行了WEB空间可视化。本文的主要研究工作如下:(1)基于数据场的时空数据流聚类算法研究数据场方法能够发现并衡量空间对象之间的相关性强弱,将它与聚类算法结合能够有效探测城市热点,但传统的聚类方法无法实现增量更新,仅能对历史数据进行分析。本文将数据场理论引入经典的数据流聚类算法D-Stream算法中,提出了DF-Stream算法,用数据场势值代替密度值,并加入了批处理机制来提升性能。在实验部分,本文利用文件数据模拟了出租车实时数据流,分别提取了节假日和工作日不同时段的热点,分析其分布和演变模式,并分析了结果的客观性和可解释性,对比了与D-Stream算法的效果差异,验证DF-Stream算法的有效性。(2)DF-Stream的多粒度并行化方法研究本文通过分布式和多线程等技术来研究DF-Stream算法的高效求解方法,设计了一种粗-细并行粒度共存的并行化方法。其中,粗粒度并行化主要通过分布式实现,研究了基于主-从分布式模式的任务分发及调度方法;细粒度并行化主要通过多线程实现,即在每个从节点内部利用多线程资源实现并行数据场计算。该方法能够充分利用集群内的硬件资源,本文通过实验的形式对加速效果进行了计算。(3)城市热点动态探测WEB系统的设计及实现本文对热点动态探测场景的工程化实现方法进行研究,以DF-Stream算法为核心,以出租车数据流作为数据源,配合前后端框架等技术设计并开发了城市热点动态探测WEB系统。对轨迹数据流的快速处理方法进行了研究,对系统的架构进行了设计,并对前后端框架、空间可视化方法、空间数据库等关键技术进行了选型,最后,以城市交通热点和居民出行热点作为主要的应用场景进行了动态可视化。
其他文献
基于GNSS的全球陆地范围内的导航与定位技术获得了长足发展,取得了厘米级定位精度,而水下导航与定位技术在国内正处于高速发展的阶段,将GNSS定位技术拓展到海洋领域势在必行。水下远距离通信有效方式为水声通信,水声通信Modem是水下通信的关键节点,设计适用于通信与定位的水声通信Modem是推广水下GNSS技术的前提和基础。本文基于上述背景和项目需求,设计了一款高速水声通信Modem原型样机,包括硬件
近年来,伴随着民间借贷市场活跃程度的不断提高,我国整体的民间借贷合同纠纷数量也在不断攀升。笔者以上海市法院判决的田某、周某与中原信托有限公司借贷合同纠纷案为例,借案例所涉及借款合同利率认定引发的纠纷,延伸至民间借贷纠纷发生的多种原因。本文基于法律经济学的视角,分别从民间借贷纠纷的法律性质、民间借贷纠纷的现状与产生原因展开研究。通过以小见大的方式,采用调查分析、规范分析与博弈论分析的研究方法,得出货
目的建立高效液相色谱法研究大鼠口服没食子酸后在体内的组织分布特征,并通过大鼠单向肠灌流实验研究没食子酸的肠吸收特征及外排转运蛋白对其的影响,同时用代谢组学方法研究没食子酸对角叉菜胶致足趾肿胀大鼠的抗炎作用机制,为提高没食子酸口服制剂的生物利用度及进一步的临床应用提供理论基础。方法(1)正常大鼠按50 mg·kg-1灌胃给予没食子酸后取各组织,采用沉淀蛋白法预处理生物组织样品,色谱柱:Fortis-
目前,重金属污染已成为全世界最为严峻的环境问题之一。环境中的重金属元素含量超标不仅会给人类健康带来巨大威胁,而且会影响整个生态系统的良性循环。因此,对于各类环境样品实施有效的监测变得至关重要。样品前处理技术作为样品分析过程中的关键一步,承担将分析物从复杂的原始基质中富集并分离至溶剂中的工作,决定了最终分析结果的可靠性。经过几十年的发展,样品前处理技术已从早期的费时费力的工作变得越来越简单、方便,与
大数据技术为精准扶贫提供新的思路和方法,但在大数据精准扶贫战略的实践过程中,存在着多源异构数据组织混乱、跨领域数据关联程度低、海量数据处理效率低等问题,严重阻碍了大数据先进技术优势的发挥,影响了精准扶贫战略的实施成效。数据融合技术能集成多源异构数据的优势信息,挖掘不同来源数据之间的关联关系,整合生成一套信息更丰富、现势性更好、语义更完整的高质量数据集。精准扶贫数据融合计算量大,传统的单机集中式处理
近年来,越来越多的内分泌干扰物在水体中被检测到。双酚A作为一种有毒且难降解的有机污染物,对人体和环境有着巨大的危害。高级氧化技术通过产生羟基自由基,可以将水中的双酚A去除。经典的芬顿技术是利用亚铁离子活化过氧化氢产生羟基自由基。相对于过氧化氢而言,过硫酸盐作为一种固体氧化剂,溶于水后也可以被过渡金属离子活化产生硫酸根自由基而使污染物得到降解。近年来,基于硫酸根自由基的高级氧化技术受到越来越多的关注
表观遗传调控是在基因DNA序列不发生改变的前提下,基因的功能发生了变化,并且这种变化是可遗传的,包含几种调节方式:DNA甲基化、核小体定位、染色质重塑及组蛋白修饰等。DNA甲基化是其中一种很重要的调控方式,它是指在DNA甲基转移酶的催化作用下,将S-腺苷甲硫氨酸上的甲基基团转移到DNA分子上,这种变化一般发生在胞嘧啶上。DNA甲基化需要DNA甲基转移酶维持,DNA甲基转移酶突变时,可引起某些基因的
近年来,我国的社会和经济得到迅猛发展,但是大气污染问题仍然严重,许多城市甚至城市群经常且长时间遭受雾霾的侵袭,尤以京津冀及其周边地区为甚。PM2.5是霾的主要成分,是加重雾霾天气污染的罪魁祸首,控制PM2.5浓度成为雾霾治理的关键。有效掌握PM2.5浓度的历史时空演变规律并对未来浓度做到准确预测对人们的生活决策和政府相关政策措施的执行都具有重要意义。本文的目标是实现全区域全天时PM2.5浓度细粒度
气候变化背景下的草地退化和土地沙化是青藏高原地区面临的一个严峻问题,由于高原地区海拔较高,气候寒冷、干旱,生态环境较为脆弱,为沙化土地治理和生态环境改善带来了困难。环境工作者为改善高原山坡沙地地区生态环境,在这些地区开展了植被恢复工作,为了探究地形对植被恢复效果的影响,需要对这些地区的地形情况以及植被的生长、分布情况进行调查。在调查的过程中,传统的方法以实地调查为主,往往需要耗费较多的人力与时间成
随着城镇化的快速发展,有限的土地资源与日益增长的城市发展需求处于逐渐失衡状态,造成不合理的土地利用开发,带来了环境污染、生态退化、自然过度开发等土地生态问题。一方面,国家大力推动生态文明建设战略部署,引导土地资源生态建设,对构建科学合理的土地利用格局提出了新的要求;另一方面,现有的土地利用布局难以保障土地资源的可持续发展,对土地利用与生态安全进行研究,促使土地利用开发与生态保护协调共进。因此,考虑