地震前兆数据流的增量式数据挖掘方法研究

来源 :上海大学 | 被引量 : 0次 | 上传用户:mahui0503
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机、通信、网络技术的迅猛发展,许多应用领域出现了海量、高速、动态的数据,如交通工程和网络监控、电信记录管理和分析、商业交易管理和分析、金融信息监控、传感器网络监控等。区别于传统数据库中相对静态的数据,这类海量、持续、有序、快速和突变的数据,称为数据流。如何对这种全新的数据模型进行管理与分析,是一个严峻挑战;而时间序列数据流的分析与管理是其中一个重要研究方向。 随着地震监测技术日趋完善,各级地震台网收集了大量的观测数据,每天都有大量的数据不断流入。这些海量的历史观测数据和实时数据流统称为“地震前兆监测数据”。如何探测这些数据背后隐藏的地震前兆规律,是迫切需要解决的问题。本文在分析时间序列和时间序列数据流特点的基础上,根据地震前兆监测数据的实际应用需求,着重对时间序列数据流的挖掘与相似性查找等一些关键技术进行了研究。具体包括特征模式的并行挖掘、在线增量式并行挖掘、在线相似性模式查找等。本文所做的工作和取得的创新成果体现在以下三个方面: 1)时间序列特征模式并行挖掘研究提出了一种建立在集群式高性能计算机上基于互关联后继树(Inter-Relevant Successive Trees IRST)的并行时序模式挖掘算法,将数据线段化、树的建立及模式发现在多处理机上进行并行处理,有效地改进了算法的执行效率。实验结果表明,此算法较之串行算法有较高的效率。 2)时间序列数据流在线增量式并行挖掘算法研究根据IRST提出了一种并行的增量式数据流挖掘算法:着重从时间序列数据流挖掘目的和实用角度出发,采用滑动窗口窗口技术来处理最近数据序列,并在其上面建立一种基于互关联后继树的索引SIRST(Sequence Inter-Relevant Successive Trees),利用索引查找来发现频繁模式;为了提高算法效率,随着数据流的不断变化,动态更新索引模型SIRST,并引入数据交叠技术和并行计算技术来进一步提高算法的精度和效率。最后,将结果返回给用户,并利用挖掘结果实时更新模式库。 3)动态时间序列在线模式的相似性查找研究针对时间序列在线分析的需要,给出了一种动态时间序列的在线相似性查找算法。该算法采用了一种动态模式匹配距离作为相似性度量方式,为了提高查找效率和缩短响应时间,在计算模式距离时引入了窗口路径限制技术和早放弃技术来提高匹配距离计算效率,并将各指定的模式发送到各个处理器,进行并行的相似性匹配计算来提高响应时间。通过在地震前兆监测数据上的模拟试验表明,该算法比基于欧式距离和动态时间弯曲距离作为相似性度量方式的查找算法有较高的准确性,其效率虽然不如基于欧式距离作为相似性度量方式的查找算法,但比基于动态时间弯曲距离作为相似性度量方式的查找算法却提高了很多。
其他文献
随着计算机技术的迅速发展,计算机应用领域不断扩大,网络系统的应用越来越广泛,支持分布式应用也已成为软件体系结构的基本特征,高可靠、高效率软件产品的开发模式和开发过程成为
搜索引擎解决了用户搜索信息的难题。但是,由于传统搜索引擎采用集中式架构,还存在许多问题,如服务器故障、存储容量有限、以及存储链接不能及时更新等,严重影响了搜索引擎的性能
多媒体视频监控业务虽然已经是成熟的互联网业务,但由于缺乏信令概念和相应体系,会话控制及相关的用户认证、授权和计费都比较困难,导致开展信息服务的技术门槛过高,难以通过
多年以来,面向对象编程(Object-Oriented Programming,OOP)作为软件开发领域的主要编程范式,大大提高了软件代码的模块性、可重用性,降低了软件的复杂度以及软件的维护成本。
近年来,由于IPv4地址匮乏、路由表急剧膨胀等问题,使得IPv6协议应运而生。与IPv4相比,IPv6具有内置的安全机制,增强的组播支持等优越性,而最关键的是IPv6提供了巨大的地址空
Web应用一种由前端浏览界面和后端服务器构成的软件。前端通过各种浏览器、嵌入的脚本语言和applets等为用户提供丰富的图形用户界面。后端服务器包括静态/动态网页文件、CGI
数字图像的逆半调处理是将二值半调图像恢复为连续色调图像的过程,该技术在许多典型的图像处理中有极大的实用价值。论文首先阐述了数字半调与逆半调技术的发展与现状。进一步
互联网中网页和它们之间的链接构成了一个庞大的有向图,称为网络图(Web Graph)。这个图包含了丰富的链接信息和有趣的性质,比如链接数目的幂法则分布,连通域等等。对Web Grap
无线Mesh网络(WirelessMeshNetwork,WMN)结合了移动Adhoc网络和无线局域网的优势,具有高吞吐量、高可靠性、自组织、自修复、部署快、低成本等特点,已成为下一代无线网络的研究热
基于契约进行程序验证的理论最早出现于20世纪70年代对大型系统的研究之中。20世纪90年代,Bertrand Meyer首次将契约式设计(Design by Contract, DbC)理念引入了面向对象编程