实时数据仓库环境中科学数据排重模型的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:burningDNA
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息时代,正确的决策成为竞争强有力的武器。为制定战略意义上的商业计划,进行战术上的商业决策,各企业纷纷构建数据仓库。但是,由于数据仓库从各种数据源中导入大量的数据,而一些数据源包含“脏”数据的概率是非常高的;另一方面,对用于决策支持的数据仓库而言,其中数据的质量对避免错误的决策是至关重要的。重复数据是影响数据质量的一个重要因素,数据重复不仅会造成数据的冗余,使数据量增大,增加数据仓库的负担,还会严重影响分析和决策。因此,在数据仓库中,数据排重是提高数据质量的必不可少的方法之一。实时数据仓库是数据仓库技术的一个新的发展方向。它是指一个数据源的任何改变都自动,且立即反映到数据仓库中。实时数据仓库的发展又给保证数据质量的问题带来了新的挑战。实时数据仓库的数据源的变化是即时反应到数据仓库中的,也就是说ETL是实时的,这就需要实时的保证数据的质量,以支持前端的查询和分析。而以前的质量保证的研究大多是基于非实时的数据仓库,因此,需要一种新的调度方法来更加准确、高效的保证数据仓库中数据的可信度。本文首先提出了一种面向科学数据的通用排重模型,介绍了科学数据特点,然后详细描述了该排重模型,证明传统的“排序&合并”方法不适合于科学数据排重并给出本模型的算法细节,同时介绍了该模型的调度流程、体系结构和实现;然后,分析了实时数据仓库中数据质量保证的困难和问题,提出了在实时环境下的排重优先调度策略、实时调度策略、ETL优先调度策略,并且一一给出了具体分析,在ETL优先调度策略中,定义了排重繁忙度、累积延时等评价指标,给出了基于时间和基于事件的两种调度策略,从而将SD2M排重模型应用于实时数据仓库之中;最后,通过实验证明SD2M排重模型的稳定性和高效性、以及本文所提出的实时环境下的调度策略的合理性。
其他文献
伴随着移动通信的日益普及以及传统语音类业务的饱和,利用移动通信网络以及互联网的现有资源,开展移动数据增值业务成为了必然的趋势,其中彩铃业务以其独特的优势在市场上占
图像中总存在许多各种各样的噪声,为了对图像进行有效地分析和通信,在图像预处理中必须减少图像中的噪声。传统的降噪方法在降噪的同时损失了图像的细节。然而有“数学显微镜
随着世界各国对基于道路网上移动对象时空索引技术的深入研究,关于如何对道路交通网车辆进行索引的研究也越来越被时空数据库领域专家所重视。目前的研究还处于理论探索阶段,为
入侵检测被认为是防火墙之后的第二道安全闸门,是网络安全的核心技术之一。入侵检测系统对恶意使用计算机和网络资源的行为进行识别和响应,它不仅检测来自外部的入侵行为,同
近年来,互联网上出现的Web服务越来越多。然而,单个且功能简单的Web服务不能满足实际的应用需求。Web服务组合技术可以将已有的Web服务按照业务流程进行逻辑上的合成,使得组
利用快速发展的网络技术实现信息资源的高效利用,其可行性及迫切性已经被广泛认同。P2P技术作为一个新的研究领域,具有广阔的应用前景。现有的P2P应用系统并没有充分发挥其性
电子商务是基于Internet的双方或多方之间进行的有形商品或者无形服务的交换,公平交换协议在电子商务中有着广泛的应用。同时签名是一种能够用来解决数字签名公平交换问题的
随着Web服务技术的日益成熟,越来越多的稳定易用的Web服务共享在网络上。Web服务组合作为Web服务一项重要的增值功能,为服务的重用与自动化集成提供了应用的基础。在动态Web
人脸识别一直是模式识别领域中的一个即热门又复杂的问题。在理论研究方面,近年来,以稀疏表征为基础的人脸识别(SRC)模型和以协同表征为基础的人脸识别(CRC)模型都表现出了区
新闻是重要的信息资源,随时随地的被报道,人们可以通过internet跨过地理的障碍获取各种新闻信息。探测新闻事件的产生和追踪事件的处理对于在快速变化的Web领域进行决策制定