ETL过程逻辑描述及其执行

来源 :东南大学 | 被引量 : 0次 | 上传用户:nature_shcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据仓库的广泛建立,数据仓库系统的核心—用于数据仓库数据加载和刷新维护的ETL工具越来越重要.市场上存在大量的ETL工具,这些ETL工具采用不同的实现技术,对应的ETL过程定义描述都基于数据源的数据模型和执行ETL过程使用的实现技术.使用不同的ETL工具需要熟悉不同的数据模型和ETL过程实现中使用的相关语言.针对当前ETL工具中ETL设计的不足,我们提出了ETL过程的逻辑描述方法.首先作用统一数据模型描述具体的数据源对应的数据存储模型,屏蔽不同数据模型中描述的差异,让用户在统一数据模型上定义ETL过程;其次使用ETL过程逻辑描述从逻辑上描述整个ETL过程,屏蔽ETL过程中具体实现的差异,使用各种逻辑规则定义ETL过程中的数据转换和数据清理.ETL过程的逻辑描述可以让ETL过程设计人员专注于根据模式的语义进行的数据转换映射和清理定义,不用考虑执行的实现模式和数据模型之间的差异,减少定义的复杂程度,同时为自动定义ETL过程提供前提.该文结合数据仓库系统中的ETL工具研究和实现项目,研究如何从逻辑上对ETL过程进行描述,如何图形化显示ETL过程,以及如何根据逻辑描述生成可以执行的ETL程序或者相关的查询语言.通过研究我们为我们自制的ETL工具—SEU_ETL系统设计了统一数据模型、ETL过程逻辑描述规划,ETL过程的图形化显示机制.为了使ETL逻辑描述的实用化我们定义了一个数据转换脚本描述规范.最后通过对ETL过程物理执行机制和相关的优化策略实现了SEU_ETL系统中的ETL过程的执行.
其他文献
随着GPS(全球卫星定位系统)技术的成熟与发展,利用GPS技术进行车辆定位正在被社会各行业广泛地应用,例如:金融系统(运钞车)、公安部门(110报警车)、消防部门(119消防车)、急
多年来,由于三维实体的表示与重构在工业设计制造、建筑、航空航天及医学、生物学等领域的广泛应用,人们研究各种用于表示三维实体的方法以及基于不同方式和数据的三维实体的重
随着信息化浪潮的兴起,各类密码设备广泛地应用于金融、通信、政府等领域。应用中执行安全功能的硬件、软件或固件的组合,通常称为密码模块。不同于密码算法,密码模块的攻击者可
本文以测量得到的曲面数据点点云为基础,提出了一种基于包围盒的自动寻找三维散乱数据点之间拓扑结构的方法,采用该方法寻找采样点的邻域结点,并对三角剖分中的典型优化准则—最
本文主要针对大规模地形模型的生成与显示技术,总结了大规模地形模型细节层次显示技术的基础理论, 并且对基于三角剖分和基于树结构的层次模型进行了研究。通过改造和创新形
软件需求分析是软件生命周期的开始.在现代软件开发过程中,需求分析占有特别重要的地位.计算机辅助需求分析是CASE的一个重要研究领域.需求分析工具用于软件工程的需求分析阶
随着计算的发展,计算变得越来越自由,在资源使用方面也越来越灵活,将逐渐呈现出普及计算的模式,用于普及计算的终端设备将变得无所不在。移动终端是普及计算终端的重要内容。由于
该文根据国内外已有的研究成果及应用情况,系统地研究了两类分布式高性能计算环境中基于任务复制的遗传调度算法,并在模拟环境中研究了算法的性能.其主要贡献在于:1)针对遗传
随着网络技术的飞速发展和广泛应用,信息安全已经成为关乎个人权益乃至国家安全的重要问题。密码学作为解决这类问题的基础学科,受到国内外学者的普遍关注。密码分析是密码学研
作为传统公钥密码和基于身份密码学的扩展,基于属性的密码学利用属性来描述用户权限,提供了非常灵活的操作关系。在基于属性的加密(ABE)机制中,密文和密钥都与属性相关,加密者可