基于ETL的数据集成系统的设计与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:langguoji
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展和高校信息化工作的不断推进,教育信息化完成了基础设施的建设,高校内拥有越来越多的应用系统。这些应用系统采用了不同的数据库系统或多种数据存储方式,存在大量的数据冗余、数据不一致等问题。因此数据集成系统的建设就迫在眉睫。 本论文是在高校数字化校园建设大背景下,以解决异构数据集成问题和共享为目的,以东软高校数字校园平台建设作为项目实施的一个数据集成系统的研究、设计与实现。本系统的实现是基于ETL技术的,ETL即数据抽取、转换、装载的过程。传统的ETL 比较擅长于大量数据的迁移,允许数据在时间上的延迟。本文在ETL技术的基础上结合传统的数据集成技术,采用适配器技术和中间件技术,使得本系统既可以处理大批量的历史数据,又可以实时处理小批量的变化的数据,全方位地满足用户对所有数据处理的需求。 本系统具有良好的性能和极低的错误率,现在已经成功地在全国多所高校中得到了实施和应用,在文中给出了详细的应用测试结果和分析。根据各高校的反馈意见,本文提出了下一步需要进行的工作。
其他文献
数据挖掘是数据库研究、开发和应用最活跃的分支之一,它通过对大型数据库进行清理、集成以及选择变换等处理,获得其中隐藏的潜在有用的规则,但随之产生的就是隐私和信息安全问题
随着瓦联网应用的普及,人们希望能够使用更为丰富和先进的即时通信技术,来改进通信效率,提高协作能力。其中将多媒体通信引入即时通信是主要的应用之一。本文主要探讨了基于XMPP
多年的信息化建设使组织机构内部同时运行了众多异构的OLTP系统,并积累了大量历史数据。为能向管理者提供全局一致的信息视图,并满足不同层次用户的分析需求,出现了DB-ODS-DW三
本文针对无线网络的语音、视频传输业务中,时延、带宽、丢包率等问题,以及主干网带宽变大后,接入部分的无线网络带宽资源相对较小,造成的无线接入部分成为整个网络中端到端连接服
在过去的二十年中,计算机网络经历了爆炸式的增长,随之而来的是越来越严重的拥塞问题。拥塞控制是确保Internet鲁棒性的关键因素,也是其它服务质量机制正常工作的必要前提,因
网格技术发源于科学研究领域,主要通过计算资源协同、数据资源协同及信息资源协同,构建网格虚拟环境,解决科学计算中的各种问题。随着网格技术与Web服务技术的融合,网格上的资源
在当今这个信息爆炸的时代,随着信息的数字化处理程度的提高,从大量数据中挖掘有用信息的需求日益增加,从而大大推动了数据挖掘的发展。然而,任何事情都有其两面性,在数据挖掘领域
近年来,无人机技术得到了长足的发展,利用无人机平台获取高分辨率航拍图像数据作为一项空间数据获取的重要手段,具有成本低、机动灵活、能够在高危地区探测等优点。但是无人
JAVA EE是当前最为主流的企业应用体系架构之一,其多层设计思路与开放的体系为企业应用的设计开发与维护提供了巨大支持,且在持久层,业务层,逻辑层等各层均出现了非常成熟的
P2P(Peer to Peer)技术是近年被业界广泛重视并迅速发展的一项技术,它是现代网络技术和分布式计算技术相结合的产物。P2P技术应用到Internet,揭开了现代对等互联网的序幕。与基