一种轻量级架构的ETL系统设计与实现

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:yyn_8305112002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ETL系统是构建数据仓库的关键组件。通过数据抽取、转换和装载工作,完成处理海量数据和构建数据仓库的任务。如何提高数据处理效率和增强系统稳定性是值得研究的问题。根据电信资源数据省级集中分析系统下的实际应用背景,提出了一种轻量级架构的ETL系统,该架构采取的是"化整为零"的思想,把原先核心的抽取和转换的任务部分划分到各个相应的子系统中做初步的处理,这样处理的优点在于应用中减轻了核心ETL引擎的承载负担,各个抽取任务单独进行互不依赖,提高了抽取效率。通过在具体应用环境下系统运行表明采用该架构ETL系统具良好的使用效果。
其他文献
介绍了无线传感器网络在环境监测领域的应用背景和国内外研究现状,展望了无线传感器网络在其它相关领域的应用前景。对SO2区域监测使用的无线传感器网络节点硬件结构和前端传
古典诗歌在中学语文教学中一直占据着相当的比例,教师对诗歌解读的完满与精细常常会影响学生审美的趋向,所以在诗歌教学中讲究留白将会有效弥补这一缺憾,并激发学生不断品咂
本单元学习目标和教学重点是赏析写景状物散文的手法,品味文中精彩语句,体会作者表达的对自然和人生的丰富感受。备教阅读时应注意把握本单元散文在写景状物和情感表达方面的
<正>丹参属于唇型科多年生草本植物,以根入药,富含丹参酮,味苦、性寒,有活血、祛瘀、消肿、止痛、养血、安神之功效,可用于心烦失眠、冠心病、高血压、脑血管病,以及妇女月经
随着社会经济的发展,城乡一体化的推进,在全国大中小城市,特别是城中村、城市郊区存在不同程度的"住改商"问题,笔者通过参与"住改商"整治及对"住改商"情况的调查,认为"住改商
<正>当前,我国正处于经济转轨、社会转型的特殊时期。在人民内部矛盾凸显、刑事犯罪高发和对敌斗争复杂的新形势下,省级公安机关如何以科学发展观为指导,准确界定自身职能,恰
三相异步电动机的机械特性难以利用数学模型进行计算,本文利用MATLAB软件中的动态仿真工具SIMULINK构造了三相异步电动机的仿真模型,并对电机的制动特性进行了具体的仿真研究
<正>慢性骨髓炎中医上称之为"附骨疽",多因机体正气不足,感受邪毒,正不胜邪,邪毒入骨,腐骨蚀髓而成。现代医学认为慢髓炎多是因急性或亚急性骨组织的化脓性感染未及时进行有
<正>每个人心中都有"美丽乡村"的向往,实现这方面的中国梦需要在哪些方面着力?本期会客厅邀请住房和城乡建设部村镇建设司司长赵晖、清华大学建筑学院教授顾朝林、苏州市吴江
随着网络技术的发展,人们可以从网络中获取越来越多的资源。特别是多媒体技术的发展更是推动了人们对信息共享的需求。对于企业内部来说,用户之间资源共享是必不可少的,而企