论文部分内容阅读
本文以广东中烟决策支持系统为背景,数据的来源主要有国家烟草局一号工程下发数据、MES指挥系统、ERP系统以及一些非结构化数据。主要目的是通过对数据源的历史数据的ETL过程建立一个用于决策支持系统的结构化数据环境。目前企业信息化系统之间进行了多种接口的集成,但这些系统仍然相对较为独立,设计开发标准不一,缺乏统一的横向数据交换机制,形成了一个个“竖井”状的信息孤岛。甚至同一指标在不同系统中表现为不同的数据,“数出多门、数值多样”,给信息资源的开发利用带来了困难,更加影响了信息资源价值的充分发挥,导致现有数据难以直接应用于“辅助领导决策”。本系统即支持“领导决策”的信息系统,展现“决策层关注的内容”。本系统将多个系统的数据进行抽取加工整合,有利于各个部门汇报材料时的数据收集。本系统每天都会更新当天最新的数据并进行加工,解决数据滞后的问题。在项目的第一阶段,主要是完成决策中心的部分内容,通过展现决策层的关注重点,达到辅助决策的目的。本文通过ETL对源数据进行抽取、转化、清洗、加载建立了一个存储高质量数据的ODS(操作型数据存储),通对ODS的ETL建立起数据仓库。并且将整个ODS分成了三层:接口层、中间层、汇总层。最底层为接口层的数据与外部系统保持一致。一是方便数据从源系统到ODS表到表的数据抽取,二是在数据抽取过程中减少数据加工处理,方便与源头表数据核对,在数据发生差错时降低问题查找的复杂度。接口层的数据与外系统保持准实时同步,对于有实时要求的数据域,应尽可能提高数据的实时性。中间层是ODS存储数据的核心层,中间层中的数据原则上是统一编码格式的数据,可作为企业数据标准指导外围系统逐步统一数据格式,中间层存储的数据,是数据仓库存储数据的数据源头。汇总层根据主题域加工需要,形成汇总数据,并装入数据仓库。广东中烟决策支持系统第一期已经成功上线,ETL的工作量占整个决策支持开发工作量的60%左右,系统目前运行状况良好。