ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析的依据。所谓ETL,即Extract,Transform和Load的缩写。研究表明ETL部分的研制过程占整个数据仓库项目研发时间的百分之七十左右。目前有很多专业的ETL工具,除了一些开源的工具之外还有很多公司开发了专门的商业化ETL软件。最流行的ETL软件包括Informatica公司的PowerCenter,IBM公司的DataStage还有NCR Teradata公司的ETL Automation等。HP公司从2006年开始构建企业内部新的统一数据仓库EDW。采用了公司自行开发的ETL工具DIAL。DIAL运行在HP Integrity或者NonStop服务器上,充分利用了底层硬件的并行处理能力。具有很强大的数据处理能力。但另一方面,无论DIAL还是前面所提到的三个商业工具都没有对ETL工作流进行优化操作。本文在传统数据库SQL优化的理论基础上探讨了ETL workflow优化的方法,在实现过程中充分考虑了底层硬件的并行处理能力。本文提出了一种基于选择前推的逻辑优化算法,用于加快复杂的数据库数据事务处理。通过等价的工作流变换,找到代价最小的一种形式,从而提高数据处理的效率。另外为了充分利用NonStop服务器强大的并行处理能力,本文提出了一种基于文件分割的方法,将将一个大文件分割为多个小的文件,利用多个进程并行处理这些小的文件,从而提高了ETL的效率。上述方法在DIAL中得到了实现,实验结果表明,本文的优化方法取得了良好的效果。