建立操作性数据存储是解决在保险业中大量业务数据处理、汇总和分析的一个重要技术,而ETL过程对操作性数据存储的建设有着极其重要的意义。论文通过对ETL相关研究和技术的分析,结合某保险公司的一个实际ETL系统项目,对ETL的设计和实现进行了深入的研究。设计建模方面。基于公共数据仓库元模型标准并结合项目实际情况提出了ETL系统的设计模型框架,然后通过分析处理调度单元之间的逻辑关系建立了作业调度管理元模型,在具体实现设计过程中利用ETL工具和脚本技术实现了对整个ETL系统中各险种数据处理的复杂调度。数据抽取方面。针对分布式异构多数据源的环境,论文给出了抽取-传输-缓冲-合并的抽取方法来有效地解决数据的抽取问题。ETL系统的效能方面。利用流水和分区化的思想来对单个处理调度单元提高并行度,同时利用业务规则对多个处理调度单元并行地处理来提高整体处理效能。重复记录一致化方面。给出了排序-等值匹配算法,证明了存在匹配键的情况下该方法可以有效地检测重复记录,以往的研究对检测出重复记录后的冲突处理上未见有相关的讨论,论文提出了基于业务规则的冲突处理算法。错误数据检测方面。基于领域知识提出了建立错误检测规则的方法,从理论和实验论证了该方法的有效性。数据质量方面。通过一套量化体系来统一在数据质量维度和重要性权重,利用权重对数据质量指标值加权平均的方法来对整个系统的数据质量进行综合评估。以往的研究都是将数据质量独立于ETL系统来讨论的,论文将数据质量模型框架其融入ETL系统设计模型中,从而扩充了ETL设计模型的功能和复用性。该ETL系统已成功上线。本文的意义在于,不仅提出的多项研究已成功地应用到了ETL系统建设中,而且对其他环境下的ETL系统设计和实现也有着积极的参考意义。