论文部分内容阅读
目前,某银行已经建立了操作数据存储平台(ODS)和数据中间层,在此期间进行了数据咨询项目和有限的数据治理工作,并基于DataStage、Oracle存储过程等技术实现ETL数据加工。在ETL加工过程中,产生了复杂的数据流向,沉淀了重要表或重要字段的数据模型设计经验。然而复杂的数据流向给该单位带来了巨大的人力损失,流向越复杂,定位问题越无法迅速定位到,当系统升级时,也无法迅速分析出系统升级带来的影响。元数据解析处理系统针对用户这一问题,结合自身特点,在为完善系统设计的规范性、明确行内数据流向关系、提高行内数据管理水平的目标下开展。基于某公司元数据产品搭建元数据管理平台,同时借鉴国内外先进银行最佳实践,结合本行实际情况,全面实现本行元数据平台建设项目的落地实施,并建立完整高效元数据管理体系。根据银监EAST数据报送实施经验,以新核心系统建设为契机和落地实施验收标准,初步建立数据标准。选取小范围系统(ODS、EAST等)试点,实现包括DDL、数据文件定义等技术元数据的自动化解析,并实现影响分析、支持元数据的查询。基于解析完成的元数据,对于问题影响场景,实现影响追溯,使业务人员能及时追溯到下游节点问题所在,并通过定位到上游节点,迅速解决问题。对于系统升级场景,实现变更影响通知,采取发送邮件主动通知方式,主动通知系统管理员及系统责任人。当上游数据发生变更,只通知下游系统所有系统管理员,管理员可在不登陆元数据分析处理系统的情况下,及时了解数据资产变更信息。元数据分析处理系统以构建元数据影响分析为目标,该系统具备Datastage、DDL和Oracle存储过程解析功能。元数据分析处理系统提供数据的整合接口,针对不同环境,采用不同数据源来获取元数据,实现实时监控和及时更新,真实反映各系统的元数据现状。元数据分析处理系统采取树形形式展现元数据,体现数据库、表、字段和ETL、表、字段之间的关系,通过元数据元素和箭头的形式体现元数据彼此的流向关系。元数据分析处理系统提供元数据全文检索功能。输入框中输入查询关键字,可迅速检索元数据分析处理系统知识库中的元数据。