论文部分内容阅读
随着我国城市公共交通快速发展,轨道交通作为城市交通中的重要组成部分,在城市繁忙的公共交通运输中越来越受到青睐。但目前,轨道交通自动售检票系统在计算机技术应用层面上还停留在售检票设备运营自动监控和票务信息处理与管理的技术范畴。本文的项目研究是针对轨道交通自动售检票系统沉淀的海量票务交易、设备状态和维护日志等数据的挖掘、发现、统计分析和使用的方法与技术。本文重点研究适合统计数据对象整合处理的技术与应用。本文作者的主要研究、创新工作如下:ⅰ)为便于使用者理解和使用各种数据源组织结构信息,提出映射数据库元数据信息并进行中文语义描述的方法,把英文的专用缩略词汇描述成易于理解的中文语义描述,增强了系统易用性:ⅱ)通过研究基于Linux平台下的数据整合,采用XML技术来解决异构数据库的数据转换、存储和数据关系运算的问题。根据实际业务数据的特点,研究和实现的数据转换包括:格式修正、字段解码、度量单位转化和日期/时间转化,并结合数据仓库中的相关策略及本项目的架构模式,提出一个双层数据转换模型。该模型在开发实现上有着较大的灵活性、占用计算资源较少、在部署和运行上扩展性较强;ⅲ)针对并发请求响应和数据文件存储问题,通过分析文件存储和XML格式文件存储的特点,定义了适合统计结果存储的XML格式文件,很好地解决了统计结果缓存及再次反馈的应用需求,并能实施控制XML格式结果文件占用存储空间的策略;ⅳ)针对数据运算,提出把部分关系运算和数值计算从数据库系统剥离的策略,降低对业务数据库系统的资源占用。基于XML数据文件,可以根据DOM接口来读取XML文件中数据,进行相关的关系运算、数值计算和其它运算,为了提高连接的处理效率,实现了基于XML数据文件的NES-JOIN算法。实际应用证明,本文研究的数据整合处理的技术与方法能够满足在线分析处理的应用需要,并能优化使用生产现场宿主系统的计算资源。