论文部分内容阅读
联机分析处理(On-Line Analytical Processing,简称OLAP)支持分析人员和决策者从多个角度对数据进行快速、一致、交互地访问,从而对数据更深入了解。OLAP聚合技术对事实数据进行预计算,有效地解决了多维查询时的效率问题。而一旦数据仓库进行更新后,传统聚合算法需对事实数据进行重新聚合,这种方法效率低下。针对传统聚合方法的效率问题,本文提出了一种多维立方体增量聚合及查询汇总方法。首先获取增量数据,将其存储在数据仓库临时库中;再选择适当聚合算法对增量数据进行聚合,该算法可与原数据聚合算法不同,生成增量聚合表及其元数据;再将此增量聚合表更新到数据仓库,同时更新增量元数据至OLAP服务器中的元数据文件;多维查询时解析数据仓库的元数据文件,如果查询语句命中多个聚合,则汇总各聚合结果,返回查询数据;定期对增量聚合表及元数据进行维护,可将多个小的增量聚合合并或重新对全部事实数据进行聚合。本方法能快速有效地实现对数据仓库更新后的聚合,聚合速度快,查询效率较高。总的来说,本文的主要研究工作和贡献如下: (1)提出了基于增量的数据仓库聚合方法。在对于增量更新的数据仓库,从数据库中抽取增量数据进行聚合。该方法相比传统聚合算法对数据仓库所有数据重新聚合而言,不必重复计算,效率更高。 (2)解决了增量聚合模式下的多维查询问题。多维查询时,如果同时命中多个聚合数据,针对不同类型查询,使用相应方法汇总各聚合结果并返回。 (3)对增量聚合的管理方式进行了探索,提出了增量数据进行部分重新聚合或全部重新聚合的方法。 (4)通过增量聚合的方式下,实验结果表明增量聚合效率大大提高,聚合过程通常可以节省原聚合时间90%以上,多维查询耗时仅增加约2%。