数据立方体增量式维护及查询方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:Lyre_00
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联机分析处理(On-Line Analytical Processing,简称OLAP)支持分析人员和决策者从多个角度对数据进行快速、一致、交互地访问,从而对数据更深入了解。OLAP聚合技术对事实数据进行预计算,有效地解决了多维查询时的效率问题。而一旦数据仓库进行更新后,传统聚合算法需对事实数据进行重新聚合,这种方法效率低下。针对传统聚合方法的效率问题,本文提出了一种多维立方体增量聚合及查询汇总方法。首先获取增量数据,将其存储在数据仓库临时库中;再选择适当聚合算法对增量数据进行聚合,该算法可与原数据聚合算法不同,生成增量聚合表及其元数据;再将此增量聚合表更新到数据仓库,同时更新增量元数据至OLAP服务器中的元数据文件;多维查询时解析数据仓库的元数据文件,如果查询语句命中多个聚合,则汇总各聚合结果,返回查询数据;定期对增量聚合表及元数据进行维护,可将多个小的增量聚合合并或重新对全部事实数据进行聚合。本方法能快速有效地实现对数据仓库更新后的聚合,聚合速度快,查询效率较高。总的来说,本文的主要研究工作和贡献如下:  (1)提出了基于增量的数据仓库聚合方法。在对于增量更新的数据仓库,从数据库中抽取增量数据进行聚合。该方法相比传统聚合算法对数据仓库所有数据重新聚合而言,不必重复计算,效率更高。  (2)解决了增量聚合模式下的多维查询问题。多维查询时,如果同时命中多个聚合数据,针对不同类型查询,使用相应方法汇总各聚合结果并返回。  (3)对增量聚合的管理方式进行了探索,提出了增量数据进行部分重新聚合或全部重新聚合的方法。  (4)通过增量聚合的方式下,实验结果表明增量聚合效率大大提高,聚合过程通常可以节省原聚合时间90%以上,多维查询耗时仅增加约2%。
其他文献
学位
随着移动互联网的发展以及电子图书的流行,电子图书正在逐渐成为广大读者获取知识便捷和主要的途径。海量电子图书文件的存储以及访问控制问题成为了众多电子图书运营商或数字
鱼类特征提取是鱼类行为活动与鱼类形态特征量化的过程,也是鱼类适应性与流场研究的基础,精确快速量化鱼类特征是鱼类研究的保证。鱼类特征可以分为运动特征与形态特征。运动特
在电子政务和企业内网信息化建设的进程中,存在应用系统繁多、用户和权限管理混乱、管理维护复杂等问题,因此建立一个基于PMI的资源管理和授权服务系统,实现网络中应用系统用户
学位
学位
学位
随着互联网技术的发展,软件及服务(Software as a service, SaaS)作为一种新兴的软件应用模式,已成为现代软件科技发展的最新趋势。服务提供商将应用软件统一部署在自己的服
求解支持向量机需要大量的内存资源和训练时间。现有支持向量机求解算法没有考虑内存资源的实际限制,而实际环境中,计算资源通常是有限的。针对这一问题,提出资源受限的并行
伴随着计算机及工业设计的迅猛发展,3D模型开始被大量的生成并广泛的使用。3D模型通常是由网格、NURBS或者体素进行表示。其中,网格模型因为其大量深入的研究而被广泛采用。然