混合驱动多维建模方法及其工具的研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:maotou528
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多维建模一直是数据仓库中一个非常具有挑战性的问题,也是最基本的问题。多维建模的好坏关系到数据仓库的健壮性,功能性以及查询效率等。目前的研究工作往往将用户的需求和数据源分开表达,缺乏将二者相结合的统一工具。在基于本体的混合驱动建模研究中,多维建模的推理结果仍需要以统计的方式与需求进行匹配。所以,为了协调数据源和需求信息,以及提高多维建模的自动化程度,需要统一的需求-数据源相结合的混合驱动多维建模构建工具。工具需要在建模阶段更加精确地表达用户需求,从而降低本体自动推理算法的复杂度并且提高本体多维推理结果的质量。  同时,随着大数据时代的来临,数据量的不断扩大以及查询请求的复杂化,传统OLAP系统很难应对如此大规模数据上的分析处理。目前,MapReduce并行计算框架很难满足快速OLAP查询处理,并且,传统的星型模式中的多表连接问题制约了数据分析速度。因此,大数据下,OLAP分析需要更快速的并行计算框架以及改进的物理存储模式。  因此,本论文针对混合驱动多维建模方法及其工具进行了研究,主要工作包括:  (1)在概念建模中,传统的混合驱动多维建模方法缺乏将需求与数据源信息同时表达的工具,将两部分分开处理。本文基于本体编辑工具protégé,实现了“用户友好”的混合驱动建模工具。数据源部分,采用关系数据库与本体间的模式转换,实现了关系数据源在本体中的表达。需求信息部分,利用SQL语言清晰的表达能力,更加精确地表达用户需求,工具支持以拖拽、点击的方式构建相应需求。  (2)在逻辑建模阶段,对基于本体的自动多维建模方法进行了改进,不再根据概念间多对一关系的阈值确定多维概念。本文根据概念建模阶段构建好的扩展本体,首先分析用户的需求信息,从用户需求中的关键概念出发,再在本体中进行多维信息的自动推理。相比于传统的本体自动多维建模方法,降低了推理算法的复杂度,同时提高了推理结果与用户需求的相关性。  (3)在物理建模部分,针对大数据环境下的OLAP查询特性,其往往需要在海量数据上进行快速地复杂运算。并且,在其SQL语句中通常包含多表连接和聚集操作。因此,减少多表连接并且加快大数据下聚集运算的速度,成为大数据下查询处理的关键问题。为此,本文提出了一种结合Shark的内存计算以及维度层次编码的存储方式,减少了星型模式中复杂的表连接,减少了查询开销,提高了OLAP查询效率。实验结果表明,该存储模式是非常有效的。
其他文献
入侵检测系统和生物体的免疫系统有着天然的相似之处,生物免疫系统有效的保护机体免受各种侵害的机理为研究计算机安全提供了重要的依据。从信息学角度来看,生物免疫系统实质上
随着金融业市场的不断发展,各银行在扩展金融服务产品和服务渠道方面的竞争愈演愈烈,纷纷推出和建立自己各具特色的服务产品和渠道,以增强与提高自身的服务水平。 由于银行对
本文针对计算机辅助设计系统AutoCAD旧版本中“光照”模型的易用度不佳,使得用户创建、编辑“光源”十分困难的状况,经过对计算机辅助设计系统AutoCAD原有“光照”模型的研究,提
计算机图像处理在医学领域的应用越来越多,应用较多的是医学细胞图像的自动判读。在白细胞显微图的自动识别系统中,白细胞的检出是最重要和关键的一步。它的准确性和稳定性直
通过医学图像建立特定个体的精确心脏左心室三维模型,再根据该模型分析左心室的运动状态、评价心室功能参数已成为目前的研究热点。基于精确的心室模型进行的力学分析可以有
定性映射(Qualitative Mapping,QM)模型是思维建构和智能模拟的属性论方法中的的基本数学模型,它表达的是事物属性量—质特征转化关系,其哲学基础是事物质量互变规律,其基本内涵
随着计算机技术和网络技术不断发展,远程教学作为一种新的教学模式方兴未艾。由于远程虚拟实验室能够解决实验室资金和资源相对紧张的状况,虚拟实验室在远程教学中得到了越来越
数据仓库是近年来兴起的一种新的数据库技术,它面向分析型环境,弥补了传统关系型数据库对分析型环境的支持不足,对企业的分析决策提供了强有力的支持。数据仓库是多个分布的
随着Web服务标准的完善和支持Web服务平台的逐步成熟,网络上的可用的服务越来越多,基于Web服务的应用也越来越多。由于当前Web服务所使用的协议都是基于描述基础,缺乏有效的
在过去数年中,短距离高速无线通信系统呈现出巨大的发展潜力。而其中具有高性能、低功耗和低成本无线数据通信能力的超宽带技术成为未来富有竞争力的技术之一。 本文首先对