基于NoSQL的PDM图文档分布式存储与并行查询

被引量 : 2次 | 上传用户:xtmpjordan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图文档是制造类企业产品数据管理的主要信息资源之一。现有的PDM系统几乎全部是以产品结构树为基础来实现图文档管理,通过关系数据库(RDB)和文件系统集成的方式实现图文档存储。企业“大数据”时代的到来,使得传统基于RDB的PDM系统在高扩展性、高并发访问和高可用性等方面存在的问题日显突出——服务器和用户终端机越来越“高档”、存储设备数量和容量越来越大、用户访问速度越来越慢、数据备份时间越来越长。同时,RDB并不适台表达层次模型问题,标准的SQL语言也很难直接实现复杂的层次查询要求,并且在海量数据规模下,传统的层次遍历算法时间效率会非常低。因此寻求较高效率的图文档存储方案和层次查询方案具有重要的意义。首先,针对图文档大文件的高吞吐量存取和小文件的快速响应需求,提出将NoSQL数据库加入以HDFS(Hadoop Distributed File System)为基础的企业私有云存储平台,共同提供文件存储服务;同时,提出一种存储系统综合评判模型,结合多维属性决策理论以确定文件分布存储时的阈值。其次,针对大规模产品结点信息层次遍历时间效率低的问题,提出一种基于MapReduce的层次查询处理方法。借鉴MapReduce并行计算思想,分析了产品结点信息并行扩展处理方法并详细设计了算法的过程。最后,对本文提出的模型和算法分别进行实验检验。图文档存储实验结果表明,MongoDB具有小文件存取优势,在海量文件数据下,阈值应设置在17MB以下。基于MapReduce的层次查询实验验证了算法的有效性,并且实验结果表明在大规模数据结点层次查询下较传统方法效率更高。
其他文献
时下"围观"一次颇为流行,微言有大义的围观精神也颇受推崇,但全民围观也暴露出了当下中国民众的一些"看客心理","围观"作为一个群体活动有着其自身产生、发展的特点,这样的特
分析了现阶段我国农村环境污染的主要特点,并对农村环境污染防治的宏观对策进行了系统性分析。由于农村污染严重、防治形势严峻且比城市环境污染情况复杂,在制定农村环境污染
商品房预售合同是伴随着近几年我国房地产市场的发展而出现的新鲜事物。由于我国相关的法律规制滞后,现实生活中人们对商品房预售合同存在很多模糊认识,商品房预售纠纷大量出
公众人物是社会大众中的特殊群体,其隐私权受到公共利益和群体利益的制约,因此,公众人物需要适当地容忍一些对自己的隐私权造成的损害。但是,即便如此,公众人物的隐私权仍需
地域性是中国文学的重要特征之一,浓浓的四川情结,是李劼人小说独具的艺术魅力。对李劼人小说四川情结的成因,如强烈的地域文化意识、丰厚的生活积累、独特的人生体验以及对
形体舞蹈课程作为高职院校近年来素质教育课程的一个重要组成部分,对培养学生的职业素质、帮助学生形成良好的职业形象具有重要意义。本文在教学实践的基础上,探讨了适合高职
诚实信用原则是整个民法尤其是现代合同法的一项极为重要的基本原则,为世界各国民事法律所普遍确认。诚实信用原则有着深刻的道德内涵,更是一种法律理念,它不但要阻人为恶,更
北宋词家周邦彦,古往今来一直倍受青睐。历来对于周词,众说纷纭,无论是精于音律、长于铺叙,还是工于炼字、纯于融典等方方面面都被一一评析,但我以为仍未突出周邦彦之最精深
2011年以来,P2P网络借贷企业一直处于高增长的态势,由于行业的准入门槛较低,每天都有众多的网贷企业诞生,这些企业当中不乏有一些是基于非法目的成立的,由于网贷平台直接面对