大数据概率查询方法的研究与实现

来源 :东北大学 | 被引量 : 1次 | 上传用户:jonefarhua
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化,世界已进入网络化的大数据时代。大数据蕴藏着不可低估的商业价值,人工智能、机器学习、深度学习等技术的盛行是大数据商业价值的直接体现。如何从海量数据中高效、稳定地获取有效数据是挖掘数据价值的首要任务,也是许多数据应用系统的必要需求,大数据查询处理是解决该问题的主要方法。大数据查询处理作为大数据处理的核心问题之一,自大数据技术诞生以来一直备受关注。伴随着以Hadoop生态系统为首的大数据技术的发展与成熟,越来越多的大数据查询系统已经问世,当前流行的大数据查询系统有Hive、SparkSQL、Dremel、BlinkDB等等。这些查询系统分为准确查询系统和近似查询系统两类,这两类系统的查询优化方案也不尽相同,大数据准确查询系统主要依托并行处理技术来优化大数据查询,而大数据近似查询系统,除了借鉴大数据处理强大的并行计算能力和存储能力之外,也借鉴了传统的近似查询技术,如分层采样等,来进一步优化查询。本研究从数据的不完全查询角度着手,考虑大数据的查询优化方法。本研究提出了大数据概率查询方法,概率查询的核心优化思路是通过损失数据查全的可靠性来优化数据的查询性能。本文将此称之为置信查全,置信度表示查全的可靠程度,查全率是数据查全的度量,即以一定的置信度查询满足查全率的数据。本文首先定义了概率查询模型,其描述了数据的逻辑和物理组织方式,以及两者之间的映射关系;其次,设计数据的存储和查询方法,提出了数据概率分布算法和概率查询算法;然后,设计了概率查询原型系统Probery;最后,在实验部分证明了概率查询方法的合理性和有效性,通过实验对比,展示了本研究的实际应用价值。数据查询已经广泛应用于各种各样的应用系统,本研究提出的概率查询方法为大数据查询提供了一种崭新的数据查询方式,有助于在数据查询中依据不同需求选择不同的数据查询方法,提高数据的查询性能;同时,本研究在概率查询领域的探索与发现,有助于推动大数据查询技术的发展与应用。
其他文献
环境问题,是全球工业快速发展的必然产物之一。上世纪80年代以来,世界范围内以重金属污染为首的环境水体污染事件频发,引起了科研专家、学者的高度关注。重金属在自然界中难被生化降解,一旦经食物链流进人体,极易引发肾脏、肝脏、生殖系统和脑组织等器官损伤。为此先后已有诸如离子交换、膜分离、化学沉淀、电化学和吸附等一批技术手段应用到水体重金属污染治理中,其中吸附法因原材料易得、吸附效率高和对原水重金属离子浓度
研究目的:本体感受性神经肌肉促进法(Proprioceptive Neurmuscular Facilitation,PNF)对提高柔韧性、协调性等的优势已在其他项目中有大量证明,但在羽毛球领域尚未应用研究,本研究将在FMS功能性动作筛查(Functional Movement Screen,FMS)基础上,进行PNF拉伸训练相结合,旨在探索羽毛球教学训练新方法,为羽毛球科学训练提供借鉴。研究方法
镁和镁合金具有良好的阻尼性能、较高的比强度和比弹性模量,然而存在易腐蚀、强度较低的问题。铝和铝合金通常比镁具有更好的成形性和抗腐蚀性能,通过累积叠轧工艺制备镁铝层
软件系统在未来的城市建设中发挥着非常重要的作用,因此保证其功能正确性是进行软件开发的关键因素。层次状态迁移矩阵(Hierarchical State Transition Matrix,HSTM)是一种流
我国经济社会的稳定发展在一定程度上离不开小微企业的支撑,小微企业不仅在吸纳就业人员、增加居民收入、改善社会民生等方面发挥着根本性的作用,而且为市场注入了活力,促进了就业市场的繁荣发展。从2011年工信部等部委联合发布《中小企业划型标准规定》之后,政府又陆续出台了一些针对小微企业的减税降费、融资贷款以及企业科技创新扶持政策,并取得了一定的成效。虽然国家加大了对小微企业的扶持力度,但是小微企业在其发展
矛盾是事物变化与发展的根本动力。矛盾源于问题,有了问题就要解决。抓住矛盾就抓住了问题,弄清楚问题就为解决问题提供了可能。人类社会变迁的根本原因是人类社会复杂多样的矛盾。其中,社会基本矛盾是人类社会发展的动力之源,社会基本矛盾在不同的社会发展阶段是以社会主要矛盾的方式表现出来的。因此,适时认清和掌握不同历史时期社会主要矛盾的具体内容和表现,进而有效解决社会发展存在的各种问题,充分满足人民群众的需要是
目前,我国商业银行已经成为发展金融经济的主要力量,商业银行的发展与地方政府的监管扶持有着很大的关联关系。随着经济的不断发展,经济环境越来越复杂,地方政府对于商业银行的监管力度也在不断加大。在金融市场存在一定的脆弱性,整体银行业市场化不断加深的背景下,需要地方政府部门加快职能转变,推动商业银行金融业务不断发展。论文通过分析当前河北省相关政府部门在商业银行监管工作中的突出问题,利用文献研究以及调查研究
目的:比较现有预后评分系统在新诊断的慢性粒细胞白血病慢性期(CML-CP)患者中预测疗效及预后工具的有效性。识别治疗反应率和生存率明显较低的CML-CP患者,有利于进行早期干预。进一步评估ELTS评分作为预测“CML相关性死亡发生率”这一新指标的能力。方法:回顾性分析2010年1月至2019年8月在我院确诊并接受一线伊马替尼治疗的172例CML-CP患者,采用Sokal、Hasford、EUTOS
本文研究了从土壤中分离筛选到一株产普鲁兰酶的野生菌,根据其形态特征、生理生化鉴定和16S rDNA确定该菌为巨大芽孢杆菌(Bacillus megaterium)。对该菌株产普鲁兰酶能力进行
随着全球化程度日益加深和我国对外开放程度不断加大,越来越多的来自世界各地的外国人选择中国旅游、工作、学习和生活。Q市是我国北方著名的旅游城市,拥有丰富的旅游资源,与首都北京的距离近,近几年,前往Q市旅游、经商和求学的外国人不断增加,他们活动范围逐渐复杂化、分散化和流动化。外国人管理工作是公安机关出入境管理的一项重要内容,直接关系到国家安全和社会的稳定,面对新形势下外国人数量不断增多、活动形式日趋多