大数据系统综述

来源 :中国科学:信息科学 | 被引量 : 0次 | 上传用户:wanghui1234567890
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学、技术和工程的迅猛发展,近20年来,许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是"无限"的数据,例如,在光学观测和监控等应用中,数据都是源源不断而来的,形成了"数据灾难"),大数据的概念也随之再次引起重视.与传统的数据相比,除了大容量等表象特点,大数据还具有其他独特的特点,例如大数据通常是无结构的,并且需要得到实时分析,因此大数据的发展需要全新的体系架构,用于处理大规模数据的获取、传输、存储和分析.本文对大数据分析平台进行了尽可能详尽的文献调研,首先介绍了大数据的基本定义和大数据面临的一些挑战;然后提出了大数据系统框架,将大数据系统分解为数据生成、数据获取、数据存储和数据分析等4个模块,这4个模块也构成了大数据价值链;随后讨论了学术界和工业界中和大数据相关的方法和机制;最后介绍了典型的大数据系统基准和大数据的一些科学问题.本文意图为非专业读者提供大数据的全景知识,也为高级读者定制自己的大数据解决方案提供辅助思想,希望能够对大数据相关的科技和工程人员起到一些参考作用.
其他文献
虾酱是我国及东南亚沿海的传统虾类食品之一,其丰富的营养和独特的风味深受海内外食客青睐.(一)虾酱原料用虾是浮游甲壳类中的几种,其中主要品种为:(1)中国毛虾;(2)日本毛虾;
本文采用微波共沉淀法,利用尿素作为沉淀剂,将硝酸盐溶液中的Ni2+和Co2+转化为均匀的沉淀物Ni0.8Co0.2(OH)2前驱体,制得的Ni0.8Co0.2(OH)2前驱体与α-Ni(OH)2结构相一致,具有较大的
目的研究高迁移率族蛋白1(HMGB 1)在大鼠癫痫持续状态后的表达情况,以及给予HMGB 1抑制剂甘草酸干预对大鼠癫痫持续状态后血脑屏障的影响。方法将SD大鼠随机分为3 h对照组、
目的:了解不同致龋力的变异链球菌临床分离株(593号高致龋力临床株和18号低致龋力临床株)在生物膜状态不同时间段合成胞外多糖的能力差异。方法:①在聚苯乙烯塑料片上分别形成3、
历史像一面镜子,既可以照出过去,又可以照出未来。一个国家、一个民族为了发展,需要研究自己的历史,一个政党为了承担他的历史使命,也需要知道自己从哪里来,明了向哪里去,落实怎样到
<正>纸浆黏度主要用以表征纤维素分子链的平均长度,纸浆黏度大小不但可以间接表示纤维素在蒸煮和漂白等工艺过程中被降解破坏的程度,而且可以进一步评估成浆的物理性能优劣情
期刊
本文旨在研究一类模板剂,用于固相合成磷酸盐和钒酸盐类发光材料时起模板导向作用,以降低这两类荧光粉的合成温度,起到节约能源的作用。在合成以磷酸镧,钒酸钇为基质的稀土发光材
音乐与人生联系太紧密了,音乐并非像有些人认为的那样,是茶余饭后有个响头,听起来很高兴。音乐其实从它的产生到发挥作用,跟人生,甚至跟社会都有很密切的联系。 The connect
信用评价是建筑市场信用体系建设的重要方面。但目前在招标代理机构的信用评价方面,仅有福建省与黑龙江省出台了用于评定招标代理机构信用等级的《暂行办法》。首先通过对比