科学大数据云分析服务的性能优化技术研究

来源 :贵州大学 | 被引量 : 6次 | 上传用户:xuhonghuo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的发展,科学数据的爆炸式增长给其存储和分析带来了巨大的压力,如何高效的存储和分析科学数据成为一个巨大的难题。一方面,科学数据模型一般以数组为主,传统关系型数据库的数据模型是表结构,因此不能天然的支持数组模型,而是采用与分析型软件相结合的方式来进行科学分析。另一方面,采用RDBMS和分析软件相结合的方式会带来昂贵的成本;因此迫切需要一个能够有效存储和分析科学数据并能降低成本的系统。阵列数据库和云计算技术的兴起给科学大数据管理和分析需求带来了良机。阵列数据库以数组为一等公民,能天然支持科学数据的存储和分析;云计算采用先进的分布式计算及存储架构整合资源的方式向外提供资源服务,为用户降低了使用成本。因此,结合阵列数据库与云计算平台的优势为科学家和研究机构提供高性能科学大数据云分析服务,具有重要应用价值和现实意义。本文综合分析了当前多种阵列数据库和云平台架构,结合当前科学大数据管理系统的优缺点对科学大数据云分析处理系统进行了深入研究和性能优化。主要研究内容为:(1)构建了云平台Proxmox VE,为云分析服务提供了平台环境;(2)在云平台上设计并实现了科学大数据云分析服务原型系统FASTDB;(3)对FASTDB系统进行了两个角度的性能评估实验,为后续FASTDB的性能优化提供了基础;(4)提出了FASTDB系统的存储块分割算法CLD以及实现了简单的基于数组统计信息的Cost-based查询优化器,提高了科学大数据云分析服务系统FASTDB的查询分析性能。
其他文献
随着软件应用领域的不断发展,软件测试作为一种保证软件质量的有效方法已经得到了广泛的重视。而面向对象技术的迅速发展,对软件测试技术又提出了新的要求,并使得研究面向对
运动估计是视频压缩中普遍采用的一项技术,它已经被广泛运用到了当今的国际视频压缩标准中。它是去除视频数据中的时间冗余度的有效方法,运动估计的性能直接影响到编码的效率
在油田开发过程中,产能预测是油田开发的一项重要内容。油田产能的精确预测在于提取可靠的预估资料,其目的是为采油厂的各项职能活动提供决策依据。油田的开发过程具有不可重
数字减影血管造影(Digital Subtraction Angiography,DSA)是80年代兴起的一项医学影像技术,是数字放射学(Digital Radiography,DR)中重要的组成部分,但是在临床应用中,由于X
信息技术的发展,对全球的经济、政治、科教、军事等社会发展的各方面带来了重大的影响,不仅仅使人类社会获得了高效率和便利,同时也给人类社会带来了威胁和风险。各种利用软
电子现金因其具有离线交易、用户匿名、方便灵活、能有效防止拒付和恶意透支等特性而成为电子商务最重要的支付方式之一,并且已经成为未来电子货币的发展趋势。可分性是任何
集成了传感器技术、嵌入式计算、网络和无线通信四大技术而形成的无线传感器网络是一种新兴的信息获取技术,可广泛应用于工农业控制、生物医疗、环境检测等诸多领域。MAC层协
逆风区是一种强对流性天气中产生的天气现象在多普勒雷达速度图上的反映,是强烈降水区域的特有流场特征,该区域往往对应着强风,强降水,冰雹等灾害性天气。实现对逆风区的自动
交通流参数的正确检测与提取,是对高速公路监测与管理的重要基础。交通流参数检测方式多种多样,有电磁感应线圈、超声波检测器、微波检测器和红外线检测器等,而以视频交通流
为适应新世纪人才培养的目标,国内高校教育体制进行了大规模的改革,校与校之间合并、校区分散、学校规模不断扩大、专业设置日趋多样化,招生人数逐年增加,教学计划不断更新,