传统关系型数据库向非关系型数据库迁移算法研究

来源 :华侨大学 | 被引量 : 0次 | 上传用户:dingzanzan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着物联网技术的应用和“互联网+”概念的提出,互联网中的数据量呈出指数式的增长从而由信息时代进入大数据时代。大数据时代的数据不仅在数据量上剧增还在结构、分布、价值密度及维度等方面有所改变,这些数据在并行化快速处理上的要求需要具有半结构化及非结构化数据存储、高扩展性和高读写行能的非关系型数据库及分布式计算模式来满足。传统关系型数据库无法满足处理大数据的要求,但是由于其广泛应用而在历史上积累了大量的数据,为了充分利用这些数据继续为用户提供服务、为企业创造更多的价值需要设计一种自动化或半自动化的迁移工具来完成传统关系型数据库向非关系型数据库的转换。另外,由于非关系型数据库与传统关系型数据库的使用接口有着本质上的区别,为了使迁移后原有业务应用能够适应新的数据存储模型推动向非关系型数据库的平滑过渡需要将非关系型数据库的原生操作接口进行封装并通过设计一种SQL操作中间件来实现这个转变。本文通过对数据库存储结构、大数据相关技术和HBase的操作接口的研究,设计实现了数据库迁移工具并对HBase的操作接口进行了封装。首先,对数据存储和迁移的相关技术进行了研究,深入地分析了传统关系型数据库的存储原理和设计规则、HBase数据库的架构和存储模式、Hadoop生态系统以及数据迁移设计的相关模型和技术。其次,针对传统关系型数据库的元数据进行深入分析提出并设计实现了表模式和数据由MySQL向HBase迁移的算法。然后,对HBase的原生API进行深入分析,利用SQL解析和Filter条件过滤并结合传统关系型数据库的操作习惯对其进行了封装。最后,通过设计实验进行性能测试,分析结果表明本文所实现的迁移工具和操作中间件能够快速有效地完成历史数据的迁移工作并在以后的使用过程中满足查询需求,为数据存储从关系型数据库向非关系型数据库的过渡提供了保障。
其他文献
计算机技术和模式识别技术的迅猛发展,极大地推动了生物特征识别技术在安全检测上的应用和开发。嵌入式系统以实际应用为中心,符合应用系统对功能、安全、成本、体积、功耗等
自20世纪70年代,图像处理自成一门学科以来,图像处理技术逐渐走进了人们的日常生活。近年来,随着物联网技术的长足发展,图像作为物联网中重要的信息来源,越来越体现出其重要
基于DHT的P2P网络中,虽然已经提出了很多算法解决负载均衡问题,但这些算法或者忽略了网络中节点的异构性、扰动性,或者在节点间转移负载的时候没有考虑其临近关系,从而影响负
合成孔径雷达(SAR)是一种利用微波反射信号成像的雷达,因为其具有全天时和全天候工作的特点,在军事领域应用广泛。随着SAR设备的普及,SAR图像也逐步应用到民用领域,比如海上
在石油化工、风电等企业中,设备状态监测是其进行安全生产的保证。但是目前的状态监测系统都是基于事后分析的,不能够很好的预测一些突发故障或者渐变性故障的发生,并且不能
随着社会信息化程度的不断提高,计算机网络和通信技术迅速发展,信息安全越来越受到人们的重视,数字签名是保障信息安全、保证数据完整性、实现身份鉴别的重要手段。基于秘密共享
软件调试对开发者来说是一个昂贵的、费时费力的过程,尤其是定位程序中的错误通常会耗费调试过程的大部分时间。能够减少错误定位时间的技术显然会对软件开发和维护的成本和
由于各种技术的发展,隐私问题成为当下很高的需求,这是因为越来越多的个人数据通过不同的组织,设备,和物联网(IOT)被分享,为个人数据的隐私与使用带来了风险,尤其是实现保密
基于数字图像的车牌识别技术是智能交通领域中的重要研究课题之一,在停车场管理、电子收费、城市交通监控等方面都有广泛的应用。经过多年来国内外研究者的共同努力,车牌识别
刑事犯罪既与罪犯的个人外部因素(例如家庭背景、成长经历、受教育情况等)有关,也与其生理状况等内在因素相关。本文尝试将数据挖掘技术应用于犯罪因素分析,力图从中获得一些