基于高校大数据平台数据集成系统的研究

来源 :武汉邮电科学研究院 | 被引量 : 2次 | 上传用户:jdsheny
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字化校园的建设,传统的数据集成系统在海量数据的环境下数据查询和加载的效率均有所下降,且难以融合非结构化、半结构化数据进行融合和分析,针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,设计并实现了一个基于MPP-Hadoop混合框架的的高校异构数据集成的系统,解决了现有数据集成系统难以融合多种异构数据源、海量环境下数据查询和加载效率低的问题。并以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据,进行数据融合,并与传统数据仓库产品Oracle搭建的现有高校数据集成系统以及第三方方案基于Hive数据仓库的高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性以及可行性并且为学校在学生的学习生活、心理等各方面的管理工作提供一定程度上的技术支持和指导。本文针对高校的信息化以及海量数据背景下的数据集成产生的问题,提出了优化的设计方案,主要的工作如下:(1)介绍了本课题的研究背景及意义,并介绍了数据集成技术目前国内外的研究现状。阐述分析并比较了目前数据集成中的主流技术。(2)对高校信息化建设中存在的问题进行了需求的分析,设计并实现了一个基于MPP-Hadoop混合架构的高校异构数据集成系统,为目前高校进行数据集成的过程中出现的处理数据量小、难以融合半结构化、非结构化数据提供了解决方案。(3)对系统建设中的关键问题数据加载数据过慢、查询效率低的问题以及解决思路进行了详细阐述。引入改进的蚁群算法和贪婪算法来解决数据加载及数据查询效率问题。(4)以学生行为轨迹数据为例与现有系统以及第三方方案基于Hive数据仓库的高校数据集成系统进行在数据查询和加载两个方面对比评测,较好的解决了目前系统存在的不足,分析并证明了本文系统的有效性。
其他文献
目的分析重症手足口病的临床特征,识别其早期症状,为重症手足口病的防治提供依据。方法对2010年3月至8月收治的重症手足口病和普通手足口病患儿的临床资料作回顾性分析。结果
目的探讨宫外孕的超声诊断应用价值。方法在2010年~2014年选取306例宫外孕患者作为临床研究对象,对照组中153例宫外孕患者使用腹部超声检查;观察组的153例宫外孕患者则给予Al
本文介绍了循证药学概念及实施方法,并详细阐述了其应用价值,包括新药准入,疗效判定,药物经济学以及中药评价系统等方面的应用情况,说明循证药学能克服传统药学方法的局限性,
目的观察总结尼莫地平联合单唾液酸四己糖神经节苷脂在治疗急性重度脑挫裂伤的临床疗效。方法对2010年1月至2011年12月治疗的重度脑挫裂伤患者,随机分为治疗组和对照组进行观
目的比较鼻内镜下鼻甲等离子射频消融联合骨折外移术和部分切除术治疗下鼻甲肥大的疗效及术后并发症。方法回顾性分析南华大学附属第二医院下鼻甲肥大患者186例,随机分为两组
无重叠区域多摄像机下的行人重识别,是指对单摄像头下的行人目标在其他无重叠区域的摄像头中重新寻找的过程,是智能视频监控的重要组成部分。行人重识别在图形搜索,刑侦探案
目的研究胱抑素C、尿微量蛋白在早期检测肾功能异常发生应用价值。方法选取脑卒中伴有糖尿病患者35例为观察组,选择同时期医院健康体检者34例为对照组。比较两组患者血清胱抑
甜菊种子阳畦育苗技术傅在秋,陈巍,刘少军,赵淑玲(山东省轻工农副原料研究中心)甜菊又名甜叶菊,全身均有甜味,其叶子含有的甜菊糖成为蔗糖甜度的150~300倍。又由于它具有低热量、易溶解、耐