【摘 要】
：
越来越多的应用基于大数据平台中的HBase表对海量数据进行高并发快速查询,但大数据集群中HBase表的存储设计和高效查询仍面临较多问题.本文为提高HBase表的高并发高效查询效果,提出了一种分表、预分区相结合的存储方法,有效解决了HBase表数据过多无法稳定存储及数据倾斜的问题,同时提出了一种在Spark模式下运用local的模式,根据所设计的RowKey进行负载均衡的高并发快速查询的方法,提高查询效率及稳定性.实验结果表明,上述方法能使数据均匀分布在集群中,同时具有较高的大数据量存储及查询性能.
【机 构】
：
广州农村商业银行,广东广州 510000
论文部分内容阅读
越来越多的应用基于大数据平台中的HBase表对海量数据进行高并发快速查询,但大数据集群中HBase表的存储设计和高效查询仍面临较多问题.本文为提高HBase表的高并发高效查询效果,提出了一种分表、预分区相结合的存储方法,有效解决了HBase表数据过多无法稳定存储及数据倾斜的问题,同时提出了一种在Spark模式下运用local的模式,根据所设计的RowKey进行负载均衡的高并发快速查询的方法,提高查询效率及稳定性.实验结果表明,上述方法能使数据均匀分布在集群中,同时具有较高的大数据量存储及查询性能.
其他文献
随着高校办学规模扩大,教师人数的增加,势必加大高校人力资源管理难度,特别是教师工资数据管理问题.虽然可以通过工资查询系统解决工资数据管理的难题,但是工资字段不是固定的,会随着时间发展而不断变化.由于工资查询系统使用的关系型数据库结构固定,要实现可变结构难度较大.本文提出利用可变结构的非关系型数据库能够让复杂的问题简单化,让工资的数据结构更清晰和简单,让原本复杂查询更简洁高效.
传统关系数据库能够很好地支持结构化数据的存储和管理,且具有完备的数学理论、完善的事务管理机制和高效的查询处理引擎,因此得到了广泛应用.但随着大数据时代的到来,传统关系数据库无法满足各种类型的非结构化数据的大规模存储和高效处理需求,因此出现了NoSQL(Not only SQL)数据库.本文首先对二者进行了介绍,然后又从多个方面进行了比较和分析.
本文依托某互联网金融企业的安全防护要求,建设面向内部服务器资源、服务组件、业务应用的网络攻击检测系统.首先梳理目前互联网金融企业存在的网络攻击类型和特点,对以往的工具类型特点、流量历史数据进行整理,并基于长短期记忆网络(Long Short-Term Memory,LSTM)构建流量异常检测模型,用来对比实际流量与预测流量的结果,判断当前流量是否属于异常流量.其次,构建基于ART神经网络的异常流量识别分类模型,通过不同类型异常流量和工具类型的学习样本对模型进行训练和记忆,对异常流量进行分类判断.最后利用S
CDIO教育模式的出现促使软件工程实践类较强的专业课程进行了一系列的改革和探索,本文就是在Java框架课程中使用CDIO模式进行改革和实践后的成果.使用CDIO模式让学生在“做中学”、 “练中学”,使用项目驱动和翻转课堂等教学方法极大地提高了学生的学习兴趣和积极性,让学生在学习相关知识后迅速应用到项目中,达到巩固和创新的目的 .
五年制高职学校规模不断扩大,系部日常教务管理变得更加复杂.为了提高系部教务管理中教师管理效率和处理海量数据的能力,为教师提供高效、便捷、丰富的一站式信息服务,将教务工作人员从烦琐的手工劳动中解放出来,需研究设计一个符合五年制高职系部实际情况的教务管理(教师工作量管理)智能化系统来帮助完善每天的教务管理.笔者设计的智能化系统前端基于React框架,后端使用轻量级的开发语言Node.js设计,能显著提高系部教师工作量管理的效率,为全校教务管理向智能化方向发展提供有效的参考.
突发公共卫生事件是高校校园安全管理的重大任务,高校作为培养高素质和可持续发展人才的基地,其教学管理和应对重大突发公共卫生事件的能力都是新时代下社会赋予的责任与义务.为解决高校公共卫生防护问题,校方领导需对校园安全进行精准部署,正确把握公共卫生事件的主导关系,积极培养学生科学安全意识的思想,逐渐形成高校常态化防护的机制.在此基础上,本文利用大数据技术构建突发公共卫生事件防控监测平台,对传染病进行科学预警,打赢高校防控战.
HTML5+CSS3是计算机Web方向的必修课程,其中网页导航条是网站各网页之间的纽带.为了让初学者短时间内掌握各类导航栏的制作要点,笔者设计了3个教学案例,安排一个课时来讲解相关知识点,目标是在有限的时间里让学生举一反三掌握不同导航栏的制作方法与技巧,提高学习效率.根据课后调查结果,该设计可以很好地达到预期教学效果.
为了弥补传统课堂教学和MOOC教学中不足,发挥学生主体地位,充分调动学生学习自主性和积极性,本文提出了基于SPOC的教学模式.首先,对基于SPOC的混合教学模式进行理论分析;其次,针对“数据结构”课程进行教学活动组织和设计;再次,介绍具体实施过程,包括课前、课堂、课后等教学环节;最后,通过学生获奖和获批项目为例说明取得的教学效果.
本文将课程思政元素融入到Visual C#程序设计的教学过程中,并从课程思政目标与课程体系设计两方面介绍了课程思政的实践探索过程,使得学生在学习知识技能的同时,也提升了他们的素质培养,实现了德才育人的根本理念,同时也为同类程序设计课程积累经验,并提供了一定的参考价值.
传统的计量装置运行误差检测方法检测时间过长,导致检测准确度低.因此,本文设计了基于大数据分析计量装置运行误差检测方法.该设计分析计量装置运行误差的不确定度,并基于大数据分析校正检测计量装置始动元件,设计计量检测装置的运行结构,从而实现计量装置运行误差检测.实验结果表明,本文设计的计量装置运行误差检测方法能有效减少检测时间,提高了检测的准确度,有一定的应用价值.