HBase性能预测与资源配置优化技术的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:RichieHDD
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据和分布式相关技术日渐成熟的今天,数据库在业务系统中承担了越来越重要的作用。在面临海量数据时,提升数据库的吞吐量、降低操作响应时延成为互联网企业需要考虑的重要问题。在这个背景下,如何充分地利用硬件资源,在较低成本的硬件资源配置方案下满足线上系统的性能要求,成为了一个具有实际意义的问题和研究课题。针对上述的数据库资源配置优化问题,本文结合分布式系统以及数据库应用实践相关资料,选择了分布式数据存储系统HBase作为研究对象。使用随机森林算法对硬件配置参数与HBase吞吐量和响应时延的关系进行建模,设计实现了改进粒子群算法,对资源配置与资金成本关系的数学模型进行了优化,并在实际环境中验证优化结果,实现HBase资源配置方案的优化。本文研究内容包括以下步骤:(1)生成实验方案。查阅相关资料,获取与HBase性能相关的硬件配置参数。根据实验环境的硬件资源确定每个特征参数的取值范围,使用正交试验设计的方法得到实验方案,参照实验方案在HBase集群上进行实验。(2)构建预测模型。根据实验数据得到训练样本,作为随机森林算法的输入。使用交叉验证的方式构建性能预测模型并进行模型验证。根据模型验证方法计算模型误差率,作为模型预测效果的评估指标。(3)目标问题优化。对资源配置与资金成本的相关关系进行数学建模并得到目标问题。根据目标问题设计实现了改进粒子群算法进行问题求解。通过初始化种群、适应度计算、极值替换和粒子状态更新等步骤完成了目标问题的优化。对性能预测模型和改进粒子群算法进行验证分析,使用YCSB测试工具对2500组样本数据进行实验获取集群性能目标值,与随机森林算法以及支持向量机回归算法、人工神经网络算法、决策树算法构建的预测模型进行预测误差率的比较。对改进粒子群算法和遗传算法、标准粒子群算法、模拟退火算法的优化结果、算法收敛速度进行对比验证。实验显示本文提出的改进粒子群算法在原始配置资金成本上降低了25.6%,相比于标准粒子群算法、遗传算法和模拟退火算法的优化结果分别提高了17.8%、8.8%和6.9%。最终证明本文提出的资源配置优化方法可以在给定吞吐量和响应时延指标要求的情况下得到最优化资源配置方案。
其他文献
JavaScript是一种基于原型的动态弱类型脚本语言。作为弱类型语言,JavaScript程序中不能指定每个变量的类型,其执行器——JavaScript引擎在执行到相应的语句时才能对变量的类
格式化管辖协议的定型化和规模化特点为现代社会大规模生产消费提供了重要保障,尤其在电子商务合同当中更是充分发挥其降低交易成本,提高交易效率的显著优势。格式化管辖协议
目前,我国正处在全面建设小康社会的攻坚之年,全国各高校的资助管理机构承担着将国家资助资源正确引领到家庭经济困难学生身上的重任。本研究通过对计算机软件系统的开发,能
阴离子柱撑微孔材料是一类阴离子功能化的金属有机框架材料,具有优异的吸附分离性能,近年在低碳烃分离领域取得了重要突破,其中吡嗪类SiF62-柱撑微孔材料SIFSIX-3-Ni(SiF62’
网络交易平台发展迅猛,成为消费者重要的交易平台,传统法律往往难以对网络交易平台中出现的问题进行全面规制,网络交易平台的自治规则显得尤为重要。文章以淘宝平台自治规则
场效应细胞传感器是一种新型的,能实时监测体外培养的细胞电生理信号的传感器。在各类细胞电生理信号检测的方法中,具有操作简单、高通量、对细胞干扰与刺激最小、信号采集时
破产重整制度作为一种考虑债权人利益的同时积极拯救债务人并促使其复兴的制度,是我国新《企业破产法》的制度创新。破产重整制度的出现为解决保护债权人利益、助力企业经营
近年来,乳腺癌占据女性癌症发病率的首位,对女性的生命健康造成极大的威胁。作为一种无创、快速和廉价的技术,超声成像技术已成为诊断乳腺癌的重要方式。为了降低诊断的主观
目前,移动通信业务量与日俱增,人们对通信业务的需求也越来越广泛和多样化,可见光通信(Visible Light Communication,VLC)能够极大缓解未来繁杂的网络压力,为发展其它网络模
研究目的:2019年女排世界杯,中国女排以11战全胜夺冠。全国人民为之喝彩欢呼,各大新闻媒体争先报道喜讯,以女排为代表的女性体育也成为热议话题。回顾新中国成立至今,我国女
会议