【摘 要】
：
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架。框架首先定义了中间结果
【机 构】
：
南瑞集团(国网电力科学研究院)有限公司; 北京科东电力控制系统有限责任公司;
【基金项目】
：
国家电网公司总部科技项目(“物理分布、逻辑统一”体系架构下的支撑平台关键技术研究资助项目)~~
论文部分内容阅读
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架。框架首先定义了中间结果提前传输机制,通过限定范围的可控参数控制传输进程,将中间结果进行排序,传输低于负载均值的分片。然后介绍了分片的二次分拆原理,根据分片的大小动态决定分拆计划。完成分片的分拆之后,介绍了如何利用贪心启发式算法实现分拆结果的均衡分配,结合布隆滤波器实现了分拆后分片的传输。最后通过实验验证,文中提出的配用电负载均衡框架能够有效地提高配用电大数据分布式运算系统的效率,减少因数据倾斜造成的部分节点因运算任务过重而导致的总体执行时间过长现象。
其他文献
目的:研究危急值报告制度在放射科质量管理中的应用。方法:以2017年1～6月放射科入院治疗的134例患者作为对照组,2017年7～12月放射科入院治疗的126例患者作为观察组,观察组采用
本文从信号合成原理出发研究了一种基于相位干涉的相控阵天线外场校准新方法,并结合超定方程组求解推导了相位差公式.该方法利用移相器进行通道相移特定状态的切换,通过多通
<正> 历史的车轮在滚滚向前,改革已成为中国社会的大趋势,一场静悄悄的革命正在九百六十万平方公里的土地上扩展。它给我们古老的民族带来了新的生机,新的希望,使我们的经济
企业的绩效管理是企业管理的重要组成部分之一,是人力资源管理的重要内容,但是在目前我国国有企业的发展实践中却存在着很多绩效管理局限于形式,员工绩效难以提高的问题。其
采用正交试验,研究了原料及助剂用量对膨化竹纤维—水泥复合材料的表观密度、抗压强度和吸声系数的影响。结果表明,随着纤维用量的增加,表观密度呈直线下降,抗压强度下降到一