Kafka中改进型Partition过载优化算法

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户：liongliong534

【摘要】

：

Kafka作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注。随着应用场景垂直化、多样化,Kafka现有的技术体系面临挑战。Partition过载问题(POP)指消息分发、消息

【作者】

：

颜晓莲章刚邱晓红

【机构】

：

江西理工大学软件工程学院（南昌）,江西北大科技园

【出处】

：

计算机技术与发展

【发表日期】

：

2020年12期

【关键词】

：

分布式消息系统 Kafka Partition过载问题协同管理 Broker性能 distributed message systemKafkaPartiti

【基金项目】

：

江西省教育科技项目(GJJ170571)

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

Kafka作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注。随着应用场景垂直化、多样化,Kafka现有的技术体系面临挑战。Partition过载问题(POP)指消息分发、消息订阅等操作引起Partition过度服务,并影响到物理载体Broker的性能。该问题是由Kafka中Partition文件配置管理的被动、僵化及孤立等不足所导致。针对此,提出一种改进型Partition过载优化算法(IPOOA)。该算法通过即时服务耗量、Partition相似度和配置文件自动修改相结合,实现消息分发预测以及

其他文献

广西传统文化的主体性建构

主体性是人类自我意识和理性思维觉醒的标志。广西传统文化主体性概念的提出既来自于全球化对差异的关注,同时也是广西民族文化求深层发展的内在要求。广西传统文化的主体性

期刊

文化主体性主体性建构人类自我意识文化适应能力深层发展人类命运共同体时代精神广西民族文化Guangxi traditional culturecu

人工智能技术给电视媒介带来的机遇和挑战

人工智能技术的应用能够为传统电视媒介开辟更多的想象空间,在技术升级、内容生产、人机交互等众多方面产生重要影响,促使媒介形态从"融媒体"向"智媒体"转变,重塑电视媒介的

期刊

人工智能电视媒介智能编辑内容创新

在幼儿园教学中实现因材施教

首先，幼儿3-6岁都是在幼儿园中度过的，如果幼儿在此时期能具有活泼的思维、活泼的个性、丰富的想象力，那么幼儿未来的学习之路不会存在痛苦，留下的只会是快乐与深入的体会。而想

期刊

因材施教教学目的幼儿园教学策略幼儿教师想象力

关于幼儿美术方面的指导策略

对于学龄前的幼儿来说，文字、数学等都过于刻板乏味，而幼儿美术却更为的直观形象，所以幼儿都比较喜爱并且很容易接受这样的一种艺术形式，幼儿美术还可以增强幼儿对身边事物的观察

期刊

美术教育幼儿艺术形式教育活动成长过程学龄前

浅谈旅游景区信息收集与发布系统的设计

本文以牛首山文化旅游区景区信息收集与发布系统的设计为例,阐述了在智慧景区建设过程中,设计对公众展示信息的统一通道,打造从信息的收集审核和共享到各类指定渠道的一体化

期刊

智慧景区策略管理审核发布

“7·5”事件后新疆人才流失问题研究

第二次中央新疆工作座谈会在坚决贯彻党中央关于新疆工作的大政方针的基础山,确立了社会稳定和长治久安这个总目标,以推进新疆治理体系和治理能力现代化为引领,以经济发展和

学位

“7·5”事件后新疆人才流失问题

遥感影像在六库城市地质灾害调查中的应用

根据地质灾害的特点,以六库城区排路坝滑坡和芭蕉河泥石流两地为遥感影像判译地质灾害实例,提出了六库城市地质灾害遥感影像特征判译标志。

期刊

地质灾害遥感影像特征滑坡泥石流云南六库Geological disaster Remote sensing image Landslide Mudr

日本新研究让沉入海底2000万年的孢子长成蘑菇

日本海洋研究开发机构近日宣布，其参与的一项国际研究使2000万年前随地壳变动而沉入海底的蘑菇孢子长成了蘑菇。这一成果显示了真菌强大的生存能力。

期刊

蘑菇孢子海底日本研究开发机构地壳变动

Kafka中改进型Partition过载优化算法

其他学术论文