基于容器的分布式系统资源调度平台的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:liangzi_li1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和物联网的高速发展,新的业务场景层出不穷,云计算和边缘计算技术应运而生。一方面,云计算技术为用户访问互联网上海量计算资源提供了便利。普通用户不需要了解集群的内部原理,也不需要具备计算机专业背景知识,即可轻松获取大量云端资源。另一方面,云计算技术高延迟、高能耗的缺点限制了它的使用场景,而边缘计算将资源部署至更加靠近用户的边缘端,具有网络延迟低、宽带需求低等优势,可以适应智能家居、数字医疗、边缘AI等新兴应用对系统的要求。通过将云计算和边缘计算协同处理的方式,可以实现两者的优势互补,提高用户体验和系统资源利用效率。本论文结合云边协同的应用场景,通过使用虚拟化容器技术,实现对大规模分布式集群系统资源的管理。本论文主要研究工作包含以下几点:1,设计并实现了一套基于容器的分布式系统资源调度系统,该系统具备对集群内主机和容器的管理、分配、部署等能力。2,针对云计算与边缘计算协同的应用场景,设计并实现了优化蚁群算法,通过模仿蚂蚁觅食的方式寻找最优化任务调度方案,完成对GPU等系统资源的管理和分配,提升任务的分发效率和系统资源的使用效率。3,故障恢复机制的实现采用双机热备技术,提高集群的可用性。利用心跳机制实现系统对各节点状态的实时监控。利用日志的同步备份和增量更新特性,将关键日志同步至备份机器上,保证了热备份数据的一致性。4,功能测试和性能测试。经过测试,本系统具备对容器和主机集群的管理能力,可以实现任务部署、容器迁移等功能。性能测试方面,通过对不同调度算法和不同平台系统下的响应时间、整体吞吐量的对比分析,结果表明本系统具备高性能、容错能力和高可用特性。
其他文献
本文站在中小规模云服务供应商的角度,提出通过向亚马逊等大厂商租赁服务器来搭建分布式云服务平台的可能性。不同于传统的云服务提供商自建数据中心,通过租赁计算资源来构建数据中心可以大大降低云服务厂商的初期成本。本平台为用户提供服务功能链的部署服务,并收取费用。通过将不同类型的网络功能按需排列,就构成了一条服务功能链。为有需求的客户提供服务功能链是一个不容忽视的市场。针对这一新的平台模型,本文从三个方面进
随着物联网时代的到来以及计算机的广泛使用,各种应用和服务使得人们的生活品质愈发地提高,人们的生活愈发便捷化。但与此同时,随着数据量的爆发式增加,大量带宽资源被占用,特别是作为服务中心的云计算设备,容易在高峰期出现链路拥堵的情况。并且随着人们对服务质量QOS的不断提高以及智能应用例如自动驾驶的不断发展,传统云计算所提供的延时性渐渐无法满足需求,这时将部分计算放入边缘计算设备已成为了热点并被运营商等特
随着云计算、5G技术的快速发展,与日俱增的网络应用场景对虚拟网络功能(Virtual Network Functions,VNF)的灵活性与可定制化程度提出了更高的要求,需要设计新型网络协议算法来提供更加灵活可定制的队列调度、流分类等数据包处理方法。然而传统VNF中的数据包处理通过内核协议栈实现,代码冗长且流程固定,导致VNF中新型网络协议算法的开发门槛高、可定制化程度低。本文研究分析了VNF中新
随着新的网络服务类型不断涌现,以及在线视频等业务的大量推广,使得网络流量井喷式增长。而传统通信网络依赖专用、封闭硬件设备的特点,让网络扩容以及新业务的开发和部署都困难重重。网络功能虚拟化(Network Function Virtualization,NFV)通过软硬件解耦的方式,实现了使用虚拟化软件和廉价通用计算设备来提供各种网络功能。网络服务一般可以被分解为多个网络功能的组合,业务流按照顺序依
随着通信技术和软件技术的不断成熟,车联网的发展也越来越迅速,同样,车联网平台的风险也引起了越来越多人的关注。本文正是在车联网平台的基础上,使用大数据收集和分析技术以及相应的风险分析模型,并结合实际的车联网背景,基于《智能网联汽车产品测试评价白皮书》中的分析准则,建立了一套用于分析和评估车联网平台中不同对象风险信息的系统。整个系统包含了车载端和服务端,车载端包含视镜网、数据采集模块、消息中间件和数据
随着PCIe协议的发展,PCIe接口的产品速度越来越快,但数据传输过程中依然存在一些延迟,故降低PCIe接口的延迟已经成为当前研究的重点课题。因此,本论文针对上述问题,在深入分析物理层发送逻辑和接收逻辑的基础上,对加解扰模块和弹性缓冲器模块进行了优化,并进行了功能仿真和FPGA原型验证,以期降低PCIe接口的延迟。主要内容为:(1)在加解扰模块,通过两种方法进行了设计。一方面,采用常见的并行扰码,
网络流量态势感知能够快速准确地反映出当前网络流量的运行状况,也能够预测未来的网络流量运行趋势,是网络流量管理的一种重要手段。结合SDN网络和ONOS控制器的特点,本文设计并实现网络流量态势感知系统,其可以根据功能分为流量态势指标提取子系统、流量态势评估子系统和流量态势预测子系统。本文所做的主要工作如下:第一,设计并完成流量态势指标提取子系统。首先考虑到完备性和易得性分层构建流量态势指标体系;再设计
随着大规模计算能力的提升,人工智能话题火热,深度学习各领域发展迅猛,在诸多领域上深度神经网络已经达到人类水准,某些特定任务中甚至远超人类水平,其应用也慢慢融入社会的学习和生活之中。但人工智能背后的安全问题日益凸显,有研究表明深度学习及机器学习模型易受到对抗样本的攻击。对抗样本为在干净样本上添加特定的微小噪声所形成的输入样本,能使模型给出错误的结果。通过近几年研究,在对抗样本领域的研究主要分为对抗攻
容器是近年来出现的一种虚拟化技术,广泛应用于云计算领域,它极大的方便了云计算应用的部署,越来越多的应用转向了使用容器开发与部署。在众多容器编排管理工具中,Kubernetes正在成为一种事实的标准,它提供了一套集群自恢复机制,包括容器的自动重启、自动调度以及自动备份等。但是,Kubernetes的缺省调度器依赖于应用属主提供的资源分配需求,没有考虑实时资源的使用情况。并且随着多集群架构的应用,通常
随着互联网时代的来临,在线对弈类游戏已经融入到了全世界人民的娱乐生活中。棋牌类游戏凭借其简单的操作、丰富的策略性、较快的游戏节奏等特点,在传统线上平台上快速发展,获得了大批忠实的玩家群众。线上对弈,寓教于乐,在当前疫情阶段,得到快速发展。本课题基于真实的项目需求,为国际象棋类教学活动设计一个在线多人对弈系统。基于此,本文设计并实现了一款云平台下的棋类对弈系统,为全球棋类游戏玩家提供一个跨平台的对弈