面向异构工业任务高并发计算卸载的深度强化学习算法

来源 :计算机学报 | 被引量 : 0次 | 上传用户:pngegeok
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
进入工业4.0时代,大规模互联分布式智能工业设备产生了海量的具有时延敏感和计算负载差异的异构工业任务,终端侧有限的计算能力难以支持任务的实时高效处理.通过工业无线网络将任务卸载到网络边缘侧服务器进行多接入边缘计算成为解决终端侧算力受限问题的一种有效手段.然而,工业无线网络有限的时频资源难以支持大规模分布式工业设备的高并发任务卸载.本文充分考虑异构工业任务高并发计算卸载中有限时频资源约束和建模难的问题,提出一种基于深度强化学习的动态优先级并发接入算法(Deep Reinforcement Learning-based Concurrent Access Algorithm with Dynamic Priority,CADP DRL).该算法首先分析异构工业任务的时延敏感性和计算负载时变性,为工业设备分配不同的优先级,动态地改变工业设备接入信道进行计算卸载的概率.然后,利用Markov决策过程形式化动态优先级高并发计算卸载问题,并采用深度强化学习方法建立高维状态空间下状态到动作的映射关系.针对动态优先级和并发卸载的多目标决策问题,设计了包含优先级奖励和卸载奖励的复合奖励函数.为保证训练数据的独立同分布,同时提高算法收敛速度,提出了带经验权重的经验回放方法.对比实验结果表明,CADP DRL能够快速收敛,实时响应,在实现最小卸载冲突的情况下为高优先级工业设备提供最高的成功卸载概率保证,性能优于slotted-Aloha、DQN、DDQN和D3QN算法.
其他文献
回顾国内外装配式建筑发展历程,针对目前我国装配式建筑应用现状,介绍装配式建筑提出背景和孕育过程,分析装配式建筑的优越性和目前在我国应用中存在的问题,提出建筑业企业应对装配式建筑的发展思考与建议,以期对装配式建筑大力推广应用具有积极的推动作用.
建设工程施工中引起的扬尘污染,已经成为城市大气污染的主要源头之一,引起了政府的高度重视.主要对建筑施工的扬尘污染治理的管控责任、治理措施进行了分析研究,以期有效改善城市环境质量,促进社会良好发展.
从核电工程水土保持的工作内容出发,探究了监理在水土保持工程实体、保护保持措施及竣工文件管理等内业方面开展的水土保持工作.分析工程建设过程中的水土流失风险,提出有效预防水土流失的监理方法,可预防水土流失,从而提高工程的生态环境保护效果.
电力工程监理行业亟需基于平台进行转型升级.电力工程数字监理平台的可追溯性作为平台技术的功能核心,是确保监理人员履职信息真实性的关键.论述了可追溯性与可追溯单元的概念,对电力工程数字监理平台的可追溯性进行定义,再对电力工程数字监理平台内部的可追溯单元进行确定及识别,通过可追溯单元阐明电力工程数字监理平台如何实现溯源验证,介绍了电力工程数字监理平台在实际中的应用.
对于含有地下结构的建筑工程,基坑围护的设计和施工始终是工程启动的首要任务之一,也是奠定项目施工安全的可靠保障.基于22A-05动迁房项目,对住宅项目基坑围护工程风险展开初步研究,分析水泥土重力式围护墙及其复合支撑的工程风险形成原因,寻找类似基坑围护结构中工程风险的管控对策和途径,以供工程建设者、策划、设计、施工和监理参考.
党的十八大以来,国家对安全生产的要求越来越高,胜利油田不断出台和修订相关安全管理措施和制度,以适应和满足安全生产及管理的实际需要.随着制度的逐步完善,各项安全管理工作取得了一定的成效,安全管理的局面逐步向好的一面转变,而要实现全面的转变需要一个较长的过程.通过阐述经济效益、经济利润和人的因素与安全管理方面存在的矛盾,总结了经验,提出了解决这些矛盾的相关办法.
近年来,屈曲约束支撑以其优异的消能减震性能,被越来越多地应用于工程实际,但其制作、安装的施工质量验收等方面,国家标准相关内容并不详细.通过查阅相关标准规范并结合钢结构工程施工验收经验,对屈曲约束支撑构件施工工艺流程和施工重难点进行了分析研究,明确了屈曲约束支撑构件施工质量控制要点.
以某大直径盾构法铁路隧道泥水盾构顺利始发及试掘进为基础,详细介绍了盾构软弱地层中超浅覆土始发、穿越市政管网、通勤道路、不良地质下盾构停机地表沉降等关键技术的控制以及关键参数的选择,为后续同类型工程提供参考.
近年随着边缘计算的兴起,边缘计算和云计算结合形成的终端边缘云(端边云)协同的层次型分布式架构尽管可在高计算能力服务、高存储能力服务和低延时服务等方面满足应用需求.但在数据安全和多方可信交互等方面仍面临很多挑战.作为一种去中心化的分布式账本技术,区块链具有数据不可篡改、不可伪造、可追溯和由多方共同维护的特点,将区块链融入到端边云架构中可以使多参与方之间进行互信的数据交互,确保数据完整和可用,但由于区块链在系统架构、隐私安全、对节点资源要求和多方共识方面的特点,其与端边云架构相融合时仍面临诸多挑战:区块链和端
在移动边缘计算中通过将终端设备的计算任务卸载到边缘服务器,可以利用边缘服务器资源解决终端设备计算能力不足的问题,同时满足移动应用程序对低延迟的需求.因此,计算卸载备受关注并成为移动边缘计算的关键技术之一.本文对移动边缘计算的计算卸载研究进展进行深度调研.首先,总结归纳出两类计算卸载方法——基于启发式算法的传统方法和基于在线学习的智能方法;从最小化延迟时间、最小化能耗、权衡时间和能耗三个不同优化目标对基于启发式算法的传统计算卸载进行分析对比;梳理了基于在线学习智能计算卸载采用的底层人工智能技术;然后介绍了边