雾无线接入网中基于深度强化学习的分布式边缘缓存方法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:wyman_wmw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能设备和移动应用服务的快速增长给无线网络带来了巨大的流量压力。雾无线接入网(Fog Radio Access Network,F-RAN)通过将流行的文件放置在用户身边,可以有效地提高无线网络的性能,因此越来越受到研究人员和工程师的关注。在雾无线接入网中,雾接入点(Fog Access Point,F-AP)是配备了有限的存储和计算资源的边缘设备。由于时变的用户请求和F-AP有限的存储容量的约束,每个F-AP均需要策略性地缓存文件,以获得更高的缓存效率。基于传统优化算法的分布式边缘缓存方法,大多假设文件流行度是已知且静态的,这是不符合真实情况的。产生这一问题的原因是传统优化算法并不适用于解决具有动态假设的缓存优化问题。针对这些问题,基于时变且未知的文件流行度分布假设,本文就雾无线接入网中基于深度强化学习的分布式边缘缓存方法展开了研究。首先,研究了在雾无线接入网中文件流行度未知时的分布式边缘缓存方法。对分布式边缘缓存优化问题进行建模,其优化目标被设定为最大化每个F-AP的长期净通信利润,即移动网络运营商对用户请求所收取的费用减去通信过程中所有的通信传输成本。之后,利用强化学习算法来解决这一缓存优化问题,并基于当前的雾无线接入网架构和优化目标依次定义了RL中的相关重要参数。提出了一种时变个性化的用户请求模型产生用户请求数据以构成强化学习训练过程中的外部环境。最后,为解决强化学习中经常出现的维数爆炸问题,并加快算法收敛速度,参考之前利用RL解决缓存优化问题的思路,提出了一种基于双层深度Q-网络(Double Deep Q-Network,DDQN)的分布式边缘缓存算法来寻找最优的缓存策略,其中DDQN算法是一种深度强化学习算法。仿真结果表明,该算法的性能比传统缓存方法提高了近一半,此外,和强化学习相比,基于深度强化学习的分布式边缘缓存算法收敛速度更快,缓存性能也更好。其次,考虑到用户请求会受到内容推荐的影响,通过引入合理的内容推荐可以降低用户请求的不确定性和预测难度。因此,在上述研究的基础上,对雾无线接入网中文件流行度未知且考虑动态内容推荐的分布式边缘缓存问题进行了研究。首先,对雾无线接入网进行重新建模,在其中引入了内容推荐机制。之后,将推荐策略合并至原有的缓存策略中,从而将联合的缓存和推荐策略转化为单一的缓存策略,使得后续相应的训练复杂度减半。为了匹配内容推荐策略,在原有的用户请求模型中增加了内容推荐策略相关的影响机制。最后,仍以最大化每个F-AP的长期净通信利润为缓存优化目标,提出了一种考虑时变内容推荐时基于DDQN的分布式边缘缓存算法来寻找最优的缓存策略。仿真结果表明,内容推荐可在一定程度上提高原有缓存算法的收敛速度并提高其缓存性能。最后,在上述研究的基础上,对雾无线接入网中文件大小不一致且流行度未知时考虑时变内容推荐的分布式边缘缓存方法进行了研究。现有的大部分涉及边缘缓存未编码缓存方法的研究都假设云服务器中的文件大小一致,尽管这一假设可以极大地简化缓存策略的建模和优化过程,但它并不符合云服务器中真实的文件状态。因此,在当前的系统建模中取消了对云服务器中文件大小的限制,并对考虑内容推荐的时变个性化用户请求模型进行了相应的扩展。之后,提出了一种具有动态上限的“预分割”机制作用于F-AP的文件缓存过程。为了解决该机制中存在的一些问题,又提出了一种“懒惰”更新机制作用于相关参数的训练过程。基于上述设定,以最大化每个F-AP的长期净通信利润为缓存优化目标,对考虑时变内容推荐的分布式边缘缓存问题进行重新建模。最后,提出了一种文件大小不一致且考虑时变内容推荐时基于DDQN的分布式边缘缓存算法来解决上述缓存优化问题。仿真结果表明,所提出的缓存算法可以适应云服务器中文件大小不一致的情况,且F-AP内当前缓存文件所占据的缓存容量可根据用户请求进行动态调整。
其他文献
柔力球于1991年由山西晋中卫校的白榕教授所发明,经过三十年的发展,柔力球项目从原本的对抗形式增添了表现难美性的套路形式。并在2017年作为群众性比赛项目进入全运会,分为花式柔力球、网式柔力球两种赛事,包括单双人、集体项目六项。随着赛事规格逐步提高,对运动员技术能力的要求也更加严格。本研究以北体大柔力球代表队备战2017年全运会的技术训练安排为研究对象。采用文献资料法、专家访谈法,逻辑分析法、数理
在医疗诉讼中,病历作为“关键先生”的证据作用有目共睹。随着医疗信息技术的飞速发展,HIS系统、LIS系统、移动查房、移动护理等与电子病历息息相关的信息系统越来越多地应用于临床工作中,传统纸质病历正逐步被电子病历所取代。时至今日,电子病历系统日臻完善,功能强大,电子病历在医疗诉讼中作为证据出示的案例逐渐增多,在对电子病历证据保全的过程中出现了如保全主体缺乏公信力、传统保全方法落后、保全费用负担规定不
党的十九大报告提出建设教育强国要求落实立德树人根本任务,培养德智体美全面发展的社会主义建设者和接班人。中职学生属于青少年,正处于“拔节孕穗期”,需要精心引导和栽培,中职学校应当为学生提供多种可能发展的机会,促进学生全面发展。社团作为中职学生的第二课堂,与课堂教学相辅相成,是落实素质教育与发展学生核心素养的重要环节,关系到担当民族复兴大任的时代新人的培养。近几年来,很多中职学校逐渐认识到学生社团的重
随着低频段5G的商业应用,5G毫米波的发展也日新月异。基于多波束阵列的大规模MIMO技术是5G的核心技术之一,多波束阵的每个天线单元都对应着一个射频收发通道,而中频(IF)电路和数模转换(DAC)电路是介于基带和射频之间的不可或缺的一部分关键电路。本文针对毫米波大规模阵列系统中的DAC和IF电路开展研究,主要工作如下:1)设计并实现了一个可支持100MHz模拟基带带宽的DAC电路板,包含了DAC的
为应对气候变化对人类社会的影响,习近平总书记提出了中国2030年碳达峰和2060年碳中和的宏伟目标。中国钢铁行业是碳排放大户,而高炉煤气是钢铁行业中最主要的CO2排放源。对高炉煤气进行CO2捕集不仅有助于冶金工业碳减排,还可以增加高炉煤气热值,从而带来经济效益。本文为探索高炉煤气氨法脱碳吸收过程的传热、传质、化学反应的关系,根据氨水吸收CO2的基础理论,设计高炉煤气氨法脱碳吸收塔,基于质量、热量的
随着无线通信技术的发展,第五代(5G)及未来通信系统朝着更高用户密度、更高吞吐量和数据容量的方向发展。数字预失真技术(DPD)因灵活、稳定等特点,广泛用于发射机线性化中,但全新的5G应用场景为该技术带来了大带宽、高峰均比(PAPR)等难题。本文重点研究了5G系统中宽带功放的行为模型和数字预失真技术。首先,针对宽带信号的高PAPR问题,研究了峰值因子降低(CFR)技术在DPD系统中的应用,在联合CF
随着我国人口老龄化日益加速,心血管的患病率逐年增加,死亡率居各类疾病之首。房颤作为临床上常见的持续性心律失常疾病,会增加患者中风、心力衰竭和冠状动脉等高危疾病的发病风险,患病率和死亡率较高,因此提高临床对房颤的预防率、诊断率和治疗率十分重要。本文采用穿戴式心电设备采集临床数据,借助特征选择和机器学习技术优化房颤智能检测模型,以期实现房颤早期预警,减轻医疗负担和经济压力,节省宝贵的医疗资源。本文从数
亚胺化合物,在有机合成化学中有着极其广泛的应用。如Mannich反应可合成β-氨基羰基化合物,Strecker反应可合成α-氨基酸衍生物等。近年来,亚胺与中性烯烃化合物的aza-ene反应也得到相应的关注,并被广泛用于烯基胺类化合物的合成。由于中性烯烃化合物的活化,需要较为苛刻的反应条件。因此,其aza-ene串联反应的研究,目前仅有两例类似的报道。即强Br?nsted酸催化下,仅芳醛亚胺可与烯烃
在各项先进科学技术不断实现革新与升级的情况下,互联网金融也实现全面迅速的发展,经济以及社会在进行发展的过程当中获得巨大的动力支持。在这种情况下,很多的非金融机构运营当中通过互联网平台拓展金融业务,互联网金融产品与服务变得更加丰富多样,消费者群体规模不断扩大。正是在互联网金融的影响作用之下,原有的金融产业模式发生了显著的变化,能够更好的迎合与满足市场的实际诉求,然而,银行实际开展各项传统业务活动的过
高炉煤气是由钢铁生产过程中的炼铁高炉生产的重要资源,而高炉煤气中含有高浓度的羰基硫,它会导致环境污染、设备管道的腐蚀以及后续工业过程中催化剂的中毒。但是一般用于脱除无机硫的方法无法脱除化学性质稳定的羰基硫,目前精度较高且成本低廉应用最广的方法是用催化水解的方法来脱除。但是一般的羰基硫水解催化剂容易因为硫沉积导致孔道结构被堵塞破坏,活性位点被覆盖,使催化剂活性严重下降。基于以上背景,羰基硫水解催化剂