论文部分内容阅读
随着移动互联网的繁荣发展以及物联网的快速成长,各种新型应用也如雨后春笋不断涌现,如移动支付、人脸识别、可穿戴设备、无人驾驶、VR/AR等等。虽然移动终端的计算能力越来越强,但其因功耗、尺寸等限制,往往无法满足新型应用的计算需求。而传统的云计算模式虽拥有较高的计算能力,却往往有着较高的时延,无法满足用户的需求。为了降低用户时延以改善用户体验,同时一定程度上缓解网络负载,边缘计算应运而生。针对引入边缘计算后的新型架构,本文着重研究了边缘计算中的任务卸载问题,分别从动态环境下单用户任务卸载层面和多用户场景下的任务迁移与边缘服务器资源管理两个层面展开,并提出了基于深度强化学习的子任务自适应卸载算法SAODQN和基于多智能体和负载均衡的分布式任务卸载算法DTOMALB,可以针对各自场景做出合理的卸载决策,提高用户体验并均衡资源利用。本文的工作主要包括以下几个方面:(1)研究了在单用户—多服务器场景下,环境动态变化时的任务细粒度卸载问题。针对通信资源和计算资源在动态变化的情况,综合考虑了用户对时延和能耗的需求,将单用户细粒度任务卸载问题转化为通信和计算资源联合优化问题,并建模为马尔可夫决策过程模型,提出了基于深度强化学习的子任务自适应卸载算法SAODQN。该算法可以根据环境状态的动态变化,在卸载过程中,动态决策各个子任务的卸载策略,从而提高整体任务的用户体验。通过对算法的仿真实验,验证了本文提出的算法可以在不同的系统状态下针对不同用户的能耗、时延需求做出合理的卸载决策,减少任务的响应时间,并权衡设备的能耗,保证了方案的动态可扩展性。(2)研究了多用户单小区情景下的任务卸载机制。在单个小区的场景下,多个用户通过单个LTE宏基站与边缘服务器连接,并且可以通过该边缘服务器将任务调度到与之相连的其他边缘计算服务器中。针对多个用户在卸载其计算任务过程中可能会出现的竞争及自私现象,引入了全局性的负载均衡惩罚系数,从而最小化全局的用户任务的响应时间,并使得各个边缘服务器中的负载相对均衡。此外针对集中式任务调度随着用户数量增多而面临的维度爆炸和扩展性、动态性较差的特点,提出了一种集中式训练、分布式运行的算法模型。通过将各个用户建立为马尔可夫博弈模型,提出基于多智能体和负载均衡的分布式任务卸载算法DTOMALB。经过仿真表明,该算法在多用户单小区的场景下,相较于传统算法有一定的自适应性,相较于集中式算法降低了算法的复杂度,减少了整体用户的平均响应时延,并均衡了各个边缘计算服务器的负载,提高了系统的稳健性和扩展性。论文在第三章和第四章后半部分分别基于Pytorch框架进行了仿真实验,并和多种算法对比。实验结果表明本文提出的两种算法都可以在各自场景下做出合理的卸载决策。论文最后对工作和成果进行总结,并对论文中可优化的地方进行了下一步的研究展望。正文中共使用图21幅,表7个,参考文献60篇。