基于深度强化学习的流媒体边缘云会话调度策略

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:pingerk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的基于CDN和P2P技术的流媒体系统存在可靠性差、扩展代价高等缺点。云计算技术的成熟使流媒体服务向云形态转变,流媒体云可以很有效地解决上述问题。将流媒体云放置在网络边缘,可以减轻核心网络的流量负载和提高用户请求的响应速度。通常情况下,流媒体边缘云系统资源是按需分配的。相比于传统流媒体服务系统,弹性的流媒体边缘云对资源调度具有更高要求。目前,流媒体边缘云资源调度问题的求解方法大多是传统的启发式方法或规划方法,存在自适应性不足、时间复杂度高等问题,难以根据系统运行场景进行策略调节。强化学习以试错的机制与环境进行交互,能够自动适应复杂环境,通过使累积回报值最大的方式来学习到最优策略。因此,本文使用了强化学习方法来解决流媒体边缘云系统会话调度问题,完成的主要工作如下:1)在考虑迁移代价、负载均衡等约束的前提下,提出了一种基于深度强化学习的流媒体边缘云会话调度策略。具体地,根据流媒体边缘云系统调度问题的特点,定义状态空间、动作集合、回报函数等元素,采用卷积神经网络拟合策略函数和动作-价值函数,分别解决高维输入和动作-价值函数的存储和泛化问题,通过确定性策略梯度强化学习算法来训练神经网络。2)实现了深度强化学习算法,并且采用该算法进行了仿真实验。首先,搭建实验平台,编程实现基于确定性策略梯度的强化学习算法,然后根据算法流程,完成神经网络的训练。最后,进行用户请求接入的仿真实验,利用训练好的策略网络来处理用户的请求接入问题。综上,本文基于深度强化学习方法实现了会话调度算法,并且进行了仿真实验来验证算法的有效性。实验结果表明,该策略能够取得很好的请求接入效果,并且降低了迁移代价,缩短了算法的运行时间。同时,算法在不确定的流媒体边缘云系统环境中具有一定的适应性。
其他文献
塔什库尔干杏子沟铁矿位于华南成矿区木吉-阿克赛钦Cu、Au(Fe)成矿带。研究从矿区元素背景特征、共生组合关系、空间分布、在各地质单元中的分布、时间演化规律、元素分布与
<正> 六月三十日至七月二日,美国美中教育服务机构(ESEC)代表丹·斯诺先生来长春同吉林省高教局、中国科学院长春分院、长春地质学院,就84~85学年派英语教师组任教事进行商谈
期刊
阴离子交换膜在现代工业领域有着广泛的应用,如碱性燃料电池,海水淡化等等。然而如何简单方便的制备得到性能优异的阴离子交换膜是制约现阶段膜行业发展的一个瓶颈。离子交换
政府政务信息公开是社会主义民主政治的根本要求,也是依法治国的基本要求,而实现政务信息的公开和数据共享,在我国发展新形势下更凸显出了重要的社会意义。随着科学技术和网
<正>【片断1】播放歌曲《上学歌》,师生同唱,准备好学习用品,在轻松愉快的氛围中进入学习。师:那我问同学们一件小事情,请你告诉我,每天早上,谁喊你起床的?生:妈妈。师:这么
随着语义网中RDF数据的大量涌现,语义搜索引擎为用户搜索RDF数据带来了便利.但是,如何自动地发现包含语义网信息资源的站点,并高效地在语义网站点中收集语义网信息资源,一直
目的探讨加减黄芪汤治疗气虚型老年功能性便秘的疗效,以供临床工作参考。方法将我院收治的气虚型便秘患者30例纳入本研究,根据随机原则分组。对照组接受西药福松治疗,实验组
本文介绍了不同于盐酸、土酸酸化的非常规酸液氟硼酸、磷酸、低分子羧酸、硫酸体系及稠化酸酸压、水平井长效用的缓蚀剂开发与应用情况,并简介了非常规酸液的酸化增产增注机
会议
目的研究70岁及以上老年住院死亡患者的疾病构成、死亡年龄和季节分布、死亡原因及临终救治方式,为老年人群健康管理和疾病防治提供借鉴。方法回顾性分析2014年1月至2019年1
对20G高压锅炉管产生裂纹的原因进行了分析,结果表明是冷拔工艺不当所致。