基于深度强化学习的低轨卫星路由策略研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:dfyfl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
低轨(Low Earth Orbit,LEO)星座网络具有通信时延低、全球覆盖、通信容量大、发射成本低等特点,是实现全球无缝实时信息传输的一种有效方式。卫星网络路由技术是保证卫星网络各项业务顺利进行的关键,如何在复杂多变的低轨星座网络环境中实现稳定性好、通信效率高的路由是当前亟需解决的问题。本文以提升低轨星座网络路由性能为目标,提出一种基于深度强化学习的低轨卫星路由策略,该策略首先根据低轨卫星运行规律建立低轨星座模型及星座网络拓扑。在此基础上,针对卫星链路状态,设计了一种链路状态感知策略,通过链路状态预测、链路状态更新,实时维护两跳链路状态。然后,将低轨卫星路由算法与深度强化学习算法相结合,提出基于双深度Q网络(Double Deep Q-Learning Network,DDQN)的低轨卫星路由算法,将卫星节点作为智能体根据马尔科夫过程建立DDQN模型,以DDQN模型作为路由计算的核心,两跳链路状态作为模型的输入,最优下一跳节点作为模型的输出,利用值函数Q网络和目标Q网络感知卫星网络拓扑、学习路由决策策略,通过价值函数的约束,使DDQN模型在低轨星座环境下学习一种具有最短路径特性和负载均衡特性的路由决策策略。另外,针对星上路由故障情况,包括断路、环路、链路拥塞,该策略中设置了相应的处理机制,能够及时预防和处理路由故障,进一步提高了低轨卫星路由策略的适用性和抗毁性。最后,通过NS-3平台仿真卫星网络流量,在不同的网络情况下分析验证基于深度强化学习的低轨卫星路由策略的性能,由仿真结果可知,该路由策略能够适用于低轨星座网络环境,并在平均端到端时延、丢包率、系统吞吐量三方面性能表现良好。
其他文献
作为创新成果具体表现形式的知识产权,其重要影响对于现阶段的我国资本累计来讲显而易见。使用这一非现物出资的制度本应迅速发展适应市场,但目前我国知识产权出资的相关法律规定并不明确,不同部门法之间的不同规定导致实际操作中矛盾频现,直接导致了使用知识产权投资的风险加大,不利于知识产权的实际投产并产生收益。为了解决这一问题,以更好的适应现代经济的发展,本文主要通过将知识产权出资的理论和实践中存在的风险进行梳
作为国内首创的省际深度合作开发试点,自启动以来,粤桂合作特别试验区认真贯彻落实国家区域合作发展战略部署、粤桂两省区推进珠江——西江经济带建设行动计划和试验区建设实施方案,全力做好“大胆试验、用足政策、项目布局”三篇文章,大胆探索改革路径、创新合作模式,争取发挥示范作用、形成带动效应。然而,随着开发建设进程的加快,试验区的配套政策、产业结构、治理机制等方面难以与当前高效快速发展需要相匹配,制约了试验
微带天线是比较成熟的天线类型,但是又经久不衰、不断发展。微带天线具有体积小、剖面低等其他显著优点,但也存在增益低、工作带宽窄等缺点。新型人工电磁表面是一个新兴的热
随着社会经济的快速发展,人们对于财富的创造、积累与享用越来越关注。但人们对财富应该有一个全面的认识,不能盲目崇拜财富,陷入金钱至上的拜金主义。虽然财富是生活所必须
卫星通信系统具备广泛的覆盖范围和强大的通信能力,作为补充地面移动通信系统不足的通信技术而受到广泛的关注。在考虑差异化服务的固有不确定性以及容量请求的非均匀空间分布时,必须灵活调整卫星资源以满足不同的需求。其中,多波束卫星通过调度多个高增益的窄波束实现覆盖更大区域的目的,能有效降低卫星的有效负载并提高卫星系统性能,在提高通信质量和数据传输速率方面起着至关重要的作用,因此受到研究人员的广泛关注。如何将
公务员制度在我国已经推行了二十多年,期间,从中央到地方的考试规定中无一例外设置了“18至35周岁”的年龄条件。但2004和2005年接连发生了两起考生因年龄超过35周岁未能报考公务员而状告人事部门的案件。同时,近些年呼吁放宽公务员报考年龄的声音也一直不断。可见放宽公务员考试的年龄上限已成为不少公民的诉求。基于以上,本文认为需要重新对公务员招考中的年龄上限设定进行思考。由于国家机关录用行为具有双重性
深度神经网络有着很强的特征学习能力,以卷积神经网络为代表的深度学习技术,在图像处理、自然语言处理、视频处理等传统人工智能领域均取得了最佳成绩,在学术界和工业界掀起
轴孔装配是手机生产测试装配领域的常见操作,目前通常还是由人工完成。轴孔自动装配任务仍然是最近几年的一大挑战。传统的方法是根据静态分析求解轴孔平面的接触力模型设计
目的:通过对92例不明原因高胆红素血症新生儿尿苷二磷酸葡萄糖醛酸转移酶1A1基因(UGT1A1)多态性分析了解上海地区新生儿高胆红素血症UGT1A1基因多态性特点及相应的胆红素水平
交往是人类社会发展所特有的活动,马克思从实践的角度出发,循序渐进,对交往这一概念进行科学的概括。马克思的交往思想初见于《博士论文》中,直到在《德意志意识形态》中有关交往的内涵才全面展现,《德意志意识形态》中的交往思想也就成为马克思交往思想确立的标志,具有重要的研究意义与价值。本文立足文本,对《德意志意识形态》中的交往思想及其当代价值进行系统的研究,旨在对《德意志意识形态》进行文本考察;探究其有关交