【摘 要】
:
随着网络规模的增大和新型网络应用的不断出现,网络流量呈指数级增长,如何根据网络的状态和需求找到一种实时的自适应的智能路由是提高网络资源利用和服务质量的关键。SDN(Software Defined Networks)的出现提供了灵活高效的网络控制,降低了路由优化的难度。数据驱动的方法适应并优化了网络的实际状态,随着机器学习在很多领域取得了非常不错的进展,许多研究者开始尝试使用机器学习来解决路由优化
论文部分内容阅读
随着网络规模的增大和新型网络应用的不断出现,网络流量呈指数级增长,如何根据网络的状态和需求找到一种实时的自适应的智能路由是提高网络资源利用和服务质量的关键。SDN(Software Defined Networks)的出现提供了灵活高效的网络控制,降低了路由优化的难度。数据驱动的方法适应并优化了网络的实际状态,随着机器学习在很多领域取得了非常不错的进展,许多研究者开始尝试使用机器学习来解决路由优化问题。深度强化学习在路由优化中利用黑盒方法计算路由,可以适应高度动态的时变环境。但在训练之前开销较大,随着网络规模的增大,网络中的服务和应用将变得越来越多,每当出现新的服务时,需要重新训练收敛,这限制了智能路由的灵活性和扩展性。因此需要进一步对SDN路由优化进行完善。本文对SDN路由优化进行了深入研究,提出了基于数据驱动流量感知的SDN智能路由方案,通过结合流量感知、深度强化学习和图神经网络,对SDN中的流量传输进行优化,实现实时、动态、自适应路由,使网络资源得到充分利用,链路利用率更高,网络负载更均衡,网络服务质量也有所提高。本文的主要研究内容和创新点如下:(1)基于数据驱动流量感知的SDN智能路由优化针对流量预测中时空依赖关系考虑单一的问题,本文提出了利用扩散卷积门控单元(Diffusion Convolutional Gated Recurrent Unit,DCGRU)对流量进行预测,由数据驱动,通过捕获历史数据的时间依赖性和空间相关性,对流量进行提前感知。在此基础上提出了基于TADDPG(Traffic-Aware Deep Deterministic Policy Gradient)的SDN路由优化模型,将流量感知结果作为智能体的输入,通过与网络环境的不断交互产生相应的路由策略,实现了SDN路由的实时、动态优化。(2)基于图神经网络的深度强化学习的SDN智能路由优化针对TADDPG模型在SDN路由优化中泛化性不足的问题,本文提出了基于图神经网络的深度强化学习的SDN智能路由优化方法DGDPG(Deep Graph Deterministic Policy Gradient)。利用图神经网络的特点,学习拓扑中节点与链路之间的关系,将流量请求信息作为输入,链路负载和中介中心度作为智能体的状态,路由路径作为动作,链路利用率和中介中心度作为奖励,提高了模型的泛化能力。即使面对训练过程中未见过的拓扑也能具有良好的性能。(3)基于改进型DGDPG的SDN智能路由优化针对DGDPG在SDN智能路由优化中动作空间探索不足和学习过程缓慢的问题,为了更加贴合路由优化的场景,使模型收敛效率更高,本文在初始化,经验回放和动作探索过程中进行了一定的改进,提出了IDGDPG算法(Improved DGDPG)。主要在DGDPG的基础上提出了初始化学习阶段使用启发式算法进行加速、优先经验回放机制和增加噪声增大动作空间探索的可能性,提高了样本利用率,减少了训练时间,提升了核心算法的收敛速度。为了验证基于数据驱动流量感知的SDN智能路由优化的有效性、收敛性和泛化性,本文搭建了SDN智能路由优化架构的仿真平台。通过实验,对比GCN、GRU等方法,结果表明DCGRU在流量预测方面具有更好的预测精度,准确率可以达到90%以上。将训练好的TADDPG和DGDPG模型用于训练中未见过的拓扑中,结果表明在80%的实验中,DGDPG模型的性能相对TADDPG模型实现了50%的改进,具有一定的泛化性。对比OSPF、DDPG和TADDPG等路由算法,结果表明IDGDPG模型具有更快的收敛速度,并且在训练一定次数后,平均时延降低了21%,吞吐量提高了16%,有效改善了网络质量,验证了该模型在不同流量强度下具有一定的有效性。
其他文献
随着“中国制造2025”战略的提出,工业制造业网络化、开放化、智能化的趋势越来越明显。基于实时工业以太网现场总线技术的运动控制器正在逐步替代传统的总线运动控制器。EtherCAT总线凭借其传输速率快、实时性和同步性强,拓扑结构灵活多样等诸多优点,成为运动控制领域控制器的研究热点。本文面向多轴运动控制,对基于EtherCAT总线的主站控制器展开研究和开发,主要内容如下:1.梳理EtherCAT技术的
世界森林面积减少,国内林木资源短缺,制约了地板产业的发展。为突破地板产业发展的瓶颈,同时响应党中央五大发展理念的“绿色”发展理念,新材料地板替代实木地板成为地板行业重要的改革方向之一。那么,为提高新材料地板的质检效率,对新材料地板的缺陷检测成为重要的研究课题。目前新材料地板的缺陷检测多为人工检测,其检测精度不高且耗时较长,同时一线质检员人数较多,生产现场存在粉尘、油漆、噪音等污染和设备使用的安全隐
随着科技水平的突飞猛进,人们对于电子产品的需求和依赖大大提高。印刷电路板组件(PCBA)作为电子产品中的核心元件,它的可靠性直接影响着电子产品的寿命。因此,人们一直在追寻探索一种高效清洁的PCBA清洗方法。而二氧化碳雪清洗在清洗金属表面,半导体元件,精密仪器等方面都有着良好的表现。不仅对电子元件表面无损伤,而且作为一种绿色清洗技术,它对环境的影响较小,没有残留副产物的产生。然而,系统性地利用二氧化
随着我国经济发展速度的提高,在工业高端制造领域,对加工能力有了更高的要求。“中国制造2025”明确提出将数控机床列为“战略必争领域”,发展数控机床产业已成为国家战略。近年来,自动控制技术、计算机技术以及人机交互界面技术发展都比较完善,在汽车、动车、飞机、航天、航空、兵器装备等工业领域,很多零部件存在各种样式的孔,数控钻床已成为这些孔在进行钻削加工时的首选。本课题来源于导师与四川省科技厅共同合作的省
并联机器人作为一类全新结构的工业机器人,经过半个世纪的发展,已经得到深入研究和广泛应用。相比于串联机器人,并联机器人具有精度高、刚度大、承载能力强、易于控制等诸多优势,被广泛应用于航天、航空、精密制造业等高精尖领域。以并联机器人为执行机构实现复杂型面、不规则孔洞等的原位高精度加工就是一种并联机器人新的应用场景。要实现并联机器人对不同类型工件的加工,首先需要对其机构自由度、运动学性能等方面进行研究。
宫颈癌一直危害着女性的身体健康,也是现代医学治疗领域中的一大难题。目前主流的治疗方式是采用化疗和放疗相结合,放疗一般又分为外照射和内照射。宫颈癌位于子宫颈部,如果采用外照射的放射方式,由于外照射放射剂量大而且范围广,从外向内进行照射,就会对其他正常的组织细胞产生伤害。所以一般采用近距离放疗的方式,它剂量低,辐射范围只针对肿瘤区域,粒子从内向外辐射,即能起到杀死肿瘤的作用,还减小了正常细胞的伤害,在
科学技术的发展带来了机器人技术的革新,从最初的只能示教再现的机器人,到具有初步感知编程能力的机器人,再到如今高度智能化的机器人,机器人技术经历了飞速发展的60年。如今,机器人在工业生产中扮演着重要的角色,展现出了巨大的发展前景。尽管机器人技术进步飞速,但六轴机器人的轨迹规划一直是一个难题,末端执行器在运行空间直线,空间圆弧等轨迹时,仍然会有描述轨迹的计算量过大,关节轴冲击过大和运行时间过长等问题,
SDN(Software Defined Network)是一种新型的网络架构,解耦控制平面与数据平面,实现网络的集中控制,有效解决了传统网络配置复杂、设备管理困难等问题,能更好的实现全局优化。但随着网络规模的不断扩张,单控制器部署有限的处理能力以及易出现单点失效等问题,已成为整个SDN网络的瓶颈。因而多控制器部署已成为必然趋势。但由于网络流量具有时变性和突发性,极易引发控制平面负载不均衡,致使网
叶片是航空发动机、燃气轮机等动力机械中的重要零件,其型面的加工质量严重影响着整机的工作性能,因此对其型面轮廓进行检测是十分必要的。叶片型面一般为变截面的扭转曲面,同时型面曲率变化较大,具有较大的检测难度。传统三坐标测量法通过获取叶片型面特定截面的轮廓数据评价出叶片加工质量,适用于精加工叶片的检测,无法反映出叶片整体的尺寸偏差,同时对检测环境具有较高的要求,无法实现叶片在线检测。随着光学测量技术的发
由于航空发动机机体结构复杂,具有拆装难、维修不易的特点,新手操作者对各种发动机零件类型的不熟悉,在航空发动机换发领域存在培训难上手、实践成本高等问题,因此,常利用目标检测方法对零件类型进行分类检测。但由于实际环境中零件堆放杂乱,容易出现遮挡的情况,利用传统的单一目标二维识别方法会因为无法提取足够的特征信息,易出现错误的检测结果,无法满足需求;同时,传统的换发培训流程是基于纸质或电子文档,培训效率较