论文部分内容阅读
与前几代通信系统相比,5G根本性的变革之处在于它极大地拓展了无线通信的业务类型,5G可支持包括增强型移动宽带（e MBB）、超可靠低延迟通信（u RLLC）、大型机器类型通信（m MTC）在内的多种业务。随着无线通信系统的持续演进,可以预见下一代无线网络需要支撑的业务场景还将增加,这些业务对速率、时延、吞吐量等方面的要求各不相同。因此,传统的单一网络架构难以支撑如此多样化的业务需求。为了满足日益增长的差异化业务需求,基于软件定义网络（Software-Defined Network,SDN）和网络功能虚拟化（Network Function Virtualization,NFV）发展而来的网络切片被广泛认为是解决该问题的关键技术。通过引入网络切片技术,运营商能够在一个通用的物理网络上构建多个专用的、虚拟化的、互相隔离的逻辑网络,来满足不同应用的差异化业务需求。然而,网络切片的引入使得无线网络的管理与资源调度的复杂度急剧上升。首先,受限于物理资源的有限性,网络切片间的资源分配要在保证隔离性的前提下实现资源利用率的最大化。其次,由于网络切片尤其是接入网（Radio Access Network,RAN）切片本质上是一个高度动态的逻辑网络,加之用户需求的不确定性,使得传统的静态资源管理方案难以适用。另外,由于物理网络的云化架构,通过切分物理网络而构建的网络切片不可避免地会继承这种云化架构而产生不可控的回传时延,使得低时延业务的服务质量（Quality of Service,Qo S）无法得到保障。近年来,随着机器学习的发展,网络切片的配置与资源调度开始向智能化的方向演进。受益于机器学习对动态环境和用户需求的预测能力,智能化的切片配置与资源调度方案可以对网络切片进行自适应地动态调整,从而优化长期的资源利用率。因此,本文利用机器学习、随机博弈等工具,对5G/B5G网络中的切片配置与资源调度问题做了研究,主要内容包括以下四个部分:（1）核心网切片内小时间尺度下的重配置问题;（2）核心网切片间大时间尺度下的重配置问题;（3）动态场景下RAN切片的自适应配置问题;（4）支持多接入边缘计算（Multi-access Edge Computing,MEC）的网络切片资源调度问题。第一部分研究了核心网切片内的小时间尺度重配置问题,旨在利用深度强化学习来最大限度地减少长期资源消耗。为了解决此问题中因高维动作空间所引起的维数灾难,本文将动作分支架构（Action Branching Architecture,ABA）应用到深度Q网络（Deep Q-Network,DQN）中,将Q网络拆分为共享的状态值函数网络和多个独立的优势网络以减少不必要的Q值估计。然后,通过聚合状态值函数网络的输出和每个维度的优势网络的输出,得到了相应维度下子动作的Q值。最终,最优重配置决策由各个维度下的最优子动作组合而成。基于上述方案,本文设计了一个基于DRL的网络切片智能重配置算法,仿真结果显示,该算法可有效地提升物理资源的利用率。第二部分研究了核心网切片间的大时间尺度重配置问题。在已有研究中,模型驱动的方法缺少对流量需求的预测机制,因此会造成资源的浪费。另外,切片间大时间尺度的重配置涉及成本高昂且耗时的操作,数据驱动的方法难以应用。本文结合了这两种方法,基于预测区间与鲁棒优化提出了一个数据与模型联合驱动的智能化切片间重配置方案。在该方案中,首先设计了一个区间预测器（Prediction Interval oriented Predictor,PIP）用于预测切片中所有用户的聚合流量。PIP可以产生一个以预定的概率包含未来流量需求的区间,基于此预测区间,本文随后将切片间重配置问题建模为一个鲁棒优化问题,并对它进行了求解。数值仿真结果显示,该方案可以有效地降低系统的功耗。第三部分研究了动态场景下RAN切片的自适应配置问题。已有的动态RAN切片方案大多都采用了重量级的机器学习方法,这些方法需要与环境进行大量的交互来获得训练所需的样本,加之模型训练本身需要消耗大量的计算资源,使得它们难以应用在计算能力有限的RAN中。本文提出了一个大小时间尺度相配合的动态RAN切片配置方案,该方案可以在不同时间尺度上对RAN的频谱资源进行不同粒度的分配和调度。在大时间尺度上,本文将粗粒度的RAN切片配置问题建模为一个非线性整数规划,并利用动态规划进行了求解。在小时间尺度上,本文将细粒度的RAN切片自适应调整问题建模为一个随机博弈,并提出了一个轻量级的分布式学习算法用于求解该博弈的纳什均衡（Nash Equilibrium,NE）。仿真结果显示,与集中式优化算法相比,该方案的性能只比前者低约10%。最后一部分研究了支持MEC的网络切片资源调度问题。由于该问题本质上是一个双层优化问题,为了便于处理,本文将该问题建模为一个多领导者不相邻跟随者的双层Stakelberg博弈。在上层博弈中,各切片通过对计算资源和频谱资源的竞争,以实现各自利益的最大化。在下层博弈中,基于上层博弈的资源分配结果,各切片内部的全体用户通过竞争切片在上层博弈中所分到的资源,以实现计算时延和能耗的最小化。本文利用势博弈理论,证明了该双层博弈全局NE的存在性,并提出了一个分布式算法用于求解该双层博弈的全局NE。通过仿真可知,该算法与理想情况下的集中式算法性能差距在9%以内。