论文部分内容阅读
目前各种无线接入技术纷纷涌现,形成了多个相对独立的网络,构成了一个无处不在的泛在网络。在泛在网络中,要达到无线资源的有效利用,关键就是要研究多个无线网络的负载均衡,Multi-Agent作为分布式人工智能的一个研究领域,近年来引起广泛的重视,本文将研究利用Agent技术解决泛在网络的负载均衡。
首先,本文针对泛在网络的局部自治性,为了集中处理网络的状态信息,从用户终端的角度出发,提出了一个基于Multi-Agent集中式强化学习算法的负载均衡模型。模型利用Agent的自主学习能力,在用户终端设置Agent作为算法的动作策略者,感知并适应复杂和不断变化的动态环境;各无线接入网络已有的负载信息和请求接入的业务信息等环境状态作为算法的输入,终端Agent根据各个网络的带宽信息选择网络接入,最终达到负载均衡。通过仿真验证了集中式强化学习算法可以实现网络的负载均衡,证实了算法的可行性,有效的利用了网络资源。
其次,由于集中式可靠性较小,中央Agent的瘫痪将导致负载均衡策略无法执行;考虑泛在网络中多个无线接入网络的分布性和异构性,因此本文再使用独立式(RLI)和群体式(RLG)两种分布式强化学习算法来解决负载均衡问题。在分布式强化学习算法中,RAN中的Agent作为学习和动作的策略者,RLI算法把自身网络的负载信息和业务信息做算法的输入,不考虑其他接入网络的负载信息,容易陷入单个接入网络的局部资源最优;RLG算法在RLI算法的基础上,在算法输入中考虑了整个泛在网络的负载信息,在一定程度上弥补了RLI算法最优策略选取的不足,但却增加了算法的复杂度、降低了算法的收敛速度。本文针对两种算法存在的局限性提出了改进方法:在Agent选择网络时加入Agent以前的均衡信息,作为一次迭代的网络选择改善估计。通过仿真证实了使用Multi-Agent的分布式强化学习算法能实现泛在网络负载均衡;验证了改进方法能更快的达到网络的负载均衡,有效降低网络的阻塞率,扩大系统容量。