论文部分内容阅读
资源管理是网络控制的重要组成部分,特别是随着各种网络新业务的出现,使得其在网络控制中的地位日益突出。由于网络资源的有限性,如何提高用户满意度,获得资源的最合适配置,提高自身收益是每个网络运营商追求的目标。呼叫接入控制(Call Admission control, CAC)是网络资源管理的重要手段,它可以通过对不同的类型业务实施不同的接入策略实现资源的合理配置,达到提高网络收益和用户满意度的目的。论文主要使用强化学习优化方法解决综合业务网络和蜂窝无线通信网络的接入控制问题。在综合业务网络中,论文分别研究了固定报酬和累计报酬方式下CAC问题,建立了系统的连续时间Markov决策过程(CTMDP)。通过对CAC问题特征分析,结合事件驱动优化学习方法的思想,研究了基于后状态Q值更新方式的事件驱动Q学习。解决了算法在CAC中的应用问题,实验结果表明该算法能够有效解决CAC问题,并且节省存储空间。在无线蜂窝网络中,论文研究了切换呼叫优先的CAC问题。针对问题特征,建立了CTMDP模型。通过赋予切换呼叫更大的报酬提高切换呼叫的优先级,并采用事件驱动Q学习算法求解该问题。最后通过仿真实例说明,与总是接受策略相比,事件驱动Q学习能够提高网络收益,降低切换呼叫掉线率。