论文部分内容阅读
随着互联网的发展,云计算技术日益成熟,其蕴含的巨大商业前景吸引了越来越多的企业进入云计算市场提供云服务,从而形成多云平台共存的竞争市场。在这个市场中,多个云平台互相竞争吸引用户,并通过收取费用来获得收益。在竞争环境下,云平台需要合理的定价策略来最大化收益。通过查阅大量文献,目前相关研究中没有考虑到激烈竞争环境下存在多个主动定价的云平台,且将其定价问题构建为重复博弈的情况。基于此,本文对竞争环境下云平台定价策略进行分析。在云计算市场中,多个云平台互相竞争,其定价策略互相影响,从而会周期性地不断更新最优定价,因此竞争云平台定价问题是一个复杂的马尔可夫博弈问题,本论文将基于两种多智能体强化学习算法—Nash Q-learning和Minimax-Q来解决此问题。本文主要研究工作如下:(1)首先根据云平台激烈竞争的特点,给出博弈的基本设定,包括云用户选择行为的推导、云平台成本的设定和云平台期望收益的计算方法。(2)在马尔可夫博弈的框架下,从直观上将多个云平台在每个周期的竞争定价过程看作一般和博弈,结合均衡策略,使用Nash Q-learning算法分析了竞争云平台的均衡定价策略。由于Nash Q-learning算法存在多个纳什均衡选择的问题,而相关文献并没有给出具体且有效的选择方法,因此,本文首先根据期望收益和Fictitious Play(FP)算法提出了四种纳什均衡选择方式,并根据这四种方式训练得到了四种不同的均衡定价策略。然后通过这四种均衡策略的相互对比,以及与云计算市场两种实际情景下的定价策略的比较,发现由FP算法得到的两种均衡策略具有相对更好的表现。(3)由于云平台激烈竞争的特性,因此在马尔可夫博弈的框架下,基于市场中只存在两个主动定价的云平台这一设定,从零和博弈的角度,使用MinimaxQ算法分析了竞争云平台的定价策略。首先使用Minimax-Q算法和联合Qlearning算法训练云平台得到了四种不同的定价策略。然后在云计算市场的三种实际情景下,将这四种策略与其它定价策略进行了对比分析,发现由MinimaxQ算法得到的两种Minimax策略在每种情景下都占有主导地位且表现稳定。最后将两种Minimax策略与由Nash Q-learning算法得到的四种均衡定价策略进行了对比,发现Minimax-Q算法在本文云平台激烈竞争的设定下具有更突出的表现。此外,实验发现由Minimax-Q算法和联合Q-learning算法得到的四种定价策略选择低价格的概率较低。实验结果证明了价格战的方式并不利于提高长期收益,而且充分验证了Minimax-Q算法更适合于研究本文激烈竞争设定下的云平台定价策略,为实际环境中竞争云平台定价策略的优化提供了指导。