5G系统的大规模MIMO天线需要根据小区中的用户分布频繁、实时地调整天线的方位角、下倾角和波束组合,以提高蜂窝网络的覆盖和接入性能。由于联合优化蜂窝网络中所有小区的天线参数非常复杂,传统的基于专家经验等静态配置方案已不能满足灵活快速的自适应天线配置的要求。本文提出了一种新颖实用的基于深度强化学习的实时三维大规模MIMO天线参数优化算法,用于联合优化蜂窝网络中各小区的天线参数。该智能天线优化算法在5G仿真平台上进行训练和执行,前期的准备工作包括用户和业务行为模拟,相关的用户分布和天线参数数据的产生和预处理,以及用户参考信号接收功率查询数据库的搭建。算法的具体研究分为两个阶段:第一个阶段是针对固定用户分布提出了智能天线优化算法,采用Policy Gradient框架,对输入神经网络的单个用户分布进行多轮次的训练,得到一个单用户分布强化学习模型,根据该模型可输出一个在该用户分布下较优的天线参数码本;第二个阶段是针对多场景用户分布提出了智能天线优化算法,采用Asynchronous Advantage Actor-Critic框架,将不同的用户分布输入到不同线程的神经网络进行异步训练,得到一个多用户分布强化学习模型,根据该模型可输出在训练集中的用户分布下较优的天线参数码本。最后在不同场景下与静态天线配置方案进行性能比较,本文提出的智能天线优化算法的平均用户参考信号功率提高了 2-4.3%,证明使用了智能天线优化算法的小区覆盖和接入性能优于专家经验的静态配置方案,表明使用机器学习、深度学习等人工智能方法,解决实际网络规划中的复杂问题可行的。