随着物联网以及移动互联网的飞速发展，对无线数据流量的需求日益剧增。为了实现下一代无线通信系统超高容量、高数据率的愿景，增加接入站点的数量部署密集网络，缩短目标用户与接入点的距离，以提升对频谱资源的复用效率，是应对网络数据洪流的有效方法之一。另一方面，在接入站点部署多天线，是网络密集化的另一个途径，多天线技术开拓了空域自由度，通过多天线信号处理以获得分集与复用增益，从而进一步提升系统的频谱效率。因此，多天线密集网络是实现网络容量提升的重要使能技术。
　　由于多天线密集网络呈现出新的特点，传统的网络容量性能分析与优化方法不再适用。一方面，随着接入站点数量以及类型的剧增，加剧了密集网络中站点位置的不确定性，传统的基于六边形的确定性网络拓扑模型无法表征站点的不确定性，此外，接入站点数目的庞大导致依赖于系统级仿真的性能评估方法复杂耗时。另一方面，密集网络场景下，随着用户以及接入站点数量的剧增，对于频分双工通信系统而言，依赖于信道估计、反馈的信道状态信息(CSI)获取机制的开销增大，导致接入站点难以获得理想CSI。而非理想发送端信道状态信息(CSIT)，是影响多天线系统增益的重要因素。
　　结合多天线密集网络所呈现出的新的特点，本文基于随机几何、概率论工具，建立多天线密集网络的理论分析框架，以评估不同场景下的网络容量性能，本文的工作将为密集网络的部署、优化以及演进提供重要理论指导，本论文的主要贡献以及研究成果总结如下:
　　1)针对密集网络场景下，接入站点的实际部署通常导致站点之间呈现排斥特性，旨在探索更加实际的网络拓扑模型下，网络容量的理论分析方法，研究网络容量与天线数、基站密度等系统参数的理论关系。
　　本文考虑一个双层多天线密集异构蜂窝网络，利用具有排斥特性的Ginibre点过程(GPP)去建模宏基站与小基站的空间位置分布，为了便于分析，在理想CSIT和迫零波束成型(ZFBF)的假设下，首先推导了平均用户速率的确切表达式。为了得到更加易于处理的结果，本文采用平均干扰信号比增益法，考虑到GPP网络与泊松点过程(PPP)建模的网络在信号干扰比分布方面存在某种相对近似关系，利用该近似关系分析速率，从而得到平均用户速率的近似表达式。基于可分析性较强的近似表达式，本文进一步讨论了基站分布的排斥程度对网络区域频谱效率的影响以及区域频谱效率与系统参数的关系。研究结果表明，随着基站之间排斥程度的增大，各层最优调度用户数增多，表明系统可获得更多的复用增益。此外，相比于PPP网络，GPP网络中部署更多小基站所带来的区域频谱效率的提升更加显著。
　　2)针对多天线密集网络基站端难以获得理想CSIT以及干扰是限制多天线密集网络性能的主要瓶颈，旨在考虑非理想CSIT以及两种不同的发送端多天线信号处理方式，开展对多天线密集网络的容量研究。
　　利用PPP对多天线密集网络的基站位置分布进行建模，并利用高斯马尔科夫一阶自回归模型建模理想CSIT与基站端非理想CSIT的关系。首先考虑基站端通过ZFBF同时服务多个用户的多天线信号处理方式，采用二阶矩匹配法推导经过波束成型处理后等效信道增益的概率分布，并利用随机几何工具推导获得平均用户速率与区域频谱效率的表达式，并据此推导获得了基站最优调度用户数。研究结果表明，当基站调度用户数设为最优时，区域频谱效率与基站天线数的增长关系呈线性率，CSIT精确度仅影响区域频谱效率与基站端天线数的增长斜率。此外，考虑到小区间干扰严重制约密集网络的性能，本文还考虑了基站端采用协作波束成型的多天线信号处理方式下的容量性能，提出以用户为中心的空域干扰消除策略。并在存在CSI反馈时延、回程链路交互时延的场景下，推导了平均用户速率的理论表达式。借助该理论表达式，可以数值求解使得用户速率最大化的最优协作范围，用以指导协作簇大小的设置。
　　3)针对下一代无线通信系统将呈现多种无线通信使能技术与标准紧密融合的趋势，本文进一步考虑开拓功率域资源，将功率域非正交多址(PD-NOMA)引入到多天线密集网络中，旨在研究多天线密集网络与PD-NOMA的共存问题。
　　本文建立密集网络场景中空分多址与PD-NOMA结合的混合多址系统的容量分析框架，基于有限反馈策略将用户分组，组间干扰通过ZFBF规避，而组内用户则以PD-NOMA实现复用，组内用户间干扰通过串行干扰消除处理。基站的位置分布则通过PPP建模。基于随机顺序理论推导得出组内各用户到基站距离分布后，本文推导了每组平均用户速率的理论表达式。基于理论表达式，本文分析了功率域系统参数（组内功率分配因子）以及空域系统参数（天线数、用户组数）对每组用户平均速率的影响。并进一步考虑了区域频谱效率的分析与优化，在保证组内用户速率公平性要求下，通过联合优化组内功率分配因子以及用户组数，最大化区域频谱效率。仿真结果表明，随着公平性要求变高，PD-NOMA相对于正交多址的性能增益逐渐减少。