在大数据时代背景下,移动数据的需求爆炸式增长,蜂窝移动网络密集化、非正交多址(Non-orthogonal Multiple Access,NOMA)、同时同频全双工等网络和传输技术成为5G移动通信的关键技术。根据NOMA密集蜂窝网络中基站和用户的分布特性,本文以随机几何作为数学理论基础,研究了基于NOMA的多小区蜂窝网络的性能。主要内容包括:(1)针对NOMA蜂窝网络中非理想干扰删除问题,引入信道增益分布,在随机用户选择和固定功率分配的情况下,研究了Nakagami传输场景下NOMA蜂窝网络的性能问题。首先,在非理想串行干扰删除(Successive Interference Cancellation,SIC)存在的情况下,根据信道增益分布推导了NOMA蜂窝网络中用户的覆盖概率和平均可达速率,随后,基于覆盖概率推导了蜂窝系统的区域频谱效率和区域能量效率。最后,分析了固定功率分配因子、非理想干扰删除和路径损耗因子对系统性能的影响。数值结果表明,相比于OMA网络,考虑非理想SIC的NOMA蜂窝网络可通过功率分配来获得更好的用户公平性和更高的网络能效。(2)针对同时同频全双工混合接入方式下的NOMA蜂窝网络,在考虑基站自干扰和上下行交叉干扰情况下,研究了瑞利信道传输场景下全双工NOMA蜂窝网络的性能问题,进一步考虑非理想SIC的背景下,推导了目标小区分别处于上行OMA和下行NOMA场景下的相关性能指标的表达式,分析了非理想SIC、基站自干扰和固定功率分配对系统性能的影响。结果表明:在较为理想的自干扰抵消下,同时同频全双工混合接入方式的NOMA蜂窝网络可充分改善远端用户的性能,有效提高系统的设备接入量。