无人机由于其成本低、灵活性高和易于部署等特点在各个领域得到了越来越广泛的应用。无人机编队协同作业能够弥补单个无人机能力有限的缺点,使得任务的执行更加高效,同时提高了系统的可靠性。相较于WIFI网络,移动通信网络的覆盖范围更广,基于移动通信网络的无人机编队系统是未来必然的发展趋势。5G系统中的非正交多址接入(NOMA)技术和毫米波Massive MIMO技术提供了大连接、高吞吐的特性,可以满足无人机编队通信的需求。但是这两种技术在无人机编队通信中依然存在一些问题,本文针对存在的一些问题提出了一些改进的方案,具体的研究成果和贡献概述如下:毫米波的波长短、穿透损耗大、绕射能力弱等特点导致了其在传播过程中以视距(LOS)传播为主。将NOMA技术应用于毫米波Massive MIMO系统中时,多个用户必须处于同一个波束的覆盖范围内时才能采用NOMA技术进行传输。然而Massive MIMO系统中基站可能有成百上千个天线单元,使得基站波束赋形产生的波束宽度非常小,这在很大程度上限制了NOMA系统中的用户配对,从而导致NOMA技术对系统带来的性能提升不大。针对这一问题,本文利用将天线阵列划分为子阵列的思想,提出一种能够产生指向多个方向的波束的波束赋形方案,从而使得NOMA系统中的用户可以灵活配对。同时将所提出的多波束的波束赋形方案从基于ULA天线阵列的二维波束赋形系统中推广到基于URA天线阵列的三维波束赋形系统中。仿真结果表明,本文所提出的多波束的波束赋形方案在二维和三维场景下均能够产生指向多个方向的波束,说明了该方案的有效性。在将多波束的波束赋形技术应用于具体的NOMA传输场景中时,需要合理的对用户的分组、天线单元以及发送功率等资源进行分配,才能获得最优的系统性能。相较于单小区场景,多小区场景下的资源分配还会受到小区之间干扰的影响。本文以系统的总传输速率为优化目标,建立了一个多小区多用户场景下资源分配的数学模型。为了降低算法的复杂度,本文采用一种两阶段的资源分配算法:在第一阶段中,我们假设用户的功率分配已知,并基于联盟博弈理论提出一种用户的分组和天线单元的分配算法;在第二阶段中,在第一阶段得到的用户分组和天线单元分配结果的基础上,提出一种用户功率分配的算法。仿真结果表明,本文所提出的两阶段的资源分配算法能够有效的对系统资源进行分配,从而提高系统的传输速率。