随着宽带移动无线设备的大数据量需求,在低于5G系统的频率下已无法满足比4G系统更高速率、更大系统容量、更大的带宽需求。为了解决频谱资源短缺的问题,毫米波通信技术成为学术界研究的热点。但在毫米波频段中,信号具有很大的路径损失,且信道具有空间选择性,为克服毫米波技术的缺点,研究人员近年来将毫米波通信系统和Massive MIMO系统相结合,可以有效实现两种技术的优势互补,提升系统频谱效率,提高系统的容量,是5G研究不断推进的一个重要的方向。毫米波大规模MIMO通过混合收发器来实现,混合收发器将高维模拟信号处理单元和低维数字信号处理单元结合在一起,基于混合收发器的混合预编码技术因具有抗多径衰落、抗干扰、高频谱效率、高能量效率等特性,并且能降低系统的硬件成本和功耗,成为毫米波大规模MIMO系统中重要的信号处理技术。本文针对毫米波大规模MIMO系统中的混合预编码技术开展研究,提出了基于不同毫米波大规模MIMO发射机架构的混合预编码方法,解决了现有预编码方法硬件成本高、能耗高、系统复杂度高、能量效率低等问题。本文的主要工作归纳如下:1.提出了一种基于改进矩阵广义低秩逼近算法的混合预编码方法。首先将混合预编码算法转化为模拟预编码和数字预编码两级预编码联合设计,模拟预编码算法采用改进的矩阵广义低秩逼近(Generalized Low Rank Approximations of Matrices,GLRAM)算法来获取模拟预编码矩阵/组合矩阵,以获取大规模MIMO系统所提供的高阵列增益。具体地,在基带预编码器/组合器设计阶段,利用系统的射频等效信道,考虑期望用户接收信号的空域特性,在消除用户间干扰的同时增强期望用户的信号功率,采用改进的块对角化算法获取数字预编码矩阵,得到系统性能最佳的混合预编码方案;最后,建立仿真环境对所提混合预编码算法进行数值仿真和对比。仿真结果表明,所提出的混合预编码算法,能减少迭代计算次数,与现有的基于重叠子阵的混合预编码算法相比,具有更高的频谱效率和较低的实现和复杂度,具有较高的应用价值。2.针对现有的基于透镜阵列的毫米波大规模MIMO系统只考虑了波束选择算法,没有将波束选择算法与数字预编码算法相结合,以及实际部署中移相器的分辨率有限的问题,受雷达中重叠天线阵列的启发,提出了一种带透镜阵列的低分辨率重叠移相器网络的混合预编码架构,基于此架构提出了一种基于量化波束对准和维纳滤波的两级联合混合预编码算法,具体地,模拟预编码算法采用量化的波束对准方法获得阵列增益较高的模拟预编码。数字域采用基于最小均方误差准则的维纳滤波器预编码算法以获得多路复用增益。仿真结果表明,所提出的基于低分辨率的重叠移相器波束选择网络的混合预编码方案不仅能有效地获得满意的和速率性能,而且在能量效率方面优于传统方案。3.针对现有部分毫米波大规模MIMO系统存在硬件功耗大,复杂度高,能量效率不高的问题,提出了一种基于机器学习的毫米波Beamspace MIMO混合预编码方法。首先,提出了一种透镜阵列和部分连接开关选择网络的毫米波Beamspace MIMO发射机架构,其中波束空间MIMO系统的模拟部分是由一个部分连接的开关选择网络来实现的,而不是由一个子连接的移相器选择网络来实现的。其次,基于此新型混合架构,提出了一种基于机器学习中的交叉互熵(Cross Entropy,CE)算法的混合互熵(Hybrid Cross Entropy,HCE)预编码方法,使混合预编码的概率分布达到最大,从而使系统的和速率达到最大。最后,仿真结果表明,所提出的基于HCE的混合预编码不仅能有效地获得满意的和速率性能,而且在能量效率方面优于基于其它混合预编码方案。