毫米波具有极其丰富的频谱资源,在微波频段资源日趋枯竭、现行通信系统的性能已逼近理论值的今天,研究毫米波以及更高频段的信号传输成为趋势和必然。大规模MIMO则是第四代无线通信技术中的MIMO技术的延伸,它从空间上提升了系统容量,也改善了毫米波的高损耗。然而高维天线阵列使得以往的信道估计和纯数字预编码方案的代价变得难以负担,在此背景下混合预编码被提出来解决纯数字预编码消耗过高的问题。本文研究了在大规模MIMO下信道状态信息获取难、计算复杂度高的背景下如何以更低的复杂度分解信道矩阵,说明了随机奇异值分解这一方法能有效逼近奇异值分解;同时认真研究了混合预编码中常用的两种码本——波束调向码本和通用码本,指出两者的优劣,并定量分析了两种码本,给出了完整的数学证明且与实验仿真分析吻合;接着,研究了时变毫米波大规模MIMO系统,揭示了模拟预编码与数字预编码时变性的差异。大部分混合预编码方法都假设系统具有完美的信道状态信息甚至额外的更多信息,这在实际中可能是难以满足的,且获得完美信道状态信息的代价在大规模MIMO下太高。本文综合考虑了传统信道估计和混合预编码过程,将前文的随机奇异值分解与通信过程结合,找到了计算步骤与通信机制的天然映射,从而提出了一种半盲的信道估计和混合预编码一体化机制。接着利用一种叫自编码器的深度学习网络提取信道统计特征,加快了随机奇异值分解的收敛,使得代价更低。本文进一步研究了时变毫米波大规模MIMO下的混合预编码,根据前文的模拟预编码与数字预编码时变性差异这一研究结果,提出了一种双导频的混合预编码时变追踪方法,并且利用二维卷积长短时记忆网络对模拟预编码进行预测,使得双导频机制在大部分情况下只需要估计低维等效信道。