第五代无线通信系统利用毫米波频段的大带宽以及大规模MIMO系统的高增益能够提供Gbps的数据传输速率。毫米波最显著的特点是频带宽、波长短,毫米波频段带宽资源的有效利用将会极大地缓解频谱资源紧张的问题,但是在传播中会有严重的路径损耗,而大规模天线的高阵列增益正好与其互补。在大规模MIMO系统中,大规模的天线配置是其主要特征,基站上配置的天线数目达到了几百根甚至几千根,这些天线集中放置在一起构成线阵或者面阵,通过波束形成技术将这些天线的阵列增益集中到很小的范围内,实现精准的空分复用,空间自由度大大增加,从而能够大幅度提升系统容量以及频谱效率。虽然大规模天线的阵列增益可以有效的弥补毫米波通信中大的路径损耗带来的性能损失。然而,大量的天线阵列将会导致高费用、高计算复杂度以及高能耗,混合模拟/数字波束形成可以有效地减少射频链路的数目,降低计算复杂度。毫米波系统多用户空间复用能够实现更高的速率,进一步提高系统容量。本文围绕毫米波通信中多用户的大规模MIMO系统的预编码算法展开了深入研究。文中详细分析了大规模MIMO系统和毫米波大规模MIMO系统的原理以及一些传统的预编码算法,指出了现有的算法中存在的缺陷和不足之处,提出了一种高能效的多用户毫米波大规模MIMO系统下行链路模拟/数字混合波束形成算法。为了更好地利用模拟波束形成的方向性增益以及数字波束形成灵活的基带处理,本文提出用模拟波束形成选择最佳的波束,使目标用户的功率最大,且对其他用户的干扰最小。进一步地,设计数字波束形成使目标用户的能效最大化,利用零梯度的方法求解数字波束形成权值。仿真结果表明,与传统的混合波束形成算法相比,该算法具有更好的误码率性能,并且随着用户数目的增加和速率性能明显提升。通过本文的研究证明:多用户MIMO可以作为毫米波大规模MIMO通信系统中一个理想的解决方案。此外,模拟波束形成的波束选择能更有效地抑制多用户干扰,而数字波束形成权值计算更灵活,能够极大地改善系统性能。