随着移动通信的不断快速发展,通信业务的不断多元化,以手机为代表的移动终端已经成为了人类日常生活中不能缺少的设备,并使得以多媒体等为代表的新兴业务逐渐代替了以语音短信为主体的传统业务,由此带来的是需要更高的传输速率和更好的服务质量,以满足人们对高速通信日益增长的需求。然而,有限的频谱资源始终是限制高速数据传输的关键因素,尽管现有移动通信系统通过多输入多输出、正交频分复用和多小区协作等技术已经极大地提升了频谱效率。随着5G(第五代移动通信)时代的来临,剩余的低频段频谱资源已经不能满足所提出的10 Gbit/s峰值速率的需求。因此,未来的5G系统需要在更高频段上寻找新的可用资源。由于毫米波频段尚有大量频谱未被授权使用,相比于传统低频MIMO系统,毫米波MIMO系统具有更宽的带宽,在未来5G系统规划中获得了广泛关注。而预编码技术作为能够使大规模MIMO系统达到或接近系统理论容量的关键技术手段,也是近年来学术界和工业界的研究重点。本文主要围绕毫米波MIMO的预编码技术,考虑发射端未知信道状态信息的情况下,对毫米波MIMO系统在有限反馈下的混合预编码技术展开研究。论文主要针对毫米波MIMO信道和系统,首先提出了基于有限反馈的模数混合预编码设计算法;其次是针对多用户场景,提出了低复杂度的基于ZF/THP的两阶混合预编码设计策略。本文主要研究内容和成果如下:首先,论文研究了模数混合预编码在毫米波MIMO系统中的应用,提出了在发射端非完全已知CSI的条件下基于有限反馈的模数混合预编码的设计算法。此方法根据毫米波MIMO系统的特性采用模数混合预编码/解码架构,以总互信息量最大化为目标函数,设计模拟预编码矩阵和数字预编码矩阵。由于该问题具有非凸性,我们将模拟及数字预编码的联合优化问题简化为模拟预编码和数字预编码的独立优化问题。在此基础上,进一步考虑了有限反馈的情况,构造在发送端和接收端两侧都已知的有限模拟预编码码本和数字预编码码本,提出了一种基于有限反馈码本的混合预编码方法。并通过仿真验证了所提算法的性能要优于传统的有限反馈混合预编码算法。然后,论文将毫米波MIMO混合预编码技术应用在多用户场景,同时考虑THP预编码技术对系统性能的影响,采用上述码本构造方法,提出了基于ZF/THP的两阶多用户混合预编码算法。在基站的功率约束下,以系统总互信息量最大化为目标函数对每个用户设计模拟预编码矩阵、模拟合并矩阵和数字预编码矩阵以及数字均衡矩阵。最后通过仿真验证了所提的算法的理论分析的正确性。同时仿真结果表明,尽管与最佳数字预编码相比,所提算法在性能上有一定程度的损失,但是较好的降低了系统的计算复杂度,而且该算法与传统的两阶混合预编码算法相比性能得到较好的改善。