从无线通信的发展历史来看,对数据流量越来越高的需求始终是每次重大变革的主要驱动因素。5G时代的来临已经催生了视频直播、虚拟现实等一系列新兴高宽带、高数据传输率业务的发展,6G网络将朝着更灵活、更可靠、有更大传输速率和更高频谱效率的方向发展。然而6GHz以下频段大部分已被占用,频谱拥挤现象越发严重,成为无线通信向前发展的主要阻碍源之一。面对这种现实,采用更高频段的毫米波通信将成为下一代无线通信系统中的主流技术。值得注意的是,通信频率的提高对应带来的问题就是信号衰减变大,意味着毫米波通信不可避免地将依赖于多输入多输出(multipleinput multiple-output,MIMO)来提升信道增益。基于MIMO系统,模拟/数字混合波束成形(hybrid beamforming,HB)是毫米波通信采用的主流信号处理手段,通过大规模天线实施模拟波束成形提高增益,另一方面数字波束成形提供多数据流、多用户传输。本文旨在研究毫米波通信中关键的信号处理技术,即混合波束成形的设计。从最简单的点对点毫米波通信系统到大规模去蜂窝毫米波网络,本文均做了全面且具体的混合波束成形设计的研究,并进行性能验证。论文工作和贡献可归纳如下:(1)首先针对点对点毫米波MIMO通信系统,考虑更加实际且能量效率高的低分辨率移相器和部分连接系统架构,分别提出了具有低复杂度同时达到满意性能的混合波束成形设计方法,通过MATLAB仿真验证算法性能,即使利用低分辨率移相器,也能超过已有算法连续相位情况下的性能。(2)考虑毫米波多用户通信系统,研究了多用户上行通信、组播传输与广播通信传输三种模式,提出具有针对性的有效波束成形设计。对于多用户上行通信与组播通信,提出首先设计模拟波束成形提升信道增益,同时抑制用户间/组间干扰,接下来再通过数字波束成形进一步抑制干扰。对于毫米波广播无线通信,提出仅利用一条射频链形成模拟预编码为用户提供服务,在硬件复杂度大大降低的情况下,达到接近全数字的效果。(3)最后,本文从网络层面考虑更深层次的毫米波通信系统设计,提出一种新型去蜂窝毫米波MIMO网络,去掉蜂窝小区边界限制,基于云计算的无线接入网架构(cloudradio access network,C-RAN)实现多基站同时服务多用户,并针对该网络架构提出一个完整的物理层联合上层的设计实现高速率、高可靠性传输。本论文的研究成果,不仅能加速毫米波通信的发展,推进移动网络向稠密化、智能化演进,还将为下一代毫米波移动网络的研究开发、实用和标准制定提供技术支撑。