大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术能够显著地提升系统可达和速率和通信过程的可靠性,成为了第五代移动通信(Fifth Generation,5G)的关键技术。另一方面,由于传统电磁波的频段难以满足5G对传输速率的要求,因此有着丰富的未使用的高频段资源的毫米波通信也成为了5G的重要技术,毫米波大规模MIMO技术也自然而然地成为了重点研究方向。在实际系统中,纯数字预编码技术消耗射频链路等硬件过多,难以应用到发射天线数更多的毫米波大规模MIMO系统,因而本论文主要研究广泛应用于毫米波系统中的可以有效降低硬件成本的混合预编码算法。本文的主要研究内容和所做工作如下:(1)在全连接结构毫米波大规模MIMO系统下,本文在既有的基于正交匹配追踪(Orthogonal Matching Pursuit,OMP)的混合预编码算法基础上,基于多步长的思想对其进行了一定的改进。从仿真结果可以看出,与原算法相比,所提算法在损失少量系统可达和速率性能的情况下有效地降低了算法复杂度。(2)针对部分连接结构毫米波大规模MIMO系统,本文提出了一种基于智能搜索的混合预编码方案。该方案以系统容量为目标,将混合预编码矩阵的设计问题转化为最优化问题,并采用群体智能搜索算法缎蓝园丁鸟算法(Satin Bowerbird Optimization,SBO)对此问题进行寻优。在此基础上,对SBO算法本身进行了改进,提出了基于动态突变概率的DSBO(satin bowerbird optimization based on dynamic mutation probability)算法和离散DSBO算法,提高了算法系统可达和速率性能且扩大了算法的应用范围。仿真结果表明,与基于鸟群算法(Bird Swarm Algorithm,BSA)的混合预编码算法相比,所提算法有更好的系统可达和速率性能和更低的系统误码率。(3)在部分连接结构毫米波大规模MIMO系统下,本文提出了一种基于最大等效信道增益的混和预编码方案。该方案首先基于最大等效信道增益设计出模拟预编码矩阵,并进一步提出两种改进的串行干扰消除(Successive Interference Cancelation,SIC)算法求取数字预编码矩阵。从仿真结果可以看出,所提两种算法均在系统可达和速率性能上优于其他算法。