在过去的十年中,移动数据的指数级增长为无线服务提供商带来了前所未有的挑战。为此,提出了第五代(5th-Generation,5G)移动通信网络。为了实现5G所需的更高的总数据速率和更低的延迟,采用了包括大规模多输入多输出(Multiple Input Multiple Output,MIMO)和毫米波(millimeter wave,mm Wave)频段等关键技术。在毫米波大规模MIMO系统中,研究发射机和接收机端的信号处理是必不可少的,特别是发射机端的预编码处理技术,其不仅可以有效地消除多用户干扰,从而大大提高系统容量,而且可以简化接收机的设计,以解决用户端的功耗和体积问题。本文研究了大规模MIMO中的线性预编码技术以及mm Wave MIMO中的混合预编码技术。在大规模MIMO系统中,创新地提出了一种降低计算复杂度的线性预编码算法;并针对mm Wave环境,运用凸优化理论提出了两种降低硬件复杂度并最大化系统频谱效率的混合预编码算法。论文的具体贡献如下:1)比较了点到点MIMO、多用户MIMO和大规模MIMO的系统模型。分析了单用户MIMO和多数据流多用户MIMO下的典型线性预编码技术,包括:SVD(Singular Value De-composition)、MF(Matched Filter)、ZF(Zero Forcing)、BD(Block Diagonalization)和RZF(Reg-ularized Zero Forcing)预编码。此外,在仿真中比较了常用线性预编码算法的误比特率以及系统总和速率性能。2)为了避免ZF/RZF预编码中对Gram矩阵求逆而导致的高计算复杂度,分析了基于NSE(Neumann Series Expansion)和TPE(Truncated Polynomial Expansion)的预编码算法;同样,还分析了通过简单的迭代方式对传输的信号进行预处理的基于JM(Jacobi Method)、GS(Gauss Seidel)和SOR(Successive Over Relaxation)的预编码算法;最终提出了一种基于CG(Conjugate Gradient)的预编码算法。计算复杂度分析表明提出的CG预编码算法是低于除SOR的其他算法的,而误比特率以及总和速率性能也是优于NSE算法且接近RZF预编码的。3)分析了几种最近提出的mm Wave单用户和多用户MIMO下的混合预编码算法。为了进一步降低mm Wave MIMO系统的硬件复杂度,提出了子连接结构下混合预编码的交替优化算法以及具有低分辨率DAC(Digital to Analog Converter)的基于ED(Eigen Decomposition)的混合预编码算法;仿真显示提出的交替优化混合预编码算法的频谱效率性能是优于ICD(Iterative Coordinate Descent)算法的并且基于ED的混合预编码算法是优于OMP(Orthogonal Matching Pursuit)算法的,这表明它们可以很好地应用于mm Wave信道中。