由于各个领域的流量业务需求开始呈现爆炸式增长,并且对数据的传输速率要求也越来越高,这些因素都促使5G移动通信系统在系统容量和数据传输速率方面做进一步的研究。通过开发未被充分利用的毫米波频段来获得更大的带宽,可以有效地提升通信网络容量。大规模三维多输入多输出(3D MIMO)技术通过在基站端部署大量天线并利用天线垂直方向的空间自由度,引入大量的空间自由度从而大幅度提高频谱效率和系统容量。要达到这样的要求,准确的信道估计是实现5G移动通信系统设计的关键。在实际无线通信环境中,噪声类型的复杂多样性造成信道估计更加困难。为了增加5G系统通信的稳定性,本文针对高斯噪声环境和非高斯噪声环境下的毫米波大规模3D MIMO信道分别提出了相应的信道估计算法。本文具体的主要研究工作如下:第一,研究无线通信信道的特性以及3D MIMO系统与2D MIMO系统的区别。研究了无线通信信道中的自由空间损耗、无线信道的衰落、无线信道中的各类噪声干扰以及它们对无线通信的影响。除此之外,还对3D MIMO系统与2D MIMO系统进行了对比分析,并基于3D MIMO系统的优势给出了3D MIMO系统实际应用的场景。第二,研究高斯噪声环境下的毫米波大规模3D MIMO系统中的信道估计算法。利用一个数学上等价于空间离散傅里叶变换矩阵的透镜天线将原来的毫米波大规模3D MIMO信道转换到波束空间信道,转换后的信道具有稀疏结构特性。针对信道具有的这种稀疏结构特性,进而提出了一种自适应的稀疏信道估计算法。通过仿真结果和传统的稀疏信道估计算法进行对比分析,在相同条件下,所提算法的精确重构稀疏信道的概率比传统稀疏信道估计算法要高,估计误差也更小,从而验证了所提算法的优越性。第三,研究基于对称α稳定分布的噪声环境下的毫米波大规模3D MIMO系统中的信道估计算法。首先,根据对称α稳定分布的噪声特征对该稀疏信道估计问题进行建模。由于所建模型不易直接求解,因此我们利用优化领域中常用的交替迭代法将该问题分解为两个子问题进行交替迭代求解。对所提算法和传统稀疏信道估计算法进行仿真,仿真结果表明提出的算法明显优于传统稀疏信道估计算法,即所提算法能更好地减少非高斯噪声对信道估计的影响。