毫米波频段拥有充足的频谱资源,可以容易的实现吉比特(Gigabit per Second,Gbps)量级的无线传输。毫米波波长短的特点使得大规模天线阵列可以部署于极小的面积上,并利用波束赋形技术获得大的阵列增益,从而补偿毫米波频段上严重的传输损耗。由于波束赋形技术需要精确的信道状态信息,尤其是角度信息,因此需要高效而可靠的信道估计技术。另一方面,由于尺寸限制以及硬件成本约束,通常射频链路数远少于天线数,此时经典的空间超分辨率角度估计算法(例如基于MUSIC/ESPRIT类的角度估计算法)难以使用,因为MUSIC/ESPRIT类算法在数字域对各天线输出信号进行处理,而在毫米波系统中,天线输出信号首先需在模拟域进行合并接收。为此,需要针对毫米波系统的模数混合大规模天线阵列下的信道估计进行特殊设计。本文针对毫米波模数混合大规模天线阵列存在的射频链路约束,研究高效的信道估计算法,主要工作包括:第一,充分利用毫米波信道的稀疏特性,提出了结合压缩重构与Turbo译码的角度迭代估计算法,不仅提高了低信噪比下的角度估计可靠性,同时大大降低了训练开销;第二,针对连续分布的角度信息在离散化时由于角度不在量化格点上产生功率泄漏效应从而角度估计性能显著下降的问题,首先给出角度连续分布下的信道虚拟表征模型,在空间域将角度信息分解为对应于量化格点的离散角度信息与对应于量化误差的连续角度信息两部分,即整数倍角度信息与小数倍角度信息。然后,设计了迭代估计整数倍与小数倍角度信息的角度估计算法,实现角度估计精度的提高。