毫米波大规模MIMO被广泛认为是下一代移动通信中实现通信网络千倍容量提升这一极具挑战性愿景的物理层关键技术之一。在毫米波大规模MIMO系统中,收发机通常采用混合预编码架构来降低系统所需的硬件成本和功耗,但这将会使得该系统中的信道估计问题研究更具有挑战性。为了准确地估计出毫米波混合大规模MIMO系统中的信道参数,本文通过利用毫米波信道的稀疏性,分别针对窄带平坦衰落信道或宽带频率选择性衰落信道,以及收发端采用均匀线性阵列或均匀平面阵列等诸多情形,提出了一系列基于多维酉ESPRIT算法的超分辨率稀疏信道估计方案,其信道估计性能要明显优于传统基于压缩感知的信道估计方案。本文的主要工作和贡献如下:首先,我们针对采用均匀线性阵列的毫米波混合大规模MIMO系统,提出了一种基于二维酉ESPRIT的超分辨率信道估计方案。在该方案中,我们设计了收发端的训练信号,并提出了两种改进的二维酉ESPRIT算法。通过该方案,我们可以准确地估计出窄带平坦衰落的毫米波信道中稀疏多径成分的到达角和离开角的超分辨率估计值,从而提高信道估计性能,同时能明显地降低信道估计时系统所需的导频开销。其次,通过对上一个研究内容进行扩展,我们针对宽带频率选择性衰落的毫米波混合大规模MIMO-OFDM系统,提出了一种基于三维酉ESPRIT的超分辨率宽带信道估计方案。在该方案中,我们通过联合利用系统中多个子载波的信息来对信道估计问题进行数学建模,以便能在较少的导频开销下利用三维酉ESPRIT算法来准确地估计出宽带毫米波信道中稀疏多径成分的到达角,离开角以及时延的超分辨率估计值。最后,我们针对更实际的采用均匀平面阵列的毫米波混合大规模MIMO-OFDM系统,提出了一种基于多维酉ESPRIT的两阶段超分辨率宽带信道估计方案。在该方案中,我们分两个阶段来分别设计接收端的训练信号,并对各阶段的信道估计问题进行了数学建模。同时,在第二阶段中,利用第一阶段估计到的信道参数作为先验信息来设计导频信号可以有效地提高信道估计的准确性。通过该方案,我们可以在较低的导频开销下获得宽带毫米波信道中稀疏多径成分的到达角的方位角和俯仰角,离开角的方位角和俯仰角,以及相应时延的超分辨率估计值。