随着虚拟现实、高清视频、物联网、公共安全等行业的飞速发展,4G网络的通信容量已无法承载各应用领域的高速需求。目前5G通信技术的研发工作正在稳步推进,大规模MIMO技术是其关键技术之一。大规模MIMO技术通过庞大的天线数量以及波束空间复用的特性可极大地提高通信系统的容量,但其优势是建立在基站能获得准确的信道状态信息上的。随着天线和用户数量的增加,导频开销和信道矩阵维度均不断增加,信道估计面临严峻的挑战。传统的信道估计算法无法满足大规模MIMO系统对信道估计的要求,因此,本文致力于解决大规模MIMO系统下信道估计问题。针对大规模MIMO系统低频宽带无线信道下行链路信道估计问题,为减少系统导频开销同时提高估计精度,我们提出了一种自适应学习信道稀疏特征的信道估计方法。首先,基于压缩感知理论,将大规模MIMO系统中的信道估计问题转换到贝叶斯框架中去解决。然后利用大规模MIMO信道的空间非平稳特性,设计一个双层高斯分类模型来捕获信道稀疏特征。该模型中涉及两类超参数,一类超参数同时关联所有天线,可捕获信道中所有天线共有的稀疏特征;另一类超参数分别关联每一根天线,可捕获各天线独有的稀疏特征。最后,通过变分贝叶斯推断的方式估计出模型参数,进而实现信道参数的估计。值得一提的是,该方法无需知道信道的稀疏度即可实现信道的自适应估计。针对毫米波大规模MIMO系统下的信道估计问题,为实现信道的精确估计,基于毫米波信道在角度域的稀疏性以及相关优化理论,创新性地提出了一种分两阶段的超精细信道估计方案。第一阶段,通过变分贝叶斯推断的方式估计信道相关参数,将信道参数限定到可行域;第二阶段,基于牛顿优化法,通过迭代的方式更新相关信道参数使目标函数最大化,实现信道的精确估计。所提算法在适中计算复杂度内,可大大降低训练资源的开销。对于本文所提的两种算法,我们通过MATLAB软件从不同角度进行仿真验证,同时与多种信道估计方法进行对比,并绘制相应的仿真曲线图,验证了本文算法的可行性以及优越性。