毫米波大规模MIMO是未来移动通信最具潜力的研究方向之一。然而,由于大规模MIMO系统中配备多个昂贵的射频链路使得硬件的成本和复杂度大幅增加。天线选择技术通过优化策略选择部分高性能天线通信可以在保证系统性能的前提下简化硬件结构;同时混合波束成形技术利用低维数字波束成形与高维模拟波束成形,大大降低了射频链路数目的需求,与天线选择技术相结合可以进一步降低系统复杂度,提升信号传输质量。但是目前传统的面向模型的天线选择和混合波束成形算法存在计算复杂度高的缺点,为此本文提出了一种基于深度学习的天线选择与混合波束成形联合优化方案,论文的具体研究内容为:（1）提出了一种基于二维卷积神经网络的天线选择算法。构建了一个卷积神经网络,并采用不同信道矩阵的实现方式对网络进行训练。训练完成后,输入信道矩阵,网络即可输出最大化频谱效率的子阵列。经过仿真实验证明,提出的基于深度学习的天线选择算法与使用穷举搜索的最优天线选择算法性能接近,但其计算的时间复杂度更低。（2）提出了一种基于二维卷积神经网络的混合波束成形算法。天线的最优子阵列选择确定后,相应的部分信道矩阵被送入构建的第二个卷积神经网络。卷积神经网络预测最佳的射频波束成形器,并计算相应的基带波束成形器。该算法与传统算法相比,减少了信道矩阵的估计,同时其可实现的系统频谱效率性能接近SVD全数字最优无约束波束成形算法可实现的频谱效率性能。