调制识别通过接收到的无线信号判别该信号所用的调制方式,在民用和军事通信中都有较大的应用潜力。早期的调制识别研究主要是基于似然的方法,该方法在信道模型和参数精确已知的前提下为贝叶斯最优,但其计算复杂度较高且性能受限于接收信号模型等先验信息。基于特征的方法相比于基于似然的方法性能次优,但其显著减小了调制识别的计算复杂度。在基于特征的方法中,特征仰赖于专家的精心设计,在实际应用中识别性能难以得到保障。随着深度学习在计算机视觉和自然语言处理领域的成功应用,基于深度学习的方法在调制识别领域受到了越来越多的关注,展现出相较于传统方法更好的性能潜力。本论文针对基于深度学习的调制识别（深度调制识别）方法,展开了以下两方面的研究:首先,论文研究了深度调制识别在不同环境中的识别鲁棒性问题。深度调制识别在具有大规模训练数据时能够得到较高的识别准确率,但是当其应用场景与训练数据场景不同时,其性能会因为接收信号分布发生改变而降低。针对该问题,本文提出了基于对抗网络的无监督域适应方法进行未知环境的调制识别。仿真结果显示,所提方法能够有效地提升深度模型识别性能,在某些场景下能接近使用大规模标签数据训练时的识别准确率。随后,论文研究了针对多天线接收机的深度调制识别问题。目前绝大多数深度调制识别的研究主要针对单天线接收机,而随着现代通信系统的发展,高速与大容量的通信需求使得接收机常常配置多个接收天线,因此,本文提出两种基于深度学习的端到端多天线特征学习模型用于调制识别:（1）基于多视图卷积神经网络的模型,通过将不同的接收天线信号看作不同视角下的三维物体图像,设计合适的视觉池化位置和方式,多视图卷积神经网络能够应用于多天线调制识别场景;（2）权重学习卷积神经网络模型,该模型通过权重学习模块自动学习不同接收天线的特征融合系数,以适应于不同特性信号的特征合并。仿真结果显示,两种端到端的多天线端到端特征学习模型均比现有算法有明显性能提升,并且本文所提出的权重学习神经网络模型取得了最高的识别准确率。