自动调制分类（Automatic Modulation Classification,AMC）是信号解调前一个复杂且重要的技术,它在军事领域和民用领域都有广泛的应用。近年来,由于机器学习算法的引入,使得AMC技术备受关注。基于机器学习的AMC算法相比于传统算法有更高的识别精度和鲁棒性。本文深入研究并做了以下几方面的工作:1.针对复杂信道情况下,由于调制信号受噪声干扰导致识别准确率不高的问题,提出基于小波阈值去噪（Wavelet Threshold Denoising,WTD）和卷积长短期记忆网络（Convolution Long Short-Term Memory Neural Network,CLNN）的调制识别算法。该算法改进传统小波阈值函数,加入可变因子,使其能够随小波分解尺度变化做出自适应调整,相较于传统阈值函数具备更好的连续性和高阶可导性。此外,利用卷积神经网络的空间特征提取能力,融合长短期记忆网络对时间特征的记忆性,充分学习去噪后信号的全局特征。实验结果表明,在接近真实信道环境下,该算法识别准确率高于对比算法。2.针对特征提取过程中,忽略信号当前特征和全局特征相关性而导致识别准确率较低的问题,提出基于注意力机制和双向长短期记忆网络的调制识别算法。该算法首先改变信号样本传统的同相正交输入方式,使用振幅相位分量作为信号的输入。接着将信号输入双向长短期记忆神经网络（Bidirectional Long Short-Term Memory,Bi LSTM）中,利用双向网络对前后两个方向上的特征进行提取并记忆。然后采用注意力机制学习每个特征的相关性,进而对信号特征进行不同的权重分配。最后让网络自动学习不同权重特征的重要性,从而实现特征学习的再校准。实验结果表明,该算法能够明显提高识别准确率。3.针对传统深度学习网络结构复杂、参数庞大和训练时间超长的问题,提出基于双重Group Lasso轻量级神经网络的调制识别算法。该算法设计并使用一种Group Lasso正则化函数来诱导网络的稀疏性,通过加速卷积层的运算速度来有效减少过拟合现象,促使深度神经网络自动修剪自身以获得高度紧凑的轻量级网络。此外,为解决识别中经常出现的QAM16、QAM64、WBFM、AM-DSB等信号类型混淆问题,设计一种双重训练的轻量级神经网络（Double-trained Lightweight Neural Network,DLNN）来提高识别精度。实验结果表明,此算法能够明显轻量化深度神经网络,且缩短计算时间。