随着快速的社会信息化发展，现代通信技术也在发生着日新月异的变化。信号调制方式的识别作为通信和信号领域的一个重要课题，也实现了飞速的发展。信号调制识别技术的发展对信号确认、信号检测、信号监督以及干扰识别领域的前景具有直接的影响。截至目前，调制识别的算法主要包括基于统计理论和基于判决理论两大类。本论文主要研究基于统计模式的识别算法，并通过神经网络来实现调制信号的自动识别；其次，研究了基于星座聚类的MQAM信号的类内识别方法。首先，本文阐述数字信号调制方式识别算法及其数学理论和基础知识，为了克服瞬时频率提取时出现的频率畸变问题，利用经验模态分解和Hilbert变换相结合的方法提取信号的瞬时特征参数，再引入小波阈值消噪对提取出的瞬时参数进行消噪处理，减小噪声对信号瞬时特征的影响。根据所提取出的信号瞬时特征参数，针对不同信号所具有的不同特征，构造出五个特征参数，计算每个信号各个特征参数的值，利用决策树的方法确定出判决门限，对2ASK、4ASK、2PSK、4PSK、2FSK、4FSK以及16QAM信号进行识别。仿真结果表明，经过改进后的算法与普通算法相比，在相同低信噪比下信号的识别率提高了10％左右。其次，根据已完成内容利用BP神经网络设计识别结构图对这七种信号进行自动识别。本文设计的神经网络采用0.1和0.9组成的目标矩阵，与以1和0组成的目标矩阵相比加快了网络学习速度；为了克服BP算法收敛速度慢和局部收敛到极小值的缺点，各多层前向神经网络感知器都采用目前最快的训练算法之一的LM-BP优化算法来进行训练，最后对本论文所设计网络及其算法进行测试。仿真测试表明，利用神经网络进行信号识别使识别的过程智能化，减小人为因素对识别结果的影响，提高了识别的效率。最后，本论文研究了MQAM信号调制的类内识别算法。根据MQAM信号的特点及信号的滚降特性，研究基于Hilbert变换的MQAM的类内识别，引入线性调频Z变换实现信号的波特率估计，再利用星座聚类算法实现MQAM信号的类内识别。仿真结果表明，由于基于盲星座聚类的结果与波特率的估计精度有关，所以利用CZT算法，提高频率分辨率，估计出与理想值更接近的波特率之后对信号进行识别的结果，在信噪比大于15dB时都能够在95％以上。