无线通信信号的调制自动识别是软件无线电、认知无线电、频谱感知等研究领域的基础,在军用与民用通信中有着广泛的应用,因而受到学者的广泛关注。特别是近年来对于我国划定的防空识别区,如何在复杂干扰环境下实现对外来航空飞行器信号的识别监控,尤其是信号调制方式的自动识别,并在原有自动识别技术方法基础上不断创新、提高识别率仍然是一项颇具挑战性的研究课题。本文对无线通信系统调制识别方法、算法等关键技术与理论进行研究,所取得的主要研究成果为：1.对N维数据块正交调制及其调制解调识别方法及MMO系统的重建与识别等关键技术与理论进行了研究。研究基于普通正交调制识别基础上,从接收信号聚类样品中提取基本特征矢量以估计数据块信号参数,实现数据块解调,通过矩阵转换实现信号调制方式的识别,在高斯白噪声信道条件下对N维数据块正交调制信号进行访真识别,仿真结果表明该方法具有较好的识别性能,同时计算复杂程度和采用全部接收信号矢量识别相比大为减少。另外对于MIMO系统的重建与识别,本文采用支持向量回归算法建立径向基函数网络初始化结构,确定初始化网络参数,采用退火动力学习算法对系统识别网络进行训练,在训练过程中首次采用粒子群优化迭代算法选出最佳学习率组合,使重建识别网络实现对MIMO系统的识别。仿真结果表明,对所选择待识别的两输入两输出MIMO系统,重建识别系统性能优于目前基于径向基函数网络参数优化过程中常采用的最小平方算法或梯度下降法算法。2.对MLP神经网络通信信号调制识别方法等关键技术与理论进行了研究。针对现有基于误差反向传播算法的多层感知器神经网络分类器在信号识别中存在收敛速度缓慢、出现假饱和现象等问题,采用蜂群算法提取信号的联合特征模块,提出快速支持、超级自适应误差反向传播、共轭梯度等三种不同算法分别应用于多层感知器神经网络分类器,实现对通信信号的自动识别,和误差反向传播算法比较有更高的识别率,取得较好的识别效果。针对现有基于聚类算法的信号调制识别在噪声干扰条件下识别效果较差的问题,采用聚类算法提取信号特征参数,通过变梯度Polak-Ribiere修正BP算法对神经网络进行训练,以提高收敛速度,改善在低信噪比条件下网络识别性能,实现对基于星座图调制方式信号的调制识别。3.对单载波多载波调制及混合调制信号的调制识别方法关键技术与理论进行了研究。研究基于决策理论算法的单载波多载波无线数字调制信号、混合调制信号的联合特征参数提取与自动识别技术,提出适合单载波多载波数字调制识别的决策分类器及相应识别步骤、适合混合调制信号调制识别的树型分类器及相应识别步骤。在瞬时相位提取时,首次采用去相位折叠算法纠正相位折叠的影响,提高了特征参数的准确性。在外调制、内调制识别时首次采用副载波信号个数构成的特征矢量、均值归一化包络方差、副载波信号瞬时幅度分布区域统计值等联合特征,抑制噪声干扰,提高特征参数的准确性,仿真结果表明,与现有单载波多载波调制识别、与现有混合调制识别方法相比取得较好的识别效果。4.对基于一阶循环均值算法的VHF频段信号调制分类识别方法等关键技术与理论进行了研究。针对现有调制识别算法在低信噪比环境条件下识别率较低问题,首次提出一阶循环均值算法对VHF频段信号进行调制分类识别,识别率大幅度提高。研究基于估测一阶循环频率系列对应的一阶循环均值基础上,选择一阶循环均值绝对值超过设定的截止值所对应的一阶循环频率作为候选循环频率,再通过循环平稳测试决定选择候选循环频率数目,实现对信号的调制分类识别。仿真结果表明,与现有调制识别算法在低信噪比环境条件下识别率有较大的提高。