信息时代通信技术飞速发展,应用场景日益多样化,通信信号类型逐渐丰富,通信环境越来越复杂,这都对通信技术提出了越来越高的要求。在缺乏先验知识的非协作通信中,面临的挑战更加巨大,因此对非协作通信系统的研究具有重要的理论和应用价值。本文主要开展了非协作通信中信号参数估计和调制方式识别方面的研究工作。在信号参数估计方面,本文首先针对高斯噪声,设计了一种基于自编码器的信噪比估计算法,与基于功率谱分布函数拐点检测的算法相比,不需要根据不同码元速率采取不同的谱估计窗长,而且算法具有更好的精度和稳定度,对本文研究的四大类数字调制信号均适用,且对码元速率、滚降因子具有鲁棒性;对于非协作通信系统中不可避免的频偏,提出一种基于人工蜂群的估计算法,通过构造特征参数——幅度相位概率分布密集度ρAP来衡量频偏估计的效果,ρAP越大则频偏去除效果越好,考虑到传统迭代求解最值问题存在精度与计算量的冲突,因此采用人工蜂群算法来求解ρAP最大值及对应的最佳频偏估计值,与基于网格聚类的去频偏算法相比,本文算法不需要人为设置阈值且在低信噪比下估计精度更高,对于本文研究的非MFSK信号,在不同的滚降因子、码元速率下均可以很好地进行频偏估计。在信号调制方式识别方面,本文通过分析信号瞬时特征和谱特征,基于多特征联合实现数字调制信号识别。首先设计了基于决策树的分类器,采取先进行恒包络与非恒包络信号类间识别,再分别进行MFSK信号和非恒包络信号类内识别的方案。在进行MFSK信号识别时,提出一种改进的识别算法,利用小波阈值去噪和核密度估计提取主要瞬时频率分布,通过与模板拟合的方式进行识别,与统计信号谱峰个数来区分信号类型的算法相比,适用于实际系统中较小调制指数的MFSK信号;针对16QAM和64QAM的识别,构造了新的特征参数——归一化瞬时幅度概率密度分布方差与均值平方的比值。经实验验证基于决策树的调制方式识别算法在信噪比高于11dB时,16种信号识别准确率均超过90%,然而低信噪比下效果不佳;因此在决策树选用的特征参数的基础上,结合本文提出的MFSK信号识别算法,设计基于随机森林的调制方式识别方案,在信噪比高于8dB时,准确率均可超过90%,且在低信噪比状态下,识别效果得到了显著提升。最后对所设计的算法方案进行了系统实现,主要工作包括算法移植和软件设计,并针对国家重大仪器专项课题——非法电磁信号监测与分类技术开发及应用的要求,搭建了测试平台,对参数估计和调制方式识别模块进行了测试。从测试结果可以看出,本文提出的算法和系统实现在真实电磁环境下能够取得良好的效果。