随着通信技术的发展和电磁环境的日益复杂,实际环境中的电磁信号变得日益密集。经常出现多个信号在时域和频域均发生混叠的现象,作为通信侦察的需要,首先要将所需的敌方通信信号从混合信号中提取出来。就目前已有的分离方法来看,时频域分离方法和空域分离方法都不能够很好的将同频混叠信号分离。这给通信侦察系统对非合作信号的分析与识别带来了巨大的困难。因此,目前迫切需要研究可行的处理方法,实现通信侦察信号的有效分离。盲源分离技术正好能够解决这一难题。它能够在不知道信号的任何先验信息的情况下,仅利用源信号之间相互独立这一微弱已知条件,从一组接收天线接收到的混合信号中分离出独立的源信号。本文主要研究盲源分离技术在通信侦察系统中的应用。本文在深入研究盲源分离的相关理论的基础之上,以峭度的时间平均形式(TAFC)作为独立性的度量,从理论上证明了盲源分离算法可以分离确定的余弦信号,甚至是同频余弦信号。启发人们应用盲源分离技术分离复杂的余弦信号(通信信号、雷达信号)。将盲源分离技术应用于现有的通信侦察系统,提出基于NI PXI的通信侦察接收系统的软件和硬件设计方案。通过实验仿真讨论了信号载频间隔、信噪比和取样时间长度对分离性能的影响。提出改进的基于负熵的FastICA算法。改进算法在将最速下降法与牛顿迭代算法相结合的基础上,进一步在牛顿迭代过程中采用部分牛顿迭代,使得改进算法具有更高并且均匀一致的迭代速度。通过仿真试验证明其对数字调制通信混合信号的分离的有效性。针对跳频信号的非平稳特性,提出一种基于时频矩阵的同时非正交联合对角化和非对角化盲源分离算法(JDZD)。该算法同时利用来自于自项区和交叉项区的时频分布矩阵,建立统一的代价函数,通过增加时频点来减少特征值退化的可能性,从而增强了抗噪能力。理论分析和仿真结果表明,该方法能够在低信噪比的条件下,有效分离多个跳频网台。