船舶自动识别系统（Automatic Identification System,AIS）和广播式自动相关监视（Automatic Dependent Surveillance-Broadcast,ADS-B）系统分别为海域交通与空域交通提供实时导航和监视管理服务。自组织时分多址技术能够避免同一蜂窝小区内的AIS设备产生冲突;星载AIS中,通信卫星覆盖多个小区,信号到达接收机端时易产生时隙冲突。ADS-B系统利用随机接入的广播报文在机组与基站间传递信息,信号发送时刻独立,容易发生混叠。本文首先介绍了AIS信号与ADS-B信号的帧结构与编码调制方式,然后针对AIS与1090ES模式下ADS-B系统中同频信号混合的问题,研究了三类分离算法,主要工作如下:（1）为了解决同频信号混合的问题,研究利用阵列信号处理来分离信号:首先采用多重信号分类或旋转不变技术等估计得到期望信号与干扰信号的波达方向,然后通过波束形成调整天线阵列的权重向量,将主瓣对准目标信号并抑制干扰和噪声。仿真结果表明:阵列信号处理能够恢复目标信号,但良好的波束形成性能依赖准确的角度估计与阵列流型矩阵。（2）针对AIS信号与ADS-B信号不完全重叠的信号模型,研究了一种基于盲自适应波束形成的分离算法。该算法摆脱了阵列信号处理对源信号来波方向以及阵列流型等先验知识的依赖,稳健性好。该算法通过增加约束条件构造得到非凸最优化问题,并利用交替方向乘子法求出最佳分离向量。仿真结果表明:对于没有完全重叠的两路同频混合信号,算法分离结果具有良好的信噪比性能。（3）独立成分分析（Independent Component Analysis,ICA）算法是盲源分离问题中的一类重要算法。针对AIS信号与ADS-B信号的二阶非圆性质,在复数Fast ICA算法的基础上,推导得到非圆复数Fast ICA算法;同时,考虑受噪声影响的混合模型,将观测数据投影到信号子空间,有效去除噪声的影响。仿真结果表明:对于含噪声的混合AIS信号与混合ADS-B信号来说,非圆Fast ICA算法与去噪非圆Fast ICA算法不依赖任何先验知识,可分离信号范围更广,能够有效分离混合的AIS信号与ADS-B信号。