盲信号分离技术一直是现代信号处理领域的主要组成之一。传统的盲分离研究主要集中在语音、图像、生物医学等信号的处理上,相应的盲分离算法不能直接适用于调制信号。目前盲分离算法大多是在源信号数目已知的条件下实现的,而在实际中源信号数目通常是未知的,因此在盲分离前需要先对信源数进行估计。随着计算机性能的快速提高,深度学习技术被成功地应用在通信、图像、语音等领域。基于深度学习对大数据中特征信息的自动提取能力,本文将深度学习的方法应用于信源数估计与调制信号盲分离等方面,所作研究内容归纳如下:1)由于当前深度学习架构以及优化算法存在不能有效地学习复数基带信号特征信息的问题,本文建立了一种三维卷积神经网络架构,来实现对复数基带信号的特征学习。该架构利用三维卷积层综合学习输入的多路复数信号的实部和虚部特征信息,根据运算规则重构获得输出,完成了对多路复数映射的学习。相较于目前其他的解决方法,该架构实现简单,能够有效实现对复数映射的学习,还避免了激活函数、优化算法等在复数域不能获得理论支撑的问题。2)分析了信源数估计的传统方法,设计了一种由三维卷积神经网络架构和全连接层串联构成的卷积神经网络。本文通过仿真实验对该方法进行了研究分析,将本文方法和经典信源数估计方法进行对比。最终结果显示,在受到噪声干扰时,本文方法可以对混合信号实现有效的信源数估计,且性能较经典方法有显著提高,在低信噪比情况下同样可以实现较高准确率。3)设计了一种基于深度学习的调制信号盲分离方法,采用三维卷积神经网络架构的方式构建卷积神经网络。本文讨论了该方法在基带信号和带通信号下分离的性能,以及不同的载频和调制方式对该方法分离性能的影响,对比了常用盲分离算法在盲分离任务上的性能表现。实验结果证明,本文方法可以对线性瞬时混合模型的调制信号实现盲分离,且解决了分离信号的排列顺序不确定性问题。4)为了论证本文提出的方法在实际应用中具有可行性,本文通过组建实验平台采集所需数据,最后进行了实验验证。实验结果表明,本文提出的方法在实际应用中能够达到调制信号盲分离的需求。因为在实际应用中受到的干扰因素较多,其分离性能相较于仿真实验略低。