随着人工智能与无线通信的迅速发展,深度学习被广泛应用在无线通信系统的上层领域。为了提高滤波器组多载波（Filter Bank Multi-Carrier,FBMC）系统的通信质量,以及针对FBMC系统中信道估计与信号恢复等问题,提出了基于深度学习算法的FBMC信号检测系统,该类系统替代了FBMC系统中信道估计等传统模块。在不知先验的信道统计特征的情况下,论文提出的检测算法可以在训练过程中通过迭代次数逼近实际的信道环境,从而提高了系统在复杂信道环境下的性能。论文主要研究了在FBMC系统中怎样利用深度学习算法对传统的多载波检测系统进行改进。首先对多载波调制原理和深度学习技术的研究背景及发展现状进行介绍,并给出了FBMC系统模型,接着分析了FBMC系统的信道估计和信道均衡算法,之后对常见的深度学习模型及原理作简要阐述。然后分析了FBMC系统接收的信号形式与深度学习处理数据的特点,并根据这些特点对FBMC解调后的数据进行预处理操作。针对单一网络处理FBMC时频信号差问题,提出了基于卷积神经网络（Convolutional Neural Networks,CNN）和神经网络的FBMC信号检测算法。利用CNN+NN网络模型取代传统FBMC系统中的信道估计和均衡、解映射等模块。仿真结果表明,与传统的LS信道估计算法和使用单一的深度神经网络相比,基于CNN+NN的FBMC信号检测系统具有更好的误码率（Bit Error Ratio,BER）性能以及对系统中导频的依赖性较低。最后针对FBMC系统中多径信道带来的时频域偏移以及衰落畸变而导致CNN提取信号特征不准确问题,提出了基于递归卷积神经网络（Recurrent Convolutional Neural Networks,RCNN）的FBMC信号检测算法;针对信号序列较长,RCNN不能将距离较远的信号特征联系起来,导致RCNN网络在训练过程中会出现梯度消失问题,提出了结合CNN和长短期记忆网络（Long Short-Term Memory,LSTM）的FBMC信号检测算法。针对传统Dropout方法不能直接应用在LSTM的循环层,引入了高斯Dropout方法应用在CNN+LSTM的FBMC信号检测算法中。仿真结果表明,基于高斯Dropout的CNN+LSTM的FBMC系统不仅比基于其它深度学习算法的FBMC信号检测系统更优的BER性能,而且对系统中的导频基本没有依赖性,在高信噪比下,其BER性能也略优于MMSE信道估计算法。