大规模多输入多输出(Massive Multiple-input Multiple-output,Massive MIMO)是提高通信系统频谱和能量效率的关键技术之一,是未来移动通信主要研究方向。然而,传统MIMO信号检测方法应用于大规模MIMO系统中存在误码率与复杂度之间难以折衷的问题。为解决这一问题,本文将深度学习引入到大规模MIMO系统的信号检测算法中,着重研究了深度神经网络(Deep Neural Network,DNN)和卷积神经网络(Convolution Neural Network,CNN)分别与消息传递(Message Passing,MP)算法结合的两种检测算法。1.考虑到大规模MIMO系统中,传统近似消息传递(Approximate Message Passing,AMP)信号检测算法受限于传输信号先验消息获取以及在空间相关信道中难以收敛的问题,研究了一种基于DNN的低复杂度AMP检测算法。该算法首先从传统消息传递算法出发,通过近似操作简化基于因子图模型的消息传递算法,推导出适用于大规模MIMO系统的AMP检测算法。其次,通过选择合适的可训练参数,将带有训练参数的AMP检测算法的迭代过程展开为逐层连接的DNN。最后,通过大量数据以及深度学习来训练所设计的网络,确定最优参数,从而得到最优深度神经网络进行信号检测。理论分析与仿真结果表明,相比于传统的AMP检测算法,所给出的算法在信号先验消息未知和空间相关信道模型情况下,误码率性能可以得到改善。2.针对现有大规模MIMO检测算法在相关噪声信道中出现检测性能下降的问题,研究了一种相关噪声存在情况下的基于CNN的消息传递检测算法。该算法将一个可训练的CNN与标准消息传递检测(Message Passing Detection,MPD)算法连接起来,首先利用基于信道硬化现象的MPD算法来初步估计传输信号,然后利用CNN去除MPD检测器的估计误差,获得更准确的信道噪声,为后续MPD算法提供有益的噪声分布。仿真结果表明,在相关噪声存在及天线数较少的情况下,MPD检测器与CNN的迭代结构提高了检测性能,相比较传统的MPD算法,所提出算法的检测性能更加优越。