正交频分复用和多输入多输出技术在提高信道容量的同时,具有良好的抗干扰能力,成为第四代和第五代移动通信系统的关键技术之一。当通信系统中用户数量和天线数增加时,信道估计和信号检测的计算复杂度将会显著提高。为了在低复杂度的条件下实现较高的检测精确度,本文进行了基于深度学习方法的信道估计和信号检测研究。针对MIMO-OFDM通信系统中的信道估计问题,提出了一种基于图像去噪网络的信道估计方法。首先利用最小二乘信道估计算法得到初始的信道估计,其中估计结果和实际信道之间的存在误差,利用图像去噪神经网络去除估计误差,在损失函数中加入非对称损失函数,提高信道估计性能。针对多用户MIMO-OFDM通信系统中的导频功率分配问题,提出了导频分配和信道估计的联合优化算法。在给定总导频功率约束的条件下,将全连接神经网络和信道估计网络级联,实现了导频功率分配和信道估计功能。对于信号检测问题,首先利用迫零检测算法得到初始检测信号,然后通过全连接神经网络进行信号预测,提高了系统信号检测性能。为了验证算法的有效性,将所提算法和传统检测算法进行了仿真对比。结果表明,相比于传统算法,基于深度学习的检测算法在低计算复杂度的条件下具有更高的检测精确度。