在无线通信系统中,信号在信道中传输总会受到多径效应等因素的影响,导致接收到的信号发生衰落和失真。为了抵抗信道的衰落、恢复失真信号,许多方法被研究者提出。其中,单载波频域均衡技术通过将接收到的导频信号变换到频域上来获得信道的相关信息并恢复原始的信号,MIMO技术通过空时编码等方案为通信系统提供分集增益来对抗信道衰落,二者结合可以形成稳定性更强的无线通信系统。但在利用MIMO技术提升了数据传输稳定性的同时,会对数据的传输速率造成影响,如何在提升数据传输速率的同时能够改善系统的误码率性能是一个值得思考的问题,而机器学习作为当前流行于各个领域的研究方法,具有能够更好的处理和分析数据的优势,为解决这个问题带来了新的启发。本文的研究内容如下:（1）对单载波频域均衡系统（Single Carrier Frequency Domain Equalization,SC＿FDE）的经典算法进行了研究,在频域上对接收到的导频信号进行处理后得到信道的冲激响应信息,再采用迫零均衡（Zero Force,ZF）和MMSE均衡（Minimum Mean Square Error,ZF）两种均衡算法恢复出原始的信号,仿真结果表明ZF算法虽然复杂度较低,但在均衡性能上与MMSE算法有较大差距。（2）在单载波技术与MIMO技术相结合的系统中,将空时编码技术引入单载波MIMO系统中并研究了传统的信道估计算法的性能。同时从机器学习的角度解决单载波MIMO系统的信道估计问题,研究了基于FFDNet的信道估计模型并与传统的估计算法作对比,仿真结果表明,基于FFDNet的信道估计方法的性能相较于传统的估计算法有明显的提升。（3）对于单载波MIMO的信道均衡问题,分别将FCNN、CNN、InceptionNet三种神经网络模型引入到单载波MIMO的信道均衡方法中,形成了三种不同的均衡算法,并对三种均衡算法进行了仿真实验。仿真结果表明,三种信道均衡模型都能够有效的提高通信系统的可靠性,与传统的MMSE算法相比都具有更好的误码率性能,其中,基于InceptionNet的信道均衡模型能够更好的处理数据,误码率性能最优。