无线通信终端的多样化和无线通信需求的日益增长,对无线通信的物理层传输方案提出了更高的要求。现阶段,第四代移动通信已经实现了高速率的可靠传输,并覆盖大部分移动用户。下一代移动通信系统将面临更多的挑战,如提供更高的传输速率、所需功耗更低、实现更低的传输时延和提供灵活的波形选择。作为第五代移动通信物理层的候选方案,广义频分复用(Generalized Frequency Division Multiplexing,GFDM)可满足上述需求。GFDM作为非正交的多载波调制解调系统,子载波间存在自干扰效应。目前,GFDM系统的最小均方误差(Minimum Mean Square Error,MMSE)接收机可同时抑制信道噪声和载波间干扰,且误码率性能不亚于其他接收机。由于无线信道中普遍存在建筑物、雨雾等障碍干扰,信号在传输过程中不可避免地产生衰落现象,所以信道的冲激响应存在频率选择性。但是,MMSE接收机在频率选择性信道下的计算复杂度很高,导致其对硬件要求很高,难以应用到实际工程上。针对频率选择性信道下GFDM系统的MMSE接收机复杂度过高的问题,本文提出了两种低复杂度的MMSE接收机计算方案。第一种方案是在时域中对接收机涉及的大维度矩阵做分块处理,发掘了矩阵的特殊性质(稀疏性、准三对角性和块对称性等),使矩阵相乘的复杂度降低。同时,该方案还提出了一种基于准三对角矩阵的3步骤的分块求逆算法,并给出详细的数学推导过程。该算法可显著降低矩阵求逆的复杂度。第二种方案是在上述方案的基础上,提出了接收机中矩阵的分块内部是循环矩阵,并给出相应数学证明。此外,本方案利用矩阵在频域中的性质(循环矩阵可对角化性、成形滤波器频谱的快速衰减等),使其进一步稀疏化,以获得更低的计算复杂度。本文对以上算法的计算复杂度做了定量分析。该分析结果显示,本文提出的低复杂度MMSE接收机时域算法比理论算法的计算量低约2个数量级;频域算法比最新文献算法的计算量低约0.5个数量级。此外,GFDM系统的仿真实验表明,本文的两种低复杂度算法不会导致误码率性能下降。