未来无线通信系统面临的关键挑战是在高服务质量基础上提供高速率数据无线接入。然而,无线通信系统中存在多径衰落和用户间干扰问题,以及频谱资源匮乏和无线传播条件复杂的情况,这需要从根本上增加频谱效率和改善链路可靠性,给物理层信号处理技术提出了新的要求。新技术不能占用额外的频谱资源,不能以降低频谱效率为代价来提升系统性能。本文将WPDM技术与MIMO技术结合,构成MIMO-WPDM系统,在MIMO信道下实现信号的分集与复用,并且有效抵抗衰落。相较于第4代移动通信系统中以正弦基为载波基、IFFT/FFT变换为核心的OFDM而言,WPDM以小波包基作为载波基,以IDWPT/DWPT变换实现WPDM符号的调制解调,小波包基函数所具有的自正交性与互正交性,使得WPDM在信道划分,抵抗频率选择性衰落方面具有优于OFDM的天然优势。然而,要实现MIMO-WPDM多载波通信系统的性能优势,还存在一些关键问题需要解决,包括WPDM符号的调制解调,信号检测,以及系统中的干扰消除。针对这些问题,本文对MIMO-WPDM系统中WPDM多载波调制技术,空时编码技术和MU-MIMO预编码技术进行了研究。主要研究内容如下:首先,在对WPDM理论、MIMO模型进行分析的基础上,研究了MIMO-WPDM系统结构。仿真结果表明,MIMO-WPDM系统性能优于MIMO-OFDM系统,更能够适用于复杂的多径环境和频率选择性衰落信道。其次,以获取高频谱利用率和提高系统可靠性为目的,研究了基于码本的有限反馈STBC空时编码和基于QR分解的V-BLAST编码。仿真结果表明STBC空时分组码和V-BLAST编码是实现空间分集和空间复用的简单高效的编码方式,可以极大地发挥MIMO具有的优势性能。最后,以降低BD算法计算复杂度、优化接收机结构为目的,采用预编码技术来消除用户间干扰、实现MIMO复用信号检测,提出基于格基缩减的改进BD预编码算法,仿真结果表明BD改进算法在性能和计算复杂度方面都优于传统BD算法,能在较低复杂度情况下实现信号检测。