新一代移动通信系统对频谱有效性和功率有效性提出了更高的要求。能有效改善系统性能或显著提高系统容量的MIMO技术，能有效克服多径衰落，提高传输速率的OFDM技术，以及能改善系统容量和扩大覆盖范围的中继技术，将很有希望成为新一代移动通信系统架构中的关键技术。应用于MIMO系统的预编码技术作为提高无线通信系统频谱效率的关键技术近年来获得了研究者的广泛关注。本论文主要研究了MIMO通信系统、MIMO-OFDM通信系统，以及中继增强型MIMO通信系统中的预编码技术。本论文主要获得了以下几点成果：　　 1.研究了多用户MIMO通信系统中的有限反馈预编码方案。针对多用户MIMO下行通信链路中的同信道干扰问题，分别就单数据流情况和多数据流情况，给出了相应的基于接收机输出端信漏噪比的有限反馈预编码方案。该方案符合实际无线通信系统的需求，解决了上下行信道不具有互易性，反馈信道频谱资源的限制问题，不仅可以有效避免迫零有限反馈预编码方法存在的发送端和接收端的天线数限制问题，而且在接收端成功避免了噪声放大问题。相较于迫零的有限反馈预编码方案，该方案可以获得更高的系统吞吐量。　　 2.研究了MIMO-OFDM系统中的有限反馈预编码方案。针对MIMO-OFDM系统发射预编码的实现需要知道所有子载波上的信道状态信息，但由于OFDM系统子载波数较大，如果在各个子载波上都反馈信道信息，反馈量太大的问题，在采用码本有限量化反馈信道有用信息降低反馈量的基础上，提出了两种仅在部分子载波上有限反馈信道有用信息，内插重构其他子载波上的信道有用信息，进而对所有子载波进行MIMO预编码的MIMO-OFDM系统有限反馈预编码方案。单用户情况，两种方案都获得了不错的系统容量性能。　　 3.研究了MIMO时变信道下的有限反馈预编码方案。提出了一种新颖的适用于MIMO时变信道环境的有限反馈预编码方法。该方法利用子空间跟踪算法自适应跟踪时变信道的发射预编码矩阵，同时结合Jacobi迭代算法有效降低了有限反馈预编码的反馈量。该方法在AR1时变信道模型，以及更实际的Jake’s时变信道模型下的跟踪性能得到很好的验证。　　 4.研究了单中继通信系统中的有限反馈中继预编码方案。在完全已知信道状态信息情况，针对不同的设计准则，给出了两种中继预编码矩阵的最优设计方案。利用基站与中继站间的通信信道非时变、确定已知的特性，同时利用向量量化中的压扩量化技术，在Grassmannian码本的基础上给出了中继预编码码本的新的设计方案。新码本有限反馈中继预编码方案的系统性能随着反馈比特数的增加接近完全反馈下的系统性能，且在相同反馈比特数下的系统容量和误码率均明显优于将传统MIMO通信系统中的Grassmannian码本或随机码本直接应用于中继预编码的有限反馈方案。　　 5.研究了单用户多中继通信系统中有限反馈量化误差补偿的MMSE中继预编码方案。为了补偿量化误差对中继预编码设计的影响带来的系统性能的降级，我们提出将Grassmannian码本量化误差的统计特性引入中继预编码的设计，给出了单用户多中继系统下两种有限反馈量化补偿的MMSE中继预编码方案，并分别给出了中继预编码矩阵的闭合表达式。第一种方案是QoS要求下量化误差补偿的中继预编码与接收均衡MMSE两步优化算法；第二种方案是在前一种方案基础上提出的中继和功率约束下量化误差补偿的中继预编码与接收均衡MMSE联合优化算法。所提量化补偿的MMSE中继预编码方案相比没有采用量化补偿的中继预编码方案获得了一定的性能增益。　　 6.研究了多用户多中继MIMO通信系统中的预编码方案。针对多中继MIMO通信系统多用户传输时的用户间干扰问题，提出了一种可以有效抑制多用户干扰的发射端与中继端迭代预编码的方案。该方案首先在中继端进行多中继联合的迫零预编码，然后将基站与多用户之间等效为一个点到多点的MIMO信道，采用最大化信漏噪比的预编码方法，在发射端进一步消除用户间的干扰，同时避免了噪声放大的影响，进而通过中继端预编码与发射端预编码的多次迭代，更好地保持了多中继并行传输引入空间分集所带来的性能优势，有效地抑制了用户间干扰，获得了更高的系统和容量。　　 7.研究了多中继MIMO通信系统中基于有限反馈的多用户调度方案。针对实际系统中，所有中继和移动终端不可能已知全部信道信息的情况，首先提出了一种更为实际的中继有限反馈预编码方案，该方案仅需要中继节点通过有限反馈获知其本身和用户间的信道信息，避免了中继间的通信。进而针对多用户线性预编码对于信道信息量化误差很敏感的问题，结合多用户调度技术，设计了两种应用于多中继MIMO通信系统的基于码本的多用户调度方案。一种为多中继系统下基于Grassmannian码本的逐步调度方案，有效控制了复用用户间的相互干扰，但完成一次调度需要基站和用户间进行多次通信，进而又提出了一种多中继系统下基于SDMA码本的多用户快速调度方案，该方案仅需要用户单向地向基站反馈一次信息，即可快速地完成调度。