随着无线通信系统由单一的语音通信向着多媒体通信的全面发展,人们所期望的数据传输速率越来越高。多输入多输出(MIMO)技术可以显著增加通信系统容量,并能改善系统的性能,非常适合高速无线通信业务,因而,MIMO技术已成为下一代无线通信系统中的关键技术之一。MIMO通信系统中的天线选择(AS)技术可在获得多天线性能增益的同时,降低系统的复杂度和成本,受到了广泛的关注。组分层空时(GLST)系统结合了空时分组编码和分层空时结构,具有分集-复用折衷性能,有助于满足通信系统的多样化需求。如何在GLST系统中实现有效的天线选择是一个值得深入研究的问题。在多用户MIMO广播信道中,在基站发射端进行预编码可以降低用户间的干扰,有效的用户选择能够利用多用户分集来增加数据率。二者都需要发射端已知信道状态信息(CSI),这在FDD系统中需要反馈来获得。如何在有限反馈下进行有效的预编码和用户选择,已成为MIMO系统中的一个热点问题。本文主要研究了GLST系统中的天线选择算法和多用户MIMO系统的用户选择及预编码算法,研究的主要内容和取得的成果包括如下几个方面：首先,针对结合发送天线选择的GLST系统,提出了基于重构信道QR分解的发射天线选择(TAS)算法。并在此算法基础上,为了降低复杂度,提出了基于降元集合的TAS算法。该算法以信道矩阵列矢量Euclidean范数排序为基础,构建减少天线元个数的集合,并在该集合中搜索最优的天线子集。仿真表明,降元集合算法的性能明显优于几种常见的快速TAS算法,当合理选择降元集合元素数量时,其性能与基于全集合的算法相近。其次,对于采用排序的逐次干扰消除检测(OSIC)的GLST系统,提出了基于重构信道QR分解的接收天线选择(RAS)算法,该算法用子信道Frobenius范数排序代替Moore-Penrose伪逆行范数排序得到置换矩阵,降低了计算复杂度。另外,还给出了基于重构信道的快速RAS算法,其性能比常规信道快速算法有明显的提升。仿真表明,所提出算法在中断容量上与最大容量算法接近,基于重构信道QR分解的RAS算法具有与基于伪逆排序的RAS算法相近的性能,而重构快速算法性能稍有下降,但复杂度更低。再次,在多用户MIMO广播信道中,针对随机波束成形(RBF)当系统用户少时性能下降严重的问题,提出了联合RBF和迫零波束成形(ZFBF)的预编码方案。该方案在利用RBF实现用户初步调度的基础上,借助于附加反馈的信道方向信息(CDI)和信道质量信息(CQI)完成最终波束选择和ZFBF预编码。仿真表明,所提出的预编码方案与现有的基于RBF的方案相比,在基本不增加上行链路反馈量的前提下,可明显提高系统和速率。最后,针对上行链路总反馈量受限的多用户MIMO广播信道,提出了基于阈值优化和最优反馈速率的用户选择及预编码算法。该算法通过对信道增益累积分布的分析得到一个阈值,并将信道增益大于该阈值的用户作为候选用户。然后要求候选用户中的任意N个用户反馈CDI和CQI,其中N为与最优反馈速率对应的用户个数。最后,依据反馈信息进行最终的用户调度和ZFBF预编码。仿真表明,该方案有效地利用了多用户分集,具有比当前的最优反馈速率算法更高的和速率。