随着越来越多的互联网和多媒体应用融入无线网络，人们对高速宽带无线通信业务的需求不断增长，要求下一代移动通信系统具备为用户提供更高的数据传输速率和更好的服务质量的能力。多输入多输出（Multiple Input Multiple Output，MIMO）技术的发展使得这种需求成为可能。MIMO系统通过在发送端和接收端分别配置多个天线发送和接收信号，获得空间分集和复用增益，从而能够增加系统容量、提高链路传输质量和频谱利用率。目前，点对点的单用户MIMO系统的研究已经日趋成熟，点对多点的多用户MIMO系统成为了近年来无线通信领域中的研究热点之一。多用户MIMO系统具有更多优势：多天线分集增益能够提高误比特率性能，多天线的复用增益可以提高系统的吞吐量，多天线带来的方向性增益可以从空间上区分不同用户，从而消除用户间干扰。本文针对多用户MIMO系统下行链路中的预编码技术、用户调度技术以及天线选择技术开展研究，论文主要研究成果如下：1.针对多用户MIMO系统下行链路预编码设计问题，I）在详细分析现有多用户MIMO预编码算法的基础上，提出了一种基于匹配加权信号泄漏噪声比（Matching weighted Signal-to-Leakage-and-Noise Ratio，MSLNR）的多用户MIMO预编码迭代优化算法。该算法把各个用户的有效信道增益作为匹配加权系数，先对不同用户接收到的泄漏信号功率进行匹配加权，然后通过最大化MSLNR准则求出预编码矢量的闭式解，并在所提出的匹配加权算法的基础上，引入迭代优化方案，进一步提高系统性能。该方案不受系统天线配置数目的严格限制，仿真结果验证了该方案在提高系统和容量方面的有效性。II）针对认知（Cognitive Radio，CR）多用户MIMO系统，将块对角化（BlockDiagonalization，BD）算法和匹配加权信号泄漏噪声比算法联合，提出了一种两级联合的CR-BD-MSLNR预编码方案。该方案根据主用户和认知用户不同的频谱使用优先权，采用两级预编码方案：第一级预编码为了保证主用户的通信质量，通过块对角化算法，使主用户的预编码矩阵置于主用户干扰信道矩阵的零空间内，从而完全消除认知用户对其带来的干扰；第二级预编码在多个认知用户共享信道资源的前提下，采用匹配加权信号泄漏噪声比的迭代优化算法，提高认知用户的和容量。仿真结果表明，该方案能够完全消除认知用户对主用户的干扰，并且能够显著提高认知用户的和容量。2.针对多用户MIMO系统下行链路中的用户调度问题，I）在块对角化算法的基础上，提出了一种低复杂度、次优的用户调度方案。该方案选取一种更紧的和容量上界作为调度准则，利用贪婪算法得到初选用户集，并且通过逐一替换操作来更改已选取的初始用户集，能在一定程度上缓解局部最优解问题。仿真结果表明，该方案既保持了基于和容量上界调度算法的低复杂度特性，又获得了优于基于和容量用户调度算法的和容量性能。II）通过建立多用户MIMO系统用户调度的能量效率模型，提出了基于能量效率的用户调度方案。该方案利用贪婪算法以最大化联合信道矩阵的体积为目标，在用户选择阶段，每一步均选取与已选用户集中用户的联合信道矩阵体积最大的用户，之后通过功率优化来最大化系统能量效率。此外，通过对该方案进行改进，提出了比例公平调度算法，在最大化系统能量效率的同时，兼顾系统内用户的公平性。3.针对大规模MIMO系统下的天线选择技术，提出了基于能量效率的天线选择策略。首先推导了天线选择时的和容量表达式，然后建立了大规模MIMO系统中天线选择时的能量效率模型，详细分析了能量效率与选择天线数目之间的关系，得到了最优天线数目的表达式，在此基础上提出了基于信道矩阵范数的天线选择策略，最后通过计算机仿真验证了所提方案的性能。