随着现代无线通信技术的快速发展，人们对高速数据通信服务的需求日益增长，常规单天线收发通信系统的容量性能已经远远不能满足实际应用的需求，通信系统的可靠性也有待进一步提高。MIMO技术可以有效利用多径效应，在有限带宽内提高了传输速率和通信质量，成为新一代无线通信系统中的关键技术之一。但由于MIMO系统需要配置多个RF链路，大幅度增加了系统硬件成本和信号处理的复杂度，这个问题极大的限制了MIMO技术的发展和推广。天线选择技术通过选择较优的天线子集进行收发，以较小的性能损失换取硬件成本和处理复杂度的大幅度降低，成为MIMO无线通信领域的一个研究热点。对于现有MIMO系统天线选择算法而言，穷尽搜索算法能够达到最优的性能，但包含较多矩阵运算，计算复杂度较高；为降低算法复杂度，许多次优天线选择算法应运而生，但这些算法大多造成了较大性能损失或复杂度仍较高，并主要集中于对非相关信道下天线选择的研究。针对这一问题，本文以容量性能最大化为目标，提出了基于相异度的天线选择算法和针对相关信道下基于CSA的改进选择算法，并讨论了几种基于智能算法的收发联合天线选择技术。主要研究成果如下：1．介绍了复高斯随机信道和相关信道情况下MIMO的系统模型；对MIMO系统容量进行分析，研究信道相关性对系统容量性能的影响，对几种经典天线选择算法的容量性能进行比较，仿真结果表明穷尽搜索算法能够获得最优的容量性能，但复杂度非常高，经典的递增递减算法获得了接近最优的容量性能，同时降低了系统复杂度。2．以实现容量性能最优为目标提出了一种基于相异度的天线选择算法。分析了采用相对误差、绝对误差对相异度算法性能的影响，同时通过对几种算法的复杂度计算分析，证明所提算法保持了较低的运算复杂度。通过仿真将其与穷尽搜索、基于相关度和相似度等天线选择算法进行了容量性能比较，仿真结果验证了所提算法在容量性能上的改进。3．针对相关信道，对基于相关性的天线选择算法进行改进，通过选择具有最小平均相关性和最大相关矩阵行列式的天线作为最优天线子集。在选择较少天线的情况，所提算法降低了计算复杂度，达到几乎与相关性选择算法相同的性能，且非常接近最优选择算法。仿真结果证明了该算法的有效性和可靠性。4．介绍了基于遗传算法和模拟退火算法的收发联合天线选择技术，并将遗传算法与模拟退火算法结合得到一种新的基于智能算法的天线选择方法。同时，对几种算法的原理和性能进行了讨论，并给出其实验仿真结果。