为了有效地利用有限的频谱资源，提高频谱利用率，LTE系统采用频率复用因子为1的组网方式，导致小区之间引入了严重的同频干扰，降低了小区边缘用户的吞吐量。为抑制小区间干扰，本文主要研究了网络MIMO通信系统中的波束形成技术、有限反馈技术以及干扰对齐技术。论文的主要贡献如下：1、当发射端不能获取全部的信道信息时，本文利用基于码本的有限反馈技术，分析了三种预编码的和速率性能。并通过灵活的改变用户在小区中的位置，研究了用户在小区内移动的情况下，发射端自适应的预编码选择策略。研究发现当用户处于噪声受限的系统时，相邻小区发射机选择本征波束形成传输策略的系统性能最优；当用户处于干扰受限的系统时，相邻小区发射机选择信漏噪比传输策略的系统性能最优。2、经过有限反馈获得的信道状态信息与真实的信道状态信息之间总存在一定的误差。本文通过分析反馈误差引起的系统和速率性能上的损失，研究了系统反馈的比特数在两个小区间随小区环境变化动态的分配问题，提出了一种次优的自适应比特分配算法并推导了比特分配的闭合表达式，并与等比特分配算法进行了比较，结果表明本文提出的算法在和速率性能上具有明显的优势，且具有计算简单、复杂度低的优点。3、提出了一种基于系统总干扰泄漏最小的预编码组的选择算法。该算法让组网中的每个eNodeB轮流作为第一个先获得预编码的eNodeB，每一次轮换都可以设计一组预编码。然后遍历系统中所有的预编码组，选出使系统总干扰泄露最小的那一组，并把该组预编码对应的中间变换矩阵作为最优的中间变换矩阵，然后基于改进的算法使用该最优中间变换矩阵进一步优化预编码的设计方案。仿真分析表明，该算法在理想信道条件和相关信道条件下系统和速率的性能都有显著地提升。