在无线通信中，中继技术是面向下一代移动通信系统的关键技术之一。使用中继辅助通信可以极大的提高系统吞吐量，改善小区边缘信号覆盖以及减小功率消耗。通过在中继上使用多天线阵列，我们可以进一步提高系统的性能，获得分集与自由度增益。利用模拟网络编码（ANC）技术，双向MIMO中继系统可以在两个时隙内完成用户间的通信。在第一个时隙，两个用户同时将信号发送到中继节点；第二个时隙，中继将第一个时隙接收到的混合信号广播到两个用户。利用ANC，每一个用户都知道一定的信道信息与自身发送的信号，所以用户间的自干扰可以很容易的被消除。对比于单向中继需要四个时隙完成信息交互，双向中继系统成倍的提升了系统的频谱利用率。因此本文我们重点研究双向MIMO中继系统，主要工作如下：　　首先学习了单向中继系统中源与中继矩阵的联合设计问题。对于绝大部分常用的目标函数最优的联合预编码结构是利用奇异值分解（SVD）分别将源与中继间，中继与用户间的两跳信道同时对角化，再将两跳信道的特征值进行匹配。针对这种对角化结构，我们利用最大互信息作为目标函数将对角化算法与常见的天线选择算法（选择最强的一对天线对）进行仿真对比，验证了其性能。　　其次，不同于单向中继系统，利用模拟网络编码（ANC）技术，双向中继系统可以成倍的提升系统的频谱利用率，虽然带来了巨大的便利，但双向中继系统的优化问题涉及到多个矩阵变量的优化，因而它是非凸的，很难直接求解。本文首先针对单用户双向中继系统，分别基于干扰对齐思想（IA）与联合酉三角分解思想（JUT）提出了两种次优的并行化预编码算法，将非凸的问题转化为简单的功率分配问题，并仿真验证分析了其有效性。　　接着，本文研究了多用户双向中继系统的波束成形与功率分配技术。在该系统中，没有一种单一的指标可以供我们来直接衡量系统的好坏，单纯的和速率最大化或者和均方误差最小化都没有实际的意义，例如在系统和速率最大的同时，功率全集中在了部分信道条件良好的用户对间，某些需要通信的用户被关闭，用户的公平性与实用性不能保证。与之前以功率为限制条件不同，我们将每一个用户的QoS作为限制条件。在保证每一个用户通信质量良好且公平的情况下，最小化系统的总功率消耗,来适应更实际的通信需求。该算法利用块对角迫零方法（BD）消除用户对间的干扰，该问题转化为了功率分配问题，得到了最优功率分配并进行了仿真分析。　　文末对全文的工作进行梳理，并总结了接下来的工作。