在无线通信系统中，使用中继进行辅助通信可以克服阴影效应，增加覆盖范围，提高传输可靠性。中继技术对于无线通信物理层的发展具有重要意义，是目前学术界和产业界所关注的重点技术之一，并在第四代移动通信以及未来的无线通信系统中得到应用。中继技术和多天线技术结合，通过在中继节点安装多根天线，可以进一步利用多输入多输出（MIMO，Multi-Input Multi-Output）相关技术（如传输分集、空分复用）增强系统性能。当中继节点支持多个源节点同时传输数据时，可以采用网络编码技术。根据中继节点信号处理方式的不同，一般有数字网络编码和模拟网络编码。其中，基于模拟网络编码的中继节点不解调接收信号，只进行线性预编码，实现容易，延迟较低，具有较强的实用价值。此外，在配对源节点进行数据交互的场景下采用双向中继协议，相比传统中继协议可以提升一倍的频谱利用效率，具有重要的理论研究价值。因此，本文主要研究基于模拟网络编码的中继系统，特别是双向中继系统中的预编码和天线选择技术，以改善中继系统性能。本文首先对无线通信系统中继技术的研究现状进行概述，重点介绍了基于模拟网络编码的中继系统，分析了现有的一些预编码和天线选择方案的理论和方法，重点介绍了双向中继系统。相比于传统的单对源节点单中继双向中继模型，本文将其拓展为多天线多对源节点多中继这一通用的模型，研究了系统中源节点以及中继节点的预编码方案，以最小化总均方误差为目标，将原始非凸问题分解为三个较为简单的子问题，并给出了一种迭代预编码优化方案。该方案能够支持多对源节点同时传输数据，具有较高的频谱利用效率。仿真结果表明，该方案应用于多对源节点多中继双向中继系统，可以得到较好的系统均方误差和比特误码率性能。在无线通信系统中，信道状态信息是通过信道估计获得的。由于噪声的影响，接收机得到的信道状态信息具有一定的误差。本文在多天线多对源节点多中继双向中继模型中，进一步研究了非完美信道状态信息条件下的预编码方案。本文使用高斯随机信道误差模型和克罗内克信道模型，充分考虑信道估计误差，利用信道误差统计信息设计预编码矩阵。仿真结果表明，本文给出的鲁棒性预编码方案能够较好的降低信道估计误差对均方误差和比特误码率性能的影响。在多天线无线通信系统中，天线选择技术通过选择合适的天线用于发射和接收，以较小的性能损失为代价，较大程度地降低运算复杂度，提升系统性能。本文给出了一种在多天线双向中继系统中的源节点天线选择方案，使用贪婪算法，依次选出使得当前系统总数据传输速率最大的一对天线对，直至选出所有的最佳源节点天线对用于信号传输。仿真结果表明，本文给出的方案具有和最优的穷举搜索天线选择方案相近的系统总数据传输速率性能，并且在系统复杂度方面具有较大幅度的降低，具有一定的可实现性。本文最后对全文进行总结，归纳了本文的主要创新性研究成果，并指出了中继技术的进一步研究方向，如双向中继系统中基于其他信道误差模型的鲁棒性设计，双向中继系统预编码简化设计方案等。