随着移动智能终端的普及以及移动互联网业务的迅速发展,无线通信面临新的挑战：更高的速率、更低的能耗和成本、更广的覆盖等。频谱效率和能量效率成为未来无线通信系统中的重要指标。无线中继技术因为能够有效的扩大通信覆盖范围、提高边缘用户容量、降低发射能耗,近年来得到了学术界的广泛的关注。本论文针对无线协同中继系统中的物理层传输技术展开研究,以提升无线协同中继系统中频谱效率和能量效率为核心,研究了多用户MIMO中继预编码技术、双向中继高能效资源分配技术、高能效信息与能量协同传输技术等方面的内容。论文的主要研究内容及成果如下：第一,论文针对单中继多用户MIMO系统中的预编码技术,提出了一种低复杂度的联合基站和中继预编码方案。提出的方案基于最小均方误差准则,通过将系统误差协方差矩阵分解为两个独立的部分,将两跳收发机联合优化问题转化两个独立的单跳MIMO优化问题。提出的算法可以获得基站端预编码的闭式解,具有较低的复杂度和反馈量。另外,论文针对存在直连链路的情况,提出了一种基于加权和速率最大化的联合基站和中继协作预编设计方案。提出方案能够充分的挖掘中继和基站协作增益,有效的提高多用户中继系统的传输速率。在此基础上,考虑发送端非理想信道的影响,论文还提出了一种对信道误差鲁棒的预编码设计。第二,论文针对多中继多用户MIMO系统中分布式预编码传输问题,基于最大加权和速率的优化准则以及分布式预编码的设计思路,提出了分布式的联合基站和中继预编码方案。另外,论文还提出了TDD系统中实现该分布式算法的参考信号流程与CSI获取机制。提出的分布式预编码方案中基站和中继节点均只需要本地的信道信息以及系统中少量的反馈信息即可完成各节点的预编码设计。所提的分布式算法具有较低的信道反馈开销和较好的加权和速率性能,适合在现有LTE/LTE-A系统中使用。第三,论文针对双向中继系统的高能效传输问题,提出了单载波双向中继系统中基于能效最优的功率分配算法和OFDM双向中继系统中基于能效最优的自适应比特功率加载算法及其低复杂度的简化算法。首先针对单载波双向中继系统,在考虑各个节点的传输功率约束以及系统最小的传输速率的约束下,本文将原始的非凸的能效优化问题转化为等效的两层凸优化问题分别进行求解,提出了能效最优的功率分配算法。进一步,针对OFDM双向中继系统中的能效优化问题,提出了能效最优的比特功率加载算法及其低复杂度的简化算法。论文从理论上证明了所提自适应比特功率加载算法的最优性和收敛性。仿真结果表明所提算法相比传统算法能够显著提升系统的能量效率。所提能效最优的自适应比特功率加载算法不局限于双向中继系统,具有很好的可扩展性。第四,为进一步提升系统的能量效率,论文针对信息与能量协同传输系统中的能效优化问题,提出了基于统计信道信息反馈下的高能效预编码和功率分配方案。信息与能量协同传输系统中,空闲节点可以作为能量中继收集发射节点的能量存储于电池中,并用来完成将来的信息传输过程,实现能量的再利用。论文基于MIMO信道的衰落特性,在统计信道信息反馈的条件下通过最大化系统的单位能耗下的遍历容量来设计预编码和功率分配策略,提出了最优的预编码矩阵、最优的功率分配算法以及基于容量上界的低复杂度的次优的功率分配算法。仿真结果表明所提传输方法相比于传统的基于容量最优的传输方案以及不采用信息与能量协同传输方案的系统具有更高的能量效率。