协作中继技术在扩大无线通信系统的覆盖范围以及提高系统容量和传输可靠性方面显示出强大的优势,但是,由于半双工限制,传统的单向协作中继频谱效率不高。结合物理层网络编码技术,双向中继技术有效地克服了半双工限制,显著提高了系统的频谱效率,已成为无线通信领域的研究热点。此外,随着视频会议、多人游戏、应急与救灾通信等新型无线应用的迅速推广,作为双向中继的衍生物,多向通信技术正引起学术界与产业界越来越多的关注。本文将围绕双向中继和多向中继通信的典型场景：多对用户双向中继系统、多小区多用户双向中继系统、多天线多向中继系统以及分布式多向中继系统,分别设计各场景的传输方案。本文首先针对多对用户双向中继系统,提出了一种无用户对间干扰的中继预编码设计,最大化了每对用户接收到的有用信息的功率；并在该设计的基础上,以最大化系统的传输速率为目标,优化了用户的发射功率以及中继的功率分配,并通过对功率优化问题的放松得到该方案设计的性能上界,作为评价功率分配算法的标准；此外,本文提出了一种简单易行的用户对选择方法来进一步提高系统的吞吐量。随后本文考虑了更为一般的多小区多用户双向中继系统,其中多对用户双向中继系统和单小区双向中继系统都是该系统的特例。围绕多小区多用户双向中继系统,本文提出了一种基站与中继的联合预编码设计,实现了多用户干扰迫零；此外,本文对用户的发射功率以及基站和中继的功率分配进一步优化,提高了系统的传输速率。上述方案均以提高系统的合速率为目标,并未考虑用户业务量的大小。直观地,从满足业务需求的角度,业务量大的用户理应分配较多的功率；从提高系统吞吐量的角度,信道质量好的用户应该分配较多的功率。本文针对再生和非再生两种中继方式下的多向中继系统,以用户的队列长度来表征用户业务量的大小建立了以最大化队列加权后的传输速率为目标的中继功率优化问题,通过对该优化问题的求解,得到了结合用户业务量大小的中继功率分配方案,仿真结果表明该方案充分利用了业务多样性带来的分集增益,在保障用户队列长度稳定的基础上,提高了系统的吞吐量。上述场景均是一个多天线中继协助多个用户进行通信,在一些通信场景如无线传感器网络,一般每个节点只能配置单根天线,多个单天线的节点构成了一个虚拟的多天线阵列,为多个用户服务,这就是分布式的中继系统。本文针对分布式多向中继系统,提出了基于迫零准则和最小均方误差准则的分布式中继方案。其中迫零中继方案通过在用户间干扰张成的干扰空间内选择中继增益向量,完全消除了用户间干扰；并通过对该向量的优化,最大化有用信号总功率与噪声功率的比值,优化了系统的传输性能。基于最小均方误差的中继方案则以最小化所有用户节点的总均方误差为目标,以中继预编码处理以及各用户接收机为优化参数,建立多目标、多参数优化问题,通过对该问题的求解得到中继端的预编码处理和用户的接收处理设计。