智能手机、平板电脑、智能可穿戴设备等移动终端的爆炸性增长,以及用户对各种服务、链接、内容、体验等需求的不断上升,对新一代移动通信系统提出了艰巨的挑战。面对有限的频谱资源,如何为蜂窝网络、以及将来融合接入的物联网、车载网等异构无线网络提供高速、高可靠性的传输支持是未来移动通信网需要解决的关键问题。在网络层面,通过小区分裂形成宏基站与家庭基站、微基站等形成异构蜂窝网络,提高频谱复用因子。然而,密集的小区部署带来了更加复杂和严重的小区间干扰。在物理层面,大规模多输入多输出技术(Massive Multiple Input Multiple Output, Massive MIMO)通过在基站架设天线阵列(Antenna Array, AA)获取空间分集或复用增益。然而,考虑到终端设备体积受限,无法配备多天线,协作通信成为了给用户提供高可靠性和高速率上行传输的关键技术之一。协作通信的核心思想是网络中的多个分布式节点通过协作的方法共享同一资源,形成一个分布式的虚拟天线阵列(Virtual AA),实现空间分集。协作通信技术具有扩大覆盖范围、提供可靠传输以及降低小区间干扰的优势。然而,协作通信依然具有明显的缺陷。一方面,由于节点的半双工特性,协作传输将原本的单跳直传链路转化为多跳转发链路,降低了数据传输速率和频谱利用效率。另一方面,数据包的多次转发意味着多次的能量消耗,尤其在能量受限的场景下,已有协作策略无法实现较高的能量效率。因此,本论文从频谱效率和能量效率两方面出发开展协作通信技术的研究,建立了单用户双通道中继(Two-Path Relay,TPR)协作的链路层干扰模型,提出了基于复数域网络编码(Complex Field Network Coding, CFNC)的多用户TPR协作策略,设计了能量采集(Energy Harvesting, EH)环境下的多中继链路层协作机制,为提升半双工多中继协作系统的频谱效率以及能量效率提供了新的有效的解决途径。本文主要工作和贡献如下：1)基于单用户TPR协作模型,提出中继间干扰的跨层建模思想,在保证系统各条链路稳定的情况下,通过用户与中继间的功率分配机制最大化端到端可达吞吐量。TPR模型利用多中继轮流接收和转发数据,提升了频谱效率的同时引入了中继间干扰(Inter-Relay Interference, IRI),在此基础上,本论文借鉴排队论理论,考虑发送节点处的数据包到达、排队与服务过程,提出链路层的IRI模型,推导给出系统的稳定吞吐量区间。并且在用户和中继节点间建立功率分配优化模型,最大化端到端可达稳定吞吐量。对优化间题进行降维变换,利用系统本身具有的性质简化计算,求解最优值。此外,当直传链路对目的节点的干扰不可忽略时,提出了解耦奇数时隙和偶数时隙传输的思想,归纳出了一般化的两链路同频干扰场景,并推导了一般化场景的稳定吞吐量区间。仿真结果验证了链路层干扰模型相比于Full buffer假设的优势,并给出了不同中继部署场景下系统吞吐量的变化,给实际中继部署以及功率配置提供参考依据。2)建立多用户TPR协作模型,提出基于CFNC的中继间干扰和多用户干扰抑制策略,并通过优化预编码因子的选取降低端到端误码率(Symbol Error Probability, SEP)。将传统单用户TPR模型推广至多用户场景,在用户和中继节点引入CFNC对传输的符号进行预编码操作,形成一个分布式的联合调制系统,在接收节点通过最大似然检测进行最优译码,来抑制IRI、用户间干扰以及目的节点的直传链路干扰。接着,利用联合界和Chernoff界给出了协作模型端到端SEP的紧致上界。提出基于SEP或者互信息,目的端采取不同解码方式的译码策略,在保证系统性能的同时降低解码复杂度。进一步地,考虑到编码因子的选取决定了误码性能,因此,提出等相位预编码(Equiphase Precoder, EP)思想,通过设计分布式联合调制的星座图来降低SEP。仿真结果验证了EP准则带来的编码增益以及基于CFNC的IRI抑制策略相较于已有方案的SEP增益。3)针对能量受限场景,提出EH环境下的多中继链路层协作方案,设计最优的跨层协作参数,在保证系统稳定的前提下最大化端到端可达吞吐量。在EH约束下,针对传统物理层协作和链路层协作的缺陷,首先提出简单三节点模型下的解码转发链路层协作方案。推导得到该协作模型的稳定吞吐量区间,并建立最优化问题来寻找最优参数配置,使得能量受限的情形下达到吞吐量的最大化。挖掘系统的内在性质,将多变量优化问题降解成若干单变量优化子问题并行求解。然后,将单中继模型推广到多中继协作模型,建立中继间的索引思想,同样给出系统稳定吞吐量区间,建立吞吐量优化问题,并提出一种启发式算法来求解一个次优解。仿真实验验证了协作模型在能量约束下的吞吐量性能的提升,同时,找出中继数量与能量效率之间的关系,为实际EH协作通信部署和优化提供了参考。