随着第五代（The Fifth Generation,5G）无线通信网络在全球范围内的部署,超5G（Beyond--5G,B5G）无线通信网络逐渐成为工业界和学术界的前沿研究课题。由于爆炸式移动数据流量的增长以及各类新应用场景的不断涌现,B5G无线通信网络面临着诸多挑战:首先,未来移动通信旨在采取更高效的传输技术以持续提升频谱效率和能量效率;其次,伴随着物联网和机器类型通信的蓬勃发展,移动智能设备的数量急剧增长,高效的计算任务卸载对于能量受限的移动智能设备尤为重要;第三,随着智能反射面等新型材料的涌现,未来移动通信将实现低成本、低复杂度和低能耗的可持续容量增长。基于上述研究背景和发展趋势,为了解决有限的无线资源和蓬勃发展的业务需求之间的矛盾,高效的资源管理已经成为B5G无线通信网络的研究趋势。由于当前对于B5G无线网络仍处于探索阶段,如何提升网络服务质量和能量效率、并降低时延以及实现成本是亟需解决的关键问题。近年来,协作通信通过网络节点高效协作挖掘分集增益和效能提升,已经成为解决上述问题的重要潜在技术。鉴于此,本文面向B5G移动通信的需求,通过协作通信来提升系统的能量效率,降低时延和实现成本,从系统模型、接入方案设计和性能分析三个方面对不同需求的协作通信网络进行深入研究。本文的主要研究内容和贡献总结如下:首先,面向能量效率最大化的需求,探索了基站端和需求侧潜在协作行为对系统能量效率和用户体验的影响。通过定义需求侧协调能量效率,以实现基站与需求侧联合协作通信模式。将系统模型建模为在满足基站最大发送功率以及用户期望速率的约束下,通过功率分配来最大化需求侧协调能量效率。通过将原始非凸问题转化为两个易处理的子问题,提出了一种局部最优的传输方案设计。理论分析和仿真结果充分证明了当考虑基站端与需求侧的协作行为时,系统能量效率将会显著提高并且能够自适应地匹配用户的期望服务质量需求。其次,研究了异构无线网络协作通信的能量效率最大化问题。基于用户社会关系信任度的架构,建立了用户间的频谱-功率交易机制。考虑了用户移动的场景,提出了一种社会意识辅助的自适应接入方案来最大化系统的平均能量效率。理论分析揭示了平均虚拟队列时延与平均能量效率的折中关系。此外,分析结果表明,受益于社会关系的优势,社会意识辅助的自适应接入方案能显著提高系统的平均能量效率,且能够增强数据传输的安全性。再次,研究了设备对设备辅助协作移动边缘计算系统的加权时延-能耗最小化问题。基于移动智能设备的状态和用户间的社会信任度,建立了四种计算任务卸载模式。将系统建模为在满足计算任务时延约束下,通过联合考虑卸载模式选择、接入方案选择、传输功率分配以及算力分配来最小化系统平均加权时延-能耗。理论分析和仿真结果表明可通过局部策略使得系统平均加权时延-能耗渐近稳定。最后,基于低成本智能反射面这一新载体,结合点对点通信的场景,提出了一种模块化智能反射面结构,以解决智能反射面尺寸过大和用户体验之间平衡的问题:在满足模块大小、反射系数以及源节点最大发送功率的约束下,通过触发模块识别、传输功率分配和无源波束赋形来最大化最小信噪比。将原始NP-难问题松弛为二阶锥问题,提出了最优的触发模块子集、传输方案设计以及降维的无源波束赋形。理论分析和实验结果充分表明了当在智能反射面引入模块化结构时,智能反射面辅助的协作通信系统的信噪比会显著提高,并且可达速率与系统总功耗之间存在明显的折中关系。