随着无线通信技术的不断发展,用户数据业务呈现指数增长的趋势,人们对数据速率、系统容量和可靠性等性能参数提出了更高的要求。随着分级结构和异构网络在无线通信网络中的广泛应用,多个用户数据开始采用相同频带、时隙等通信资源进行传输,干扰和频谱利用率低的问题成为影响信号接收和通信网络性能的关键问题之一。如何设计接收与传输机制,对干扰进行处理并提高频谱利用率,实现多个用户信号的并发传输,成为多用户通信系统研究中的重要问题。本论文对多用户系统中的接收机制及传输机制进行设计与研究,主要工作如下:论文首先在由多个发射机和一个公共接收机构成的多址接入系统中设计接收机制。根据信号之间增强性/破坏性的相互作用提出一种基于干扰合成(Interference Combination,ICom)的信号处理方法,并结合迫零(Zero Forcing,ZF)接收和串行干扰消除(Successive Interference Cancellation,SIC)技术设计接收机制。该接收机制不需要发射机的协作,并且可以降低接收天线需求。仿真结果表明,论文设计的接收机制能够在给定的时延约束条件下,显著提升系统的频谱效率(Spectral Efficiency,SE),而且可以在接收天线需求和信号处理复杂度之间进行灵活的折中。接下来,论文针对应用非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术的多输入多输出(Multiple-Input Multiple-Output,MIMO)下行通信系统设计传输机制。在考虑误差传播进行理论分析的基础上,提出一种基于距离和空间相关度的用户匹配准则,并对基站的发射功率分配进行优化。仿真结果表明,所提方法能够在提高系统可容纳用户数的同时保证好的系统和速率性能。文末,对本论文的研究工作进行总结,并梳理下一步研究方向。