随着各类智能移动终端数量急剧增长,以及物联网的快速发展,移动通信系统的用户数量和数据流量呈现指数增长。面向未来移动通信各类应用场景需求,学术界和工业界对大规模MIMO(multiple input multiple output,MIMO)技术等无线通信关键技术展开了研究和探索。传统估计与检测等信号处理方法在应用到未来移动通信新场景时面临实现复杂度和适用性等问题。本文围绕未来移动通信系统各种应用场景中存在的大维信号估计和检测问题,在探寻基于Bethe自由能最小化的大规模贝叶斯推断统一理论框架的基础上,重点针对基站配置大规模天线的大规模MIMO、免调度传输和基于完美能量扩展(perfectenergy spread transform,PEST)的非正交多址接入(non-orthogonal multiple access,NOMA)等场景,研究贝叶斯推断信号检测理论方法,进而探索具有适度复杂度的新型高效消息传递检测算法。首先从经典检测与估计问题出发,通过变分法,即在贝叶斯推断中引入置信度函数,对后验概率进行近似,将最优检测估计问题转化为带约束条件的变分自由能最小化问题,并推导基于Bethe自由能最小化的贝叶斯推断统一框架。在此基础上,通过对置信度因子化约束、区域近似约束和指数族分布约束等约束条件的设计,进而采用拉格朗日乘子法,推演得到各类消息传递算法。具体而言,利用因子化约束条件可以得到平均场(mean field,MF)、变分消息传递(variational message passing,VMP)和期望最大化(expectation maximization,EM)等算法,利用区域近似约束可得到置信度传播(beliefpropagation,BP)算法,利用指数族分布约束可得到期望传播(expectation propagation,EP)算法。进一步,对于广义线性模型(generic liner model,GLM),利用指数族分布约束特例——高斯分布约束,可得到广义线性期望传播(generalized linear expectation propagation,GLEP)和广义线性近似期望传播(generalized linear approximate expectation propagation,GLAEP)算法,而传统广义近似消息传递(generalized approximate message passing,GAMP)算法是广义线性近似期望传播算法在大维情况下的特例。其次,针对基站侧配置大规模天线的大规模MIMO系统中存在的检测复杂度问题,以及传统广义近似消息传递方法在空间相关性信道下存在的适用性问题,提出了基于预处理的广义近似消息传递上行检测算法,即行正交广义近似消息传递检测。在基站侧对大规模MIMO接收信号进行线性预处理,将预处理的输出作为观察量进行后续信号检测。在Bethe自由能最小化的统一框架下,提出了四种预处理设计准则及相应的最优条件,进而得到两种预处理矩阵。在此基础上,针对信道具有慢变特性的大规模 MIMO 正交频分复用(orthogonal frequency division multiplexing,OFDM)系统,提出了在若干时频资源单元上共享预处理矩阵的低复杂度算法。仿真结果表明,行正交广义近似消息传递检测及其低复杂度算法在误码率和收敛速度上均优于传统的广义近似消息传递算法和基于波束域的广义近似消息传递算法。然后,针对免调度传输系统联合活跃用户检测和信道估计场景中压缩感知(compressed sensing,CS)稀疏信号重建算法存在的计算复杂度高和活跃用户检测性能不理想问题,提出了相适应的混合消息传递算法。在置信度边缘一致约束的Bethe自由能最小化理论框架下,分别针对两种典型的大规模MIMO信道:独立同分布(independent identically distribution,i.i.d)信道和空间稀疏信道,在用户先验活跃概率对基站已知和未知等场景下,将置信度边缘一致性的约束条件合理近似为边缘一致约束、均值方差一致约束和因子化约束等混合约束条件,使得联合活跃用户检测和信道估计被建模为基于混合约束条件的Bethe自由能最小化问题。通过求解该优化问题的驻点,推导出混合消息传递算法,并在算法中加入阻尼因子改善消息传递算法不收敛的问题。仿真结果表明,四种情况下的混合消息传递算法在活跃用户检测和信道估计方面均有很好的性能,与压缩感知中传统的稀疏信号重建算法相比,存在显著优势。最后,针对基于完美能量扩展变换的非正交多址接入上行多用户检测场景中传统检测算法存在的复杂度问题,提出了低复杂度的消息传递检测算法。将完美能量扩展变换的非正交多址接入系统上行多用户检测问题转化为多级广义线性模型中的信号检测问题,并在Bethe自由能最小化的理论框架下,将置信度均值和方差一致作为约束条件,推导出基于完美能量扩展的近似消息传递(approximate message passing,AMP)算法。当信道矩阵具有空间相关性时,对接收端进行线性预处理,使得算法收敛性能在相关信道下得到提高。另外,对于慢变信道,可在多个时频资源单元上共享预处理矩阵,降低预处理复杂度。在此基础上,研究了可用于迭代检测译码的软输入软输出(soft input soft output,SISO)检测算法。仿真结果表明,预处理和近似预处理的近似消息传递算法误比特率性能好于串行干扰消除(successive interference cancellation,SIC)最小均方误差(minimum mean square error,MMSE)检测算法,且近似预处理在降低复杂度的同时算法性能也得到保障。