随着移动通信技术的发展,具有大量设备接入、数据包短、低速率传输和零星通信特点的大规模机器类型通信（massive Machine-Type Communication,mMTC）已为第五代无线通信（Fifth Generation Mobile Communication System,5G）的研究热点之一。免调度非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术得到了广泛的关注,每个设备无需基站调度即可发送信息,以减少调度的过程控制信令开销和传输延迟。由于发射端用户大多数处于非活跃状态,只有极少数用户向基站端发送数据,所以在上行免调度NOMA系统中进行多用户检测是一个值得研究的方向。如何快速而又精确地进行信道估计和多用户检测是问题研究的关键,而压缩感知（Compressive Sensing,CS）技术可以有效地实现稀疏信号的重建,非常适合完成免调度NOMA系统中的信道估计和多用户检测问题。在压缩感知技术中,如何设计一个高效的CS重建算法,如何设计优化一个恢复矩阵,都是提高稀疏信号重建效果的关键因素。本文主要是基于压缩感知模型,在上行免调度NOMA系统中进行信道估计与多用户检测,主要的研究工作和内容如下:1)探讨基于一帧传输的上行免调度NOMA系统的信道估计与多用户检测技术,在多重测量向量压缩感知（Multiple Measurement Vector-Compressive Sensing,MMV-CS）框架下,提出了一种门限辅助的分布式弱选择分段自适应匹配追踪（Thresholod AidedDistributed Weak Selection Stagewise Adaptive Matching Pursuit,TA-DWSStAMP）算法来联合解决信道估计（Channel Estimation,CE）和多用户检测（Multiuser Detection,MUD）问题。该算法在精确的迭代终止准则下,引入阶段标识,在大步长阶段设计了一种幂函数型的变步长方法。仿真结果表明,本文提出的算法在过载率为400%时能够在复杂度仅为现有算法10%的条件下,获得与现有算法相近的信道估计性能、用户成功活跃检测率和用户数据的误符号率。2)基于压缩感知技术,将免调度NOMA系统中的信道估计与多用户检测模型中的扩频矩阵等效为压缩感知理论模型中的恢复矩阵,通过对恢复矩阵的设计即扩频矩阵的设计来提高信号的重建效果。本文基于互不相干准则（Mutual Incoherence Property,MIP）,设计了基于随机高斯矩阵的扩频矩阵优化方案,通过仿真结果表明,扩频矩阵在优化后的信道估计性能、用户成功活跃检测率和用户数据的误符号率性能都有了改善;3)基于互不相干准则,本文还提出一种基于部分傅里叶矩阵的扩频矩阵优化方法,采用随机搜索算法从傅里叶矩阵中选出若干行作为扩频矩阵。仿真结果表明,与未优化的扩频矩阵相比,采用优化的部分傅里叶矩阵作为扩频矩阵能够获得的更优越的信道估计性能、更高的用户成功活跃检测率和更低的用户数据的误符号率。