随着智能终端、物联网等技术的发展,现有的无线通信系统已经无法满足业务对于海量连接、低延迟、高速率的要求。新一代的5G移动通信系统（The 5th Generation,5G）在系统容量、频谱利用率和用户接入数目等指标上具有了更高的标准,因此非正交多址接入技术被提出。在众多的非正交多址接入技术中,稀疏码分多址接入（Sparse Code Multiple Access,SCMA）通过采用稀疏码本的方式,可以在有限的频谱资源上承载更多的用户,因此SCMA是5G中具有巨大应用前景的多址接入方式。下行MIMO-SCMA系统,将MIMO技术和SCMA多址接入结合起来,可以进一步提升频谱利用率,提高系统容量。本文首先对下行MIMO-SCMA系统中的一种联合消息传递算法（Joint Message Passing Algorithm,JMPA）进行研究。该算法通过重构该系统的因子图,将系统中MIMO信号的检测和SCMA多用户信号检测结合起来,实现了对接收信号的充分利用,从而可以有效地降低该系统检测的误码率。接着,本文对应用了JMPA检测算法的下行MIMO-SCMA系统的码本性能进行研究。在该系统中,发送端在不同发送天线上应用了相同的多用户码本,即发送端在不同天线上发送用户数据时,对于相同用户的数据使用了相同的码本。通过计算分析可以证明,当在发送端的不同发送天线上应用不同的多用户码本时,接收端在使用JMPA进行多用户信号检测的过程中,所构造的虚码本中码字叠加信号的最小欧式距离可以得到增加,从而降低各用户码字间的干扰,提高算法的检测性能。因此,本文对该系统进行改进,在该系统发送端不同天线上应用不同的多用户码本。最后,本文对应用于不同发送天线上的多用户码本进行设计。首先本文建立码本设计模型。本文将传统的码本设计中多维母星座的设计和对多维母星座的星座操作的设计结合起来,为所设计的多用户码本中的非零维度设定了统一的码本结构,并将各个码本中星座点的幅度和旋转角度作为码本设计模型中待优化的变量。对于优化准则的选择,为了降低码本设计的运算复杂度,用蒙特卡洛仿真估计码本的性能,以该方式得到的平均误码率为码本设计模型中的目标函数。然后,对于所建立的码本设计模型,通过遗传算法进行求解,得到最优的码本。仿真结果表明,在误码率为10^-3时,相较于现有的码本方案,利用本文提出的码本设计方案所得到的码本可以节省约2dB的信噪比,显著地提升了检测性能。