第五代移动通信(5G)系统在超高数据速率、低时延、低能耗和超高连接性方面对移动通信系统提出了更高要求。为了应对5G时代移动通信数据量的爆炸式增长,相比传统正交多址技术,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术因其高带宽效率、高公平性和大容量显示出巨大的优越性,成为5G通信中非常有前景的多址接入方式。协作NOMA通信系统可以提供额外的分集增益,进一步增强系统性能。物理层安全(Physical Layer Security,PLS)无需密钥,以信息论为基础,利用无线信道的时变性实现安全通信。协作NOMA和PLS迅速成为5G通信研究的交叉热点。本文具体研究工作概括如下:1.针对多中继下行NOMA系统的安全性能进行建模与分析。首先研究Rayleigh信道下多中继NOMA系统的物理层安全,提出最优单中继选择策略并与传统多中继转发策略做性能对比。考虑NOMA系统中两用户不同的安全服务质量需求和两用户安全容量的相关性,推导出两种方案对应的安全中断概率(Secrecy Outage Probability,SOP)的准确解和近似解的解析表达式。结果表明固定功率分配策略下所有中继选择(Relay Selection,RS)策略的安全分集阶数(Secrecy Diversity Order,SDO)均为零。2.进一步研究Nakagami-m信道下多中继NOMA系统的物理层安全性能,提出两种新的RS策略,即两步中继选择策略和最优双中继策略,推导出不同RS策略的准确和渐近SOP的解析表达式,得出了不同RS策略下协作NOMA系统的SDO和安全分集增益,以蒙特卡洛仿真验证了结论的正确性,分析了多个参数对系统性能的影响。本文通过对协作NOMA系统物理层安全性能的建模与分析,设计了三种中继选择策略并与传统多中继转发策略做性能对比,得出了多个不同系统参数对安全性能的影响,分析了大信噪比情景下系统的SOP,为下行协作NOMA系统的设计和组网提供了必要的理论参考。