随着第五代移动通信（Fifth Generation,5G）的普及应用以及移动智能终端的爆炸式增长,无线通信安全也变得越来越重要。由于传输节点的庞大性、无线传播的开放性和广播性使得在数据传输过程中易受到非法方的攻击,所以研究第五代和后五代（Beyond 5G,B5G）移动通信中的安全问题成为当前研究的重点。传统的基于密码学的安全高度依赖于高破译复杂度,难以对复杂环境做出及时响应,而物理层安全具有响应迅速、高效可靠的优势。基于此,本文旨在研究面向5G的物理层安全传输关键技术。论文首先对大规模MIMO中下行传输方案进行研究,梳理了经典的基于迫零准则预编码技术的基本原理,然后研究基于卡尔曼信道预测的卡尔曼迭代预编码技术,实验结果表明所提的基于卡尔曼迭代的预编码技术较传统的基于迫零准则的预编码技术在性能上有所提升;同时,基于卡尔曼信道预测的技术能改善存在信道反馈时延场景下的预编码传输性能。论文对基于射频指纹的物理层认证技术进行研究,利用径向基神经网络分别对基于信号包络特征和基于信号双谱变换的射频指纹识别算法进行了建模分析,并给出了两种方案的详细流程。实验结果表明,基于信号双谱变换的射频指纹识别算法较基于信号包络特征的射频指纹识别算法利用的信息维度更多,所以认证性能更优。论文对基于信号水印的物理层认证技术进行研究,梳理了基于全部星座图位置相位旋转嵌入和加性嵌入水印的物理层认证方案,在此基础上提出了一种基于部分星座图位置嵌入水印的物理层认证方案。并围绕16QAM矩形星座图映射和圆形星座图映射对两种方案进行数字仿真,实验结果表明,在相同水印嵌入功率系数情况下,由于基于加性嵌入水印的算法对载体信息的幅度和相位均产生了扰动,所以基于相位旋转嵌入水印的认证方案表现出了良好的优势;在信息误码率相当的情况下,基于加性嵌入水印的方案较基于相位旋转的方案的认证性能表现出优势,但这是建立在水印发射功率较高的基础上。另一方面,在原始水印比特和水印功率系数一定的情况下,基于圆形星座图部分位置嵌入水印的方案中,能嵌入的水印位置比基于矩形星座图部分位置的多,所以在接收端能恢复原始水印比特的概率更高,其物理层认证性能更优。论文对基于信道特性的物理层认证技术进行研究,在基于前后帧信道频率响应时间相关性的物理层认证技术的背景下,理论分析和推导了曼哈顿距离度量和欧氏距离度量的检验统计量下的基于恒虚警准则的认证门限和基于贝叶斯准则的认证门限。并在此基础上,提出了一种基于多天线信道预测的物理层认证方案,并在TR38.901协议中的CDL-C信道环境下进行了数字仿真测试,实验结果表明,在认证率和虚警率指标方面,所提方案在快时变信道环境中物理层认证性能更具优势。最后论文总结了全文的研究结果,并明确了后续研究方向。