协作通信可以利用用户之间共享天线实现空间分集增益，同时也为实现无线通信物理层安全提供了新的研究方向。以Wyner提出的窃听信道为基础，无线物理层安全技术大体上有两个发展方向：以协作干扰为模型的旨在通过降低窃听信道的信道条件来增强保密通信和以协作通信为模型的通过增强主信道的信道条件来提高安全性能，文中对这两种方法进行了详细的研究。本文主要以不可靠中继节点的三节点为模型，分析了中继节点是自私节点同时又是窃听节点的情况下，系统性能的变化。理论和仿真结果都表明当中继节点存在自私行为时，不管表现自私行为的概率有多小，放大转发（AF）协作系统的分集增益都将降低到1，系统的安全容量值也随着自私概率的不断增大而减小，中继节点的自私行为大大降低了通信系统的性能甚至差于直传时的性能。为了控制中继节点的这种不可靠的行为，本文提出了一种新的基于相关度率的检测方法，当中继节点存在自私行为时会降低终端接收到的两路信号的相关度。文中还对恶意拥塞中继进行了分析，通过安全容量大于零的概率和中断概率的理论分析和仿真验证发现，干扰中继对系统的影响取决于中继节点的位置。因此通过控制中继节点的位置可以使恶意拥塞转发转变为友好拥塞转发。本文在基于GNU Radio和USRP(Universal Software Radio Peripheral)平台上搭建了一个测试台，在真实的传播环境下研究了实践中表征物理层安全存在性的参数，以及合法信道与窃听信道之间的相对关系对物理层安全性能的影响。