无线通信技术由于其传播介质的开放性,导致其信号易被截获和干扰,从而带来了不同于有线通信的安全隐患。如何在增强无线通信安全的同时,尽可能少地增加计算负担或硬件成本,是目前无线通信安全研究的热点问题。大多数的无线通信安全机制仍然延用了有线通信安全机制中的现代密码学机制。但在无线通信中,高安全强度的密码学安全机制不仅给通信终端带来了巨大的计算负担,还表现出了一些弊端,例如,随着计算能力的日益提高,攻击者很有可能在有效时间内破解合法通信双方的密钥,使整个安全系统崩溃。如果攻击者捕获了某一合法通信节点,并获得了该合法通信节点的秘密信息,便可以伪装成多个合法节点,散布于整个网络中,实施窃听或篡改合法信息包等攻击,例如,克隆节点攻击和Sybil节点攻击。由于攻击者拥有合法节点的密钥等信息,基于密码学的安全机制便很难检测出该攻击者的存在。近年来,物理层安全技术越来越受关注,其理论基础是无线信道的空时唯一性。物理层安全认证技术通过从接收信息包中提取的信道物理特征来判断该信息包的合法性,即进行信息包的认证。利用无线信道的空时唯一性,还可以进行恶意节点检测,例如,克隆节点检测和Sybil节点检测。由于物理层认证和检测方案采用的信道特征来源于解调模块中的信道估计,不需要额外地计算开销,避免了复杂上层的计算,使得其具有轻量级的特点。此外,来自不同发射源的信道特征具有唯一性,难以被攻击者伪造,因此,物理层认证和检测方案又具有高安全强度的特点。本文首先阐述了物理层认证和恶意节点检测的研究背景和现状,讨论了影响信道状态信息(Channel State Information,CSI)和物理层认证的无线信道特性及其空间分辨率;对基于CSI的物理层认证和恶意节点检测进行了建模;还简述了衡量认证性能的指标和采用的通信系统平台。其后,详细讲述了两种基于CSI的认证算法和四种恶意节点检测算法,具体如下:本文针对新一代的无线通信系统,提出了一种基于信道信息的辅助增强安全架构和D2D(Device to Device,端到端)跨层双向安全认证方案,并利用来源于四个不同通信场景的信道数据,分析了该认证方案的可行性。仿真实验证明,在静态场景下,该方案的认证性能可以达到理想状态,但在动态场景下,该方案的认证性能较差。为了改进动态场景下的物理层认证性能,本文提出了一种基于门限自由和机器学习(Threshold-Free and Machine Learning,TFML)的物理层认证方案。该方案无需门限判别,直接利用机器学习算法对信道差值或信道矩阵进行分类,得出认证结果。本文首先采用动态通信场景的信道数据对该方案进行了仿真,分析了其可行性,并且对方案中的参数进行了对比,得出的最优方案为采用128维的信道矩阵作为输入的装袋树(Bagging Trees,BT)认证方案。最后,通过通用软件无线电外设(Universal Software Radio Peripheral,USRP)平台,在真实工业环境中,对该最优方案的优越性进行了验证,并且证明了多输入多输出(Mutiple-Input Multiple-Output,MIMO)对该认证方案的增强效果。本文还在近场服务(Proximity Service,ProSe)通信场景下,提出了四种基于物理特征的恶意节点检测方案,包括基于物理层信誉度(Physical Layer Reputation,PHYR)的恶意节点检测方案、基于贪婪算法的恶意节点检测方案,以及基于反向传播神经网络(Back Propagation Neural Network,BPNN)的恶意节点单点检测方案和多点集成检测方案。基于PHYR的恶意节点检测方案首先通过累积同一ID的多个信道信息,得到该ID的物理层信誉度。然后,通过对信誉度的判断,进行恶意节点检测。该方案可以有效地降低随机噪声对恶意节点检测性能的影响,从而提高检测准确率。当信道条件较恶劣时,即系统检测准确率不理想的状态下,基于贪婪算法的恶意节点检测方案可以根据用户的需求选取检测门限值,即,采用最大化用户收益的原则代替最大化检测准确率的原则进行门限选取。基于BPNN的恶意节点检测方案根据单次检测节点的数目分为单点检测方案和多点集成检测方案。单点检测方案以单个节点的一种或多种信誉度作为输入,通过BPNN判断其是否为恶意节点。多点检测方案以一组节点的某一种信誉度作为输入,由BPNN对该组节点中是否存在恶意节点进行判断。本文通过实验,对四种恶意节点检测方案分别进行了分析,验证了其可行性、总结了其优缺点。