随着移动通信的快速发展,作为LTE网络中的一种新型无线通信模式,终端直接通信(D2D)受到了运营商和研究者的广泛关注。凭借着能够增加蜂窝系统的频谱利用率、减轻蜂窝小区基站负荷、降低终端和基站发射功率以及提升系统整体性能等优势,终端直接通信有着巨大的发展前景。尽管对D2D通信的研究正在进行,但目前对其安全方面的研究还关注不够。为确保D2D通信的保密性和完整性,用户设备间应当进行双向认证并协商出会话密钥。针对此问题部分学者从物理层安全的角度开展了研究工作,这种思路更适用于无网络基础设施的环境,且存在无法认证通信主体身份和计算复杂的问题。本文从应用层的角度对蜂窝网络环境下的D2D通信的认证和密钥协商机制进行了深入研究,结合D2D通信的流程给出了一对一通信和一对多通信场景下的相关方案,所取得的主要研究成果如下：1.对D2D一对一通信的认证与密钥协商机制进行了研究。论文中结合D2D一对一通信的实际过程,提出了一种认证和密钥协商方案。该方案在设备的注册阶段,终端设备和邻近服务功能模块首先通过3GPP的通用认证架构GAA的GBA过程生成预共享主会话密钥,然后利用此主密钥完成D2D应用的注册、设备发现和密钥协商流程。经分析表明,该方案利用GAA在D2D一对一通信的基础上完成了两个设备的认证和密钥协商,安全上保证了数据的机密性和完整性、能抗重放攻击,从而确保双方通信的安全。性能上与未采用安全通信的普通D2D通信的流程相比,在通信量和计算量上有所增加,但是仍然具有较好的可用性。2.对D2D一对多通信的密钥协商机制进行了研究。在D2D一对多通信的媒体业务中,为了业务数据流的安全,发起设备与其他多个设备需要共享一个会话密钥。论文提出了一种适用于D2D一对多通信的认证密钥协商方案。该方案中邻近服务功能模块分别与群组中各终端设备通过通用认证架构GAA生成预共享密钥,并通过广播向群组设备分发计算群组主密钥所需的必要信息。利用上述信息,D2D通信设备可独立计算出安全的媒体业务所需的群组主密钥,发起设备再生成一个用于一对多会话的群组会话密钥,并通过群组主密钥加密将此会话密钥广播给其他的设备。分析表明,该方案满足前向安全和后向安全并能抗共谋攻击,而且与现有的一对多通信的媒体业务的安全架构相比,该密钥协商方案具有较少的消息交互轮数。