第三代伙伴组织计划（3GPP）于2004年底启动了长期演进（LTE）和系统架构演进（SAE）两大计划的标准化工作，标志着移动通信技术已经向第四代通信系统（4G）发展。为了确保移动用户任何时间、任何地点能够安全的接入到3GPP核心网中，3GPP相继提出了一系列的认证和密钥协商协议（AKA），如GSM-AKA，UMTS-AKA以及最新的EPS-AKA。然而，现有的3GPP认证和密钥协商协议存在以下几个问题。在安全性方面，首先，3GPP AKA不能抵抗一些专业的攻击，如重定向攻击（redirection attack）、中间人攻击（man-in-the-middle attack）以及拒绝服务攻击（DoS attack）等。由于3GPPAKA协议固有的缺陷，因此不能提供密钥的前向/后向安全性（KFS/KBS）。此外，移动通信系统中的隐私保护问题也没有得到很好的解决。在性能方面，现有的3GPPAKA不能有效地支持基于群组的通信场景，如机器类型的通信（M2M或MTC），因此会导致认证的通信和计算开销过大。特别地，当一组设备同时接入到网络当中时，还会造成网络当中的认证信令拥塞。为了解决以上问题，本文研究了移动通信系统中的安全和隐私保护问题，取得以下主要成果：(1)针对3GPP推动的一种新型的数据通信技术，即机器类型通信（MTC），我们首先提出一种基于群组的接入认证和密钥协商协议MTC-AKA。和已有的3GPP认证和密钥协商协议相比，MTC-AKA协议可以有效地减少认证开销。具体来说，当一组机器类型的通信设备接入3GPP核心网时，第一个接入网络的设备先进行一次完整的认证流程。当完成此次认证时，整个群组获得群认证数据，这些数据将被保存在访问地的MME中。当群组中剩下的设备想要接入到3GPP核心网时，只需要执行一个本地的认证流程，而不需要再和家乡域的HSS通信，从而大大降低了通信开销。我们通过AVISPA分析了该协议的安全性，并在性能方面和现有的协议进行了比较。分析结果表明MTC-AKA协议在带宽消耗，认证信令开销，通信开销以及计算和存储开销方面都优于已有协议，能够有效地支持基于群组的机器类型通信场景。(2)在MTC-AKA协议的基础上，为了增强安全性和提供更好的隐私保护，我们提出一个安全有效的认证和密钥协商协议SE-AKA，SE-AKA适用于LTE网络中的群组通信场景。具体来说，SE-AKA使用ECDH来实现密钥的前向/后向安全性，同时采用公钥密码系统保护用户隐私。和已有的移动通信系统中的认证和密钥协商协议相比，SE-AKA不仅能够提供更强的安全性和隐私保护，同时能够支持群组认证。我们使用协议分析工具ProVerif对SE-AKA的安全性进行了分析，结果表明SE-AKA能够抵御一系列针对LTE通信系统的攻击。性能分析表明SE-AKA协议在通信开销，计算开销和存储开销方面都优于已有协议，能够有效地支持LTE系统中基于群组的通信场景。(3)为了实现漫游场景下安全有效的基于群组的机器类型通信接入认证，我们提出一种应用于3GPP-WiMAX网络的安全有效的群组认证方案SEGR。和MTC-AKA以及SE-AKA协议相比，SEGR通过采用无证书聚合签名技术，能够同时认证一组机器类型通信设备，加快整个认证流程，同时避免网络中的信令拥塞。安全分析结果表明SEGR可以抵抗一些列的攻击。特别地，SEGR可以克服基于身份聚合签名技术中的密钥托管（key escrow）中存在的缺陷。此外，性能分析结果表明SEGR在认证通信开销和计算开销方面优于传统的方案。(4)尽管SEGR实现了同时认证一组机器类型通信设备，然而由于SEGR采用了公钥密码技术，它的计算开销比较大，不适用于资源受限的机器类型通信设备。因此，我们基于聚合消息认证码（AMAC）提出一种轻量级群组认证协议LGTH。LGTH不但能够同时认证所有的群组设备，而且能够有效地降低通信和计算开销。(5)由于现有的多种无线网络构成了异构网络，因此通用的认证协议的设计是一个重要目标。此外，在漫游场景下，由于用户不愿意在外地网络暴露自己的身份信息。因此用户的隐私保护引起越来越多的研究者的兴趣。然而，一般的隐私保护方案只能隐藏用户的身份信息，不能提供更加灵活可控的隐私保护。因此，我们提出了一种漫游场景下的多级条件隐私保护认证协议CPAL。该方案基于一种新的群签名技术，不但能够提供匿名的用户认证，还能提供可追踪性，匿名的用户数据可链接性以及有效的动态用户撤销功能。